📊 statistics

An Overview of Low-Rank Structures in the Training and Adaptation of Large Models

这篇综述论文回顾了大规模深度学习中低秩结构的出现与利用，将来自优化动力学和隐式正则化的理论见解与高效训练、微调（例如 LoRA）以及掩码学习策略等实际应用联系起来。

原作者： Laura Balzano, Tianjiao Ding, Benjamin D. Haeffele, Soo Min Kwon, Qing Qu, Peng Wang, Zhangyang Wang, Can Yaras

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Laura Balzano, Tianjiao Ding, Benjamin D. Haeffele, Soo Min Kwon, Qing Qu, Peng Wang, Zhangyang Wang, Can Yaras

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个巨大的、过度热情的机器人学习一种新语言，或者识别一种特定类型的花朵。这个机器人非常庞大，它的脑子里有数十亿个微小的齿轮（参数）。通常情况下，要教它新知识，你必须调整几乎每一个齿轮。这需要超级计算机、大量的电力和很长的时间。这就像是为了改变一扇窗户的颜色，就要重新粉刷整栋摩天大楼一样。

但这项研究发现了一个令人惊讶的现象：你其实并不需要触碰其中的大部分齿轮。

秘密所在：机器人只使用了大脑的一个微小角落

作者发现，当这些巨大的机器人学习时，它们自然会陷入一种模式。尽管它们拥有数十亿个齿轮，但它们主要只移动其中一小部分特定的齿轮。其余的齿轮几乎纹丝不动。

把这想象成一个拥有 1,000 名音乐家的庞大管弦乐团。当他们演奏一首新歌时，你可能会预期每个人都要演奏新的部分。但实际上，只有大约 10 名音乐家在演奏新的旋律；其他 990 名则只是静静地拿着乐器。论文表明，这种“低秩”（low-rank）行为（即只有少数部分在移动）在学习过程中是自然发生的，无论这个机器人是一个简单的数学机器，还是一个复杂的现代人工智能。

他们是如何证明的：观察这场舞蹈

研究人员不仅仅是在猜测，他们是在实时观察机器人的学习过程。他们观察了机器人大脑中数字的“舞蹈”。

观察结果： 他们追踪了“奇异值”（衡量齿轮移动程度的一种高级数学方法）。他们看到，随着机器人的学习，只有极少数的数值发生了显著变化。其余的数值则保持平坦和安静。
证据： 他们展示了这在简单的数学模型中是如何发生的（在那里他们可以用严密的数学进行证明），然后在处理图像和语言的真实、复杂 AI 模型中也证实了这一点。
局限性： 目前严格的数学证明仅适用于较简单的线性模型。对于复杂的现实世界模型，论文指出证据是“普遍存在的”且是“经验性的”，这意味着他们在实验中反复看到了这种情况，但针对最复杂版本的完整数学理论仍在构建之中。

魔法技巧：LoRA（低秩自适应）

因为机器人自然而然地只移动少数齿轮，所以这篇论文解释了为什么一种叫做 LoRA 的技术如此有效。

旧方法： 要教机器人一项新任务，你过去尝试调整它所有的齿轮。这既沉重又缓慢。
LoRA 方法： 你不再去触碰那台巨大的机器，而是给它安装一个微小的、轻量级的“适配器”（一组额外的微小齿轮）。你只训练这个微小的适配器。
结果： 论文显示，这个微小的适配器承担了几乎所有的重活。这就像是给机器人戴上一副小眼镜来帮助它完成新任务，而不是重建它的整张脸。这节省了大量的内存和计算能力。

调整技巧：并非一成不变

论文还指出，并非所有的适配器都是一样的。

学习率问题： 如果你尝试以完全相同的速度训练适配器的两个部分，其中一部分可能会变得懒惰，而另一部分则会过于兴奋。论文建议对不同的部分使用不同的速度（一种被称为“LoRA+”的技术）来保持平衡，这会让机器人的学习速度更快。
秩（Rank）的问题： 你的微小适配器应该有多少个齿轮？如果你给的太少，它就无法学到足够的东西；给得太多，你就会浪费能量。论文建议，机器人的深层部分（理解复杂概念的部分）可能比浅层部分需要更少的齿轮。他们提出了像 “Deep LoRA” 这样的方法，可以自动为大脑的每个部分确定完美的齿轮数量，而不是靠猜测。

梯度：其“更新”也是微小的

关于机器人如何学习，还有另一个酷炫的发现。当机器人犯错时，它会计算一个“梯度”（一个告诉它如何自我修正的信号）。论文显示，即使是这个修正信号也主要是空的！

类比： 想象机器人正试图走直线。它传回给腿部的修正信号主要是“继续做你正在做的事”，只有微小的方向性推动。
益处： 由于这些修正信号非常简单（低秩），研究人员发现可以通过压缩它们来优化。与其存储整个巨大的信号，不如只存储那个微小的、重要的部分。文中提到的一个名为 GaLore 的方法可以将训练这些巨大机器人所需的内存减少高达 65.5%。这就像是把一整个图书馆装进了一个背包里。

这篇论文并没有说的事情

了解这篇论文没有声称的内容也很重要：

它并没有说机器人的最终大脑是简单的。最终的大脑仍然是巨大且复杂的。它只是说，达到那里的变化过程是简单的。
它并没有说我们可以停止对大模型的训练。我们仍然需要训练它们，但我们可以做得更加高效。
它并没有声称这在任何情况下都能完美运作而无需任何调整。论文指出，对于复杂的非线性模型，数学理论仍在研究中，而且有时在你可以使用微小适配器之前，你需要一个“全秩”（大尺寸）的训练阶段。

核心结论

主要的启示是，巨大的 AI 模型是极其高效的学习者。它们自然地将精力集中在脑中一个微小的、低秩的角落。通过理解这一点，我们可以构建出更聪明、更快、更便宜的训练方式。我们不需要搬动整座大山；我们只需要知道哪些小石子会滚动。论文表明，这是这些机器学习的一种基本规则，得到了强有力的证据和模拟支持，即便针对最复杂模型的完整数学理论仍处于开发过程中。

技术摘要：大型模型训练与适配中的低秩结构综述

问题陈述

现代大规模深度学习模型在训练和部署过程中面临着巨大的计算与内存挑战，导致了高昂的成本、GPU 短缺以及能源消耗等问题。虽然经典的信号处理和统计推断长期以来一直利用低秩性和稀疏性等数据结构来降低样本复杂度，但最先进的深度学习模型通常运行在过参数化机制下，即参数数量远超训练样本数量。在这种设定下，为了实现高性能，显式的正则化通常是不必要的，然而关于这些模型为何能良好泛化的理论理解，与经典方法相比仍然非常有限。

在如何理解深度网络在训练过程中如何在权重、梯度和激活中内在学习低秩结构方面，存在一个关键的理论空白。尽管经验证据表明这些结构普遍存在，但仍需要一个将数学基础与高效训练及适配的实际应用联系起来的综合框架。

本文提供了一个教程式的综述，回顾了识别和利用低秩结构的进展，并围绕两个互补的理论视角进行了组织：

优化动力学中的结构： 该视角分析迭代优化算法（特别是梯度下降）在每一次迭代过程中的轨迹。它认为深度网络训练的动力学本质上将权重更新限制在低维子空间内。
收敛时的结构（隐式正则化）： 该视角研究优化目标函数如何隐式地诱导最终解中的低秩结构，即使在没有显式秩约束的情况下也是如此。这通常与诸如间隔最大化或最小范数插值等隐式偏差效应有关。

本文主要使用深度线性网络 (DLNs) 作为易于处理的原型来构建其数学理论，同时利用非线性网络（MLP、VGG、ViT、BERT）的经验证据来支持这些发现。

核心理论机制

梯度下降动力学： 本文分析了训练过程中权重矩阵的奇异值分解 (SVD)。在特定假设下（例如，低秩目标矩阵和较小的正交初始化），本文证明了梯度更新被限制在一个 $2r$ 维的子空间内（其中 $r$ 为目标秩）。定理 2 阐明，虽然完整的权重矩阵在演化，但只有一小部分奇异值和向量会发生显著变化，其余部分则保持静止或衰减。
隐式偏差： 本文认为，过参数化模型上的梯度下降自然倾向于产生简洁的解。例如，在 $n < d$ 的线性回归中，梯度下降会收敛到最小 $l_2$ 范数解，从而有效地将解限制在数据的行空间内。
掩码训练： 本文探讨了 Dropout 和掩码自编码器等技术如何诱导收敛时的低秩激活，从而有效地起到隐式正则化的作用。

核心贡献与实际应用

本文将理论见解综合为几种用于高效训练与适配的实际方法论：

1. 低秩适配 (LoRA) 与微调

本文将 LoLoRA 的成功置于背景之中，该技术通过向预训练权重添加低秩分解更新 ( $\Delta W = BA$ ) 来实现。

超参数优化： 本文回顾了优化 LoRA 学习率和秩分配的近期工作。
- LoRA+： 通过对两个因子（ $A$ 和 $B$ ）使用不同的学习率，解决了标准 LoRA 中不对称初始化的低效问题，从而平衡特征学习并提高收敛速度。
- AdaLoRA： 一种启发式方法，根据评分函数动态修剪各层适配器的秩，以优化总秩预算。
- Deep LoRA： 一种受理论启发的方案，利用深度线性分解的隐式低秩偏差。它采用压缩的深度为 3 的适配器结构和差异化学习率，从而隐式地为每层选择最优秩，在数据受限的场景下表现出更优越的性能。

2. 用于高效训练的低秩梯度

除了微调之外，本文还讨论了利用梯度本身的低秩结构来减少全量训练期间内存和计算开销的方法。

GaLore (梯度低秩投影)： 该方法在更新权重之前，将梯度投影到一个低秩子空间 ( $\tilde{G} = P \rho(P^T G Q) Q^T$ )。通过通过 SVD 定期更新投影矩阵，GaLore 在训练大语言模型 (LLM) 时可减少高达 65.5% 的优化器状态内存占用。
ReLoRA： 另一种方法，它使用随机初始化的 LoRA 对来近似梯度更新，并定期进行合并。
自适应秩分配： 近期工作如 WeLore 和 AdaRankGrad 观察到，梯度的秩在不同层和训练轮次之间是变化的（较深层通常表现出更强的低秩结构）。这些方法通过自适应调整投影维度来进一步提高内存效率和收敛性。

3. 经验验证

本文展示了广泛的经验证据（例如图 1、图 3、图 7），表明：

不同架构（DLN、MLP、VGG、ViT、BERT）中的权重更新由极少数奇异值主导。
使用 Dropout 或掩码训练的深度网络中的激活在训练过程中变得越来越趋向于低秩。
Deep LoRA 和 GaLore 在显著减少计算资源的同时，达到了与全秩基准模型相当或更优的性能。

结果与意义

本文声称，低秩结构的普遍存在是线性及非线性深度网络中的一个基本现象。其意义在于：

架起理论与实践的桥梁： 它将深度线性网络中隐式偏差的数学理论与 LoRA 和 GaLore 等参数高效方法的实际成功联系起来。
解释效率： 它为为什么 LoRA 等技术有效（更新存在于低维内在子空间中）以及为什么掩码训练方法有效（它们诱导了低秩激活）提供了理论依据。
指导未来设计： 本文强调，虽然目前的理论在处理线性网络时最为稳健，但经验证据强烈表明这些原则同样适用于非线性网络。它指出，将这些数学理论扩展到深度非线性网络是当前的一个关键开放问题及未来的研究方向。

作者强调，这些低秩结构不仅仅是特定算法的产物，而是过参数化模型优化动力学的涌现属性，为更高效地训练和部署大规模 AI 系统提供了路径。