🤖 machine learning

Between Gradient and Natural Gradient: A Continuum of LoRA Initializations

本文介绍了统一 LoRA（ULoRA），这是一个由预处理梯度初始化构成的双参数连续体，它揭示了现有的 LoRA 方法均为该家族中的特定端点，并证明了在该家族内进行任务相关微调或使用其无搜索变体 ULoRA-Auto，均能在标准基准测试上达到或超过全量微调的性能。

原作者： Dianze Liu, Farshid Ghezelbash

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Dianze Liu, Farshid Ghezelbash

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个已经几乎了解世界万物的巨型、超智能机器人学会一项特定的新技能，比如解数学谜题或写幽默故事。你不想从头开始重新训练整个机器人，因为那既耗时又昂贵。相反，你在它身上连接了一个微小的、轻量级的“适配器”（adapter）——这是一组新的指令集，通过微调机器人的行为，使其足以学会这项新任务。这就是 低秩自适应（Low-Rank Adaptation，简称 LoRA） 的世界，它是定制大规模 AI 模型的一种流行方式，而无需耗费巨资。

但棘手的部分在于：该如何开始？如果你只是给适配器一些随机的指令，机器人可能会感到困惑并学习缓慢。如果你试图根据任务去猜测完美的初始指令，你可能会猜对，也可能会猜错，甚至会让情况变得更糟。一段时间以来，科学家们一直在争论初始化这些指令的最佳方式。有人说：“看机器人需要往哪个方向走，就指引那个方向！”也有人说：“不，你得先把路上的颠簸抹平，以免机器人被绊倒。”这篇论文介入了这场争论，旨在观察其中一方是否正确，或者真相其实是在两者之间。

研究人员 Dianze Liu 和 Farshid Ghezelbash 发现，这两派阵营其实并不是在争论两个不同的事物。相反，他们只是站在一个单一、漫长的滑动刻度尺的两端。他们将这种新方法称为 统一 LoRA（Unified LoRA，简称 ULoRA）。把它想象成一个灯泡的调光开关。开关的一端是“原始方向”（仅仅是指明方向），另一端是“完全平滑的方向”（在指明方向后经过仔细平滑处理）。论文表明，你可以将开关滑动到两者之间的任何位置，并且对于许多任务而言，完美的设置并不在两端，而是在中间。

重大发现：这不是一种选择，而是一个旋钮

论文的核心发现是，初始化这些适配器的“最佳”方式并不是一个像“总是做 X”或“绝不做 Y”这样的固定规则。相反，理想的设置完全取决于机器人正在执行的具体工作。

想象一下你在调收音机。有时你需要把旋钮调到最左边才能捕捉到清晰的电台；有时你需要把它调到最右边。但在很多时候，通过将旋钮稍微调过中间一点点，就能找到最清晰的信号。作者通过在许多不同任务（从理解人类语言到解决数学问题）中滑动他们的“旋钮”（他们称之为二参数族）来测试了这一点。

他们发现：

“全或无”的方法通常是错误的。 那些认为“只需使用原始方向”（如 LoRA-GA）或“始终将其完全平滑化”（如 CG-LoRA）的旧方法通常都不是最佳选择。
甜点区（Sweet Spot）通常在中间。 对于许多任务，最佳性能来自于两种策略的结合。这是一个“金发姑娘区”（Goldilocks zone），在这里，机器人得到了足够的帮助以看清路径，但又不会因为过度帮助而受到噪声干扰。
它随任务而变化。 适用于语言任务的方法可能不适用于数学任务。论文建议，平滑化的“强度”应该是一个可以针对每个特定工作进行调节的可调旋钮，而不是硬编码在软件中的永久设置。

“自动驾驶”解决方案

由于为每一个任务手动调节旋钮既费时又耗费计算资源，作者还构建了一个名为 ULoRA-Auto 的智能助手。这就像是初始化过程中的一辆自动驾驶汽车。你不需要亲自猜测应该将旋钮设置在哪里，ULoRA-Auto 会观察“路况”（数据统计特性），并自动为机器人的每一层设置到完美的点位。

结果令人印象深刻。当他们使用这种自动设置方法时：

在语言任务（如 GLUE 基准测试）上，它的表现与经过人工调优的“完美”设置一样出色，并且优于几乎所有其他方法。
在数学任务（如 GSM8K）以及使用大型模型（LLaMA 2-7B）的情况下，它处于领先或接近顶尖的水平，无需任何额外的搜索或调优，就击败了许多复杂的竞争对手。

这为什么重要

论文指出，长期以来，科学家们一直将我们如何启动这些 AI 适配器视为一个固定的设计决策——就像是在红车和蓝车之间做选择。而这项研究表明，这更像是选择自行车的合适档位。你不会只选一个档位然后一直用下去；你会根据是在上坡还是下坡来切换档位。

通过证明“最佳”起点是一个灵活的、连续的范围，而非一个单一的固定点，作者们提供了一种更强大的训练 AI 的新方法。他们证明了，通过将初始化强度视为一个可调维度，我们可以让 AI 模型学习得更快、表现得更好，且其成本仅为从头开始训练整个模型的极小一部分。

简而言之，论文表明，高效 AI 训练的未来不在于寻找一种神奇的技巧，而在于构建一个聪明的系统，它知道在面对每一个具体任务时，应该给予多少帮助，以及何时给予帮助。

技术摘要：在梯度与自然梯度之间：LoRA 初始化的一种连续体

问题陈述

低秩自适应（LoRA）通过将权重更新限制为低秩形式 ( $\Delta W = \frac{1}{\sqrt{r}}BA$ )，为大型预训练模型提供了一种高效的替代方案。然而，LoRA 的性能对适配器矩阵 $A$ 和 $B$ 的初始化高度敏感。标准的 LoRA 将 $B$ 初始化为 $0 $，将$ A$ 初始化为随机值，这无法提供任何任务特定的信息。

最近的研究尝试使用下游损失梯度来初始化适配器。这些方法在如何处理梯度方面存在分歧：

仅梯度方法（例如 LoRA-GA、LoRA-One）将原始梯度投影到其顶层方向上，忽略了二阶曲率信息。
曲率白化方法（例如 CG-LoRA）在使用 Kronecker 分解因子（K-FAC）估计的逆平方根白化（ $\alpha = -1/2$ ）之前，先进行固定的白化处理。

作者指出存在一个关键差距：现有方法在“完全忽略曲率”与“应用具有理论依据的固定白化强度”之间做出了僵化的二元选择。这种方法忽略了中间水平的、依赖于任务且对曲率估计中的噪声敏感（尤其是在小批量和非线性模型中）的最优曲率预处理的可能性。

方法论：统一 LoRA (ULoRA)

本文提出了 Unified LoRA (ULoRA) 框架，该框架将现有的基于梯度的 LoRA 初始化方法统一到一个单一的、连续的两参数族中。

两参数族

ULoRA 定义了一个应用于损失梯度 $\nabla_W L$ 的预处理算子 $P_{\alpha, \beta}$ ，用于在提取低秩子空间之前进行处理。该算子由以下参数控制：

谱白化指数 ( $\alpha$ )： 控制 K-FAC 特征值重缩放的强度。
- $\alpha = 0$ ：无谱白化（恢复 LoRA-GA/LoRA-One）。
- $\alpha = 1$ ：逆平方根白化（恢复 CG-LoRA）。
- $\alpha = 2$ ：全逆曲率缩放（自然梯度）。
对角预处理指数 ( $\beta$ )： 应用通过层输入和输出梯度的经验方差进行的归一化，类似于 Adam 中的二阶矩缩放。
- $\beta = 0$ ：无对角修正。
- $\beta > 0$ ：类 Adam 的对角缩放。

预处理后的梯度计算如下：
$P_{\alpha, \beta} = T^{-\alpha/2} \left[ d_T^{-\beta/2} \odot \nabla_W L \odot d_S^{-\beta/2} \right] S^{-\alpha/2}$
其中 $S$ 和 $T$ 是 Hessian 近似的 Kronecker 因子， $d_S$ 和 $d_T$ 是它们的对角线。

实现细节

高效计算： 为了避免全矩阵运算的成本，ULoRA 计算了 $S$ 和 $T$ 的秩为 $s$ （其中 $s = r + \text{oversample}$ ）的 Rayleigh–Ritz 近似。梯度被投影到这个低维子空间中，使用指数 $\alpha$ 和 $\beta$ 进行预处理，然后回投影到原始参数空间。
交叉熵修正： 对于分类任务，该方法结合了 Fisher 修正，以考虑由 softmax 输出引起的曲率，从而确保在输出空间中正确测量距离。
平衡初始化： 生成的奇异向量通过 QR 和 SVD 进行分解，以确保奇异值在 $A_0$ 和 $B_0$ 之间均匀分布，防止其中一个适配器占据主导地位。

ULoRA-Auto (无搜索变体)

为了消除超参数网格搜索的需求，作者提出了 ULoRA-Auto。该变体根据初始化期间计算的谱统计量自动选择每层的指数 $(\alpha^*, \beta^*)$ ：

$\alpha^*$ ： 由 K-FAC 特征值的有效秩 ( $r_{eff}$ ) 和条件数 ( $\kappa$ ) 决定。对于良置且高秩的谱，进行强白化；对于病态（多噪）的谱，则进行保守白化以避免放大估计噪声。
$\beta^*$ ： 由投影协方差的非对角能量比决定。仅当协方差在经验上接近对角时，才应用对角预处理。

核心贡献

统一性： 本文建立了一个基于性的事实，即基于梯度的 LoRA 初始化方法是单个两参数连续体的特例，从而提供了一个有原则的设计空间。
最优预处理特征化： 通过系统的网格搜索，作者证明了最优的预处理强度既不是零（纯梯度），也不是全（纯自然梯度）。相反，最佳运行点经常严格位于连续体内，并且具有高度的任务和模型依赖性。
可部署、无搜索的方法： ULoRA-Auto 在不进行网格搜索的情况下，回收了大部分经过 Oracle 调优的 ULoRA 的性能增益，利用了初始化时可用的谱统计量。

实验结果

作者在 NLU（RoBERTa-base, T5-base on GLUE）和 NLG（LLaMA 2-7B on GSM8K, HumanEval, MMLU）任务上评估了 ULoRA，并将其与包括 LoRA-GA、LoRA-One、CG-LoRA、PiSSA 和全参数微调在内的基准方法进行了比较。

GLUE 上的 RoBERTa： 调优后的 ULoRA 配置（Oracle 上界）在所有五个 GLUE 任务上均达到或超过了全参数微调。最优的 $(\alpha, \beta)$ 对始终处于中间状态（例如 $\alpha \in \{1.0, 1.5\}$ ），很少匹配现有方法的端点。
GLUE 上的 T5： 在这种 Vanilla LoRA 性能已接近全参数微调的饱和机制中，最优配置向弱预处理（ $\alpha=0, \beta=0$ ）塌缩，这表明当曲率估计存在噪声或余量有限时，激进的白化并无益处。
LLaMA 2-7B： 最优配置在不同任务间差异显著（例如 GSM8K 为 $(0.0, 0.0)$ ，HumanEval 为 $(2.0, 0.5)$ ）。值得注意的是，即使在 $(0.0, 0.0)$ 时，ULoRA 仍优于 LoRA-GA 和 LoRA-One，这表明 ULoRA 流程（Rayleigh–Ritz 投影、Fisher 修正、平衡实现）提供的收益独立于指数。
ULoRA-Auto 性能： 该无搜索变体在所有基准测试中均处于可部署方法的顶端或接近顶端。在 MMLU 上，它甚至超越了网格搜索得到的全局最优解，证明了逐层适配的价值。

意义与主张

本文认为，LoRA 初始化中曲率预处理的选择应该被视为一个可调维度，而非一个固定的设计决策。作者声称：

固定选择（要么不白化，要么全白化）在大多数设定下都会错失性能。
“最佳”运行点并非普适的；它取决于曲率估计的可靠性以及具体的任务。
有原则的设计空间允许中间策略，这些策略比现有的端点更具鲁棒性。
最优预处理强度可以从初始化时的谱统计量中预测（通过 ULoRA-Auto），从而在保持高性能的同时，消除了昂贵的超参数搜索需求。

作者总结道，他们特定的家族是该设计空间的“第一个实例化”，强调了使预处理决策显式化且连续化才是核心洞察。