On the Convergence Rate of LoRA Gradient Descent

技术摘要：关于 LoRA 梯度下降的收敛速率

问题陈述
低秩自适应（LoRA）因其高效性而成为微调大型语言模型的标准方法，它仅更新低秩适配器矩阵 $A$ 和 $B$，使得最终权重为 $W_0 + BA$。然而，对其收敛性的理论理解仍然有限。虽然原始损失函数 $\ell(W)$ 通常被假设为 Lipschitz 平滑，但重参数化后的损失函数 $L(BA)$关于适配器矩阵$A$和$B$ 并非 Lipschitz 平滑。这种平滑性的缺失阻碍了经典收敛分析技术的直接应用。现有的理论工作可分为三类：(1) 无限域下的渐近分析（例如神经正切核或无限宽度），这些分析无法为有限模型提供非渐近速率；(2) 针对修改后算法（例如 GaLore、LoRA-One）的分析，这些分析并未严格解决原始 LoRA 公式；(3) 针对原始 LoRA 算法的分析，这些分析依赖于强且人为的假设（例如均匀有界的适配器矩阵）来强制实现 Lipschitz 平滑。因此，在不假设有界性的情况下，原始 LoRA 梯度下降算法的非渐近收敛速率仍是一个未解之谜。

方法论
作者在最小假设下（即原始损失函数是 Lipschitz 平滑且有下界的），提供了对原始 LoRA 梯度下降算法的首个非渐近收敛分析。证明分为三个关键步骤：

1. 通过堆叠矩阵重构：将适配器矩阵 $B \in \mathbb{R}^{m \times r}$ 和 $A^T \in \mathbb{R}^{r \times n}$ 堆叠为单个变量 $V \in \mathbb{R}^{(m+n) \times r}$，从而重构该问题。原始更新 $BA$被恢复为外积$VV^T$的特定块。这使得优化过程可被视为在新函数$J(V) = L(E_1 V V^T E_2)$上的梯度下降，其中$E_1$和$E_2$ 为提取矩阵。
2. 修正的下降引理：由于 $J(V)$ 并非 Lipschitz 平滑（因为梯度中包含 $V$ 的乘积因子），作者推导出了一个修正的下降引理。该引理利用涉及参数范数 $\|V_t\|$ 和梯度的高阶项，界定了函数下降量 $J(V_{t+1}) - J(V_t)$。
3. 学习率控制：为了确保每一步的下降，学习率 $\eta_t$ 根据当前参数范数和梯度范数进行动态控制。具体而言，$\eta_t$ 设置为与 $\|V_t\|^2 + \|\nabla L(E_1 V_t V_t^T E_2)\|$ 成反比。作者证明，即使参数范数 $\|V_t\|$ 无界增长（这迫使 $\eta_t$ 减小），学习率之和 $\sum \eta_t$ 的发散速度仍足够慢（作为调和级数），从而保证收敛，尽管其速率慢于标准梯度下降。

主要贡献

• 非渐近收敛速率：本文证明了在 LoRA 梯度下降下，最小梯度范数以 $O(1/\log T)$ 的速率收敛至零，其中 $T$ 为迭代次数。该结果成立的前提是不假设适配器矩阵有界，也不假设重参数化损失具有 Lipschitz 平滑性。
• 标准速率的恢复：作者表明，如果适配器范数有界（这是先前工作中常假设的条件），收敛速率将提升至标准的 $O(1/T)$，与 Lipschitz 平滑函数的速率一致。
• 位置依赖性：分析揭示了 LoRA 动力学中的“位置依赖性”：如果迭代点远离原点（$\|V_t\|$ 增大），收敛会减慢；如果靠近原点，收敛则会加速。这归因于 LoRA 参数化对损失景观的几何重构，无论原始损失结构如何，它都在原点处创造了一个驻点。
• 实用的学习率方案：受理论要求（需根据参数和梯度范数控制 $\eta_t$）的启发，作者提出并验证了实用的自适应学习率调度方案（$\eta_{adapt}$、$\eta_{adapt2}$ 和 $\eta_{norm}$），这些方案根据堆叠适配器的范数或损失值进行调整。

结果

• 理论方面：定理 3.5 确立了通用情况下的 $O(1/\log T)$ 收敛速率以及有界情况下的 $O(1/T)$ 收敛速率。证明表明，学习率、参数范数与梯度范数之间的递归关系引入了相对于标准梯度下降的收敛减速。
• 实证方面：实验在基于 CIFAR-10 嵌入的逻辑回归以及基于 CIFAR-10 训练的 ResNet-18 上进行。
  • 源自理论的自适应和归一化学习率相比恒定学习率表现出更快且更稳定的收敛性。
  • 在逻辑回归实验中，观察到参数范数 $\|V_t\|$ 在 1000 个 epoch 内无界增长，证实了理论场景中收敛减速至 $O(1/\log T)$ 的情况。
  • 在 ResNet-18 实验中，$\|V_t\|$ 收敛至一个有界集，从而实现了更快的收敛。
  • 在大型语言模型（LLM）微调（TinyLlama-1.1B）中，当参数以较小范数初始化时，自适应速率显示出显著优势；而当以较大范数初始化时（此时 $\|V_t\|$ 较大且相对于其大小增长缓慢），其表现与恒定速率相似。

意义
本文声称填补了 LoRA 理论理解中的一个重大空白，通过提供首个针对原始算法且无需人为有界性假设的非渐近收敛分析。它阐明了 LoRA 的收敛速率不取决于所选的秩 $r$，而是由学习率与迭代点范数之间的相互作用所决定。该工作强调，LoRA 的重参数化从根本上改变了优化几何结构，可能导致与全秩微调不同的解。此外，所提出的学习率策略提供了一种实用方法，通过考虑低秩重参数化所诱导的独特结构，来稳定和加速 LoRA 训练。