🤖 machine learning

Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

本文针对具有可验证奖励的强化学习（RLVR）中的低秩自适应（LoRA），提出了一种保持几何特性的正交初始化方法，从理论上证明了该方法能够最小化与全参数微调之间的差距、稳定训练过程，并在数学推理基准测试中优于 PiSSA 和 MiLoRA 等现有变体。

原作者： Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座巨大且极其聪明的图书馆（大语言模型），它已经读遍了世界上几乎所有的书。现在你想教它一项新的、特定的技能，比如解决复杂的数学问题。

有两种方法可以实现：

全量微调 (Full Fine-Tuning)： 你重写整个图书馆的目录并重新组织每一本书。这种方法非常强大，但需要消耗巨大的能量和存储空间（就像需要一个新的仓库一样）。
LoRA (低秩自适应)： 你不需要重写所有内容，只需在图书馆的前面贴上一张小小的、便签式的索引卡。这张卡片包含了新的指令。它既便宜又快速，而且不需要一个新的仓库。

问题所在：“RLVR”健身房训练

最近，一种被称为 RLVR（带有可验证奖励的强化学习）的新型教学方式变得流行起来。把这不看作是一场课堂讲座，而是一场高强度的健身训练。

在课堂中（监督式微调），老师只是纠正你的作业。
在健身房中（RLVR），模型尝试许多不同的答案，并根据答案的对错获得一个分数（奖励），从而从经验中学习。

问题在于，那些在课堂上表现完美的“便签式索引卡”（LoRA），在健身房里却开始失效了。一些高级版本的索引卡（被称为 PiSSA 和 MiLoRA）甚至导致了模型的崩溃，就像一名举重运动员在还没做热身运动前就试图去举起一个过于沉重的杠铃。训练变得不稳定，模型停止了学习。

调查：为什么这些卡片会损坏？

研究人员调查了这些高级卡片失效的原因。他们发现了两个主要元凶：

“沉重”的起点： 这些高级卡片试图立即抓取并放大图书馆现有知识中“最重要”的部分（那些沉重的、热门的书籍）。在健身房的环境下，这就像是在还没拉伸之前就尝试冲刺。这导致模型移动得太快、太远，从而破坏了健身训练的规则。
错误的方向： 健身房（RLVR）需要模型去探索新的方向，而不仅仅是强化它已经知道的内容。旧的卡片过于专注于“主要”路径，导致模型陷入停滞或失控旋转。

解决方案：“几何保持型”索引卡

研究人员意识到，要在健身房中生存下来，索引卡必须是正交规范 (orthonormal) 的。

类比：
想象一下，图书馆的知识是一个三维空间。

标准 LoRA 就像在纸上画一条随机的线。它虽然有效，但有点凌乱。
PiSSA/MiLoRA 就像画一条试图紧贴着书架上最沉重书籍的线。在健身房里，这条线太“僵硬”了，容易折断。
新方法 (LoRA-RLPO/RLMO)： 研究人员设计了一种新的索引卡，它是完美刚性且有结构的（正交规范）。它不会试图放大沉重的书籍，而是完美地契合图书馆现有的几何结构，且不会增加额外的重量。

把它想象成一个舞伴。

旧的高级卡片试图用过大的力量来主导舞蹈，导致舞伴（模型）踉跄。
新的方法是一个能与音乐（图书馆现有的结构）完美同步律动的舞伴，它不会推搡得太用力。它保留了舞池的形状，让模型可以自由移动而不会摔倒。

他们做了什么

他们创建了两种新型索引卡：

LoRA-RLPO： 与“主要”路径对齐，但保持结构轻盈且平衡。
LoRA-RLMO： 与“次要”路径（较不明显的路径）对齐，但也保持结构轻盈且平衡。

结果

当他们在“健身房”（数学推理基准测试）中测试这些新卡片时：

稳定性： 训练没有崩溃。模型保持冷静且稳定。
性能： 模型学习得更快，得分也比标准方法更高。
“为什么”： 他们通过数学证明，通过保持索引卡的“正交规范性”（即完美的结构化）并且不放大现有知识的权重，模型可以在不需要巨大能量成本的情况下，保持接近“全量重写”的理想性能。

总结

论文指出：“如果你想使用新的‘健身房’方法（RLVR）来训练智能 AI，不要使用那些在课堂上表现出色、但在健身房里过于沉重的花哨索引卡。相反，请使用我们设计的这种完美结构化、轻量化的新卡片。它们能让模型保持稳定，防止其崩溃，并帮助它更好地学习数学问题。”

他们还指出，这种方法适用于不同规模的模型，甚至也适用于编程任务，但核心发现在于如何开始训练，以确保它不会“爆炸”。

技术摘要：用于强化学习中可验证奖励（RLVR）的几何保持正交初始化

问题陈述

虽然低秩自适应（LoRA）及其变体已成为监督微调（SFT）范式下参数高效微调的标准方法，但其在强化学习中可验证奖励（RLVR）下的行为仍不为人所知。最近的观察表明，在 SFT 中表现优异的基于 SVD 的初始化策略——特别是 PiSSA（主奇异值与奇异向量自适应）和 MiLoRA（次要 LoRA）——在 RLVR 设置中往往表现不佳，并表现出训练不稳定。这些方法使用预训练权重的 top- $r$ （PiSA）或 bottom- $r$ （MiLoRA）奇异分量来初始化适配器，通常会结合奇异值缩放。本文认为，RLVR 独特的优化动力学——其特征是具有限制策略漂移的隐式 KL 散度约束——使得针对 SFT 优化的初始化原则失效甚至产生负面影响。核心挑战在于寻找一种既能稳定 RLVR 训练，又能保持低秩自适应效率的初始化策略。

方法论

作者通过对 RLVR 中 LoRA 优化动力学的理论分析，推导出了一个有原则的初始化策略。

理论分析

本文确立了当低秩矩阵 $A$ 使用正交行初始化且 $B$ 初始化为零时，LoRA 与全量微调之间的近似差距最小。

优化动力学： 在假设损失函数 $L$ -光滑且梯度有界的情况下，本文证明（定理 5.2）LoRA 轨迹与全量微调轨迹之间的误差受项 $\|I_n - A_0^\top A_0\|_2$ 控制。当且仅当 $A_0$ 具有正交行（ $A_0 A_0^\top = I_r$ ）时，该项达到其最小值 1。
稳定性界限： 此外，命题 5.3 表明，使用 $B_0=0$ 的正交初始化保证了第一步权重更新幅度不会超过全量微调。这种有界的更新对于满足 RLVR 中的隐式 KL 散度约束至关重要，能够防止导致训练崩溃的激进策略偏移。

提出的初始化策略

在这些理论见解的指导下，作者提出了两种“几何保持正交”初始化方法，这些方法保留了预训练权重的谱信息，但避免了 PiSSA 和 MiLoRA 中存在的破坏稳定性的奇异值缩放：

LoRA-RLPO (Principal)： 使用预训练权重矩阵 $W_0$ 的前 $r$ 个右奇异向量 ( $V_r^\top$ ) 来初始化 $A_0$ ，并令 $B_0 = 0$ 。这使适配器与预训练模型的特征方向对齐，同时保持正交性。
LoRA-RLMO (Minor)： 使用预训练权重 $W_0$ 的后 $r$ 个右奇异向量 ( $V_{-r}^\top$ ) 来初始化 $A_0$ ，并令 $B_0 = 0$ 。这针对次要子空间，但与 MiLoRA 不同，它避免了奇异值缩放和非零的 $B_0$ 。

这两种方法与 PiSSA 和 MiLoRA 的不同之处在于，它们设置 $B_0=0$ 并使用正交的 $A_0$ ，且不通过奇异值 ( $\Sigma^{1/2}$ ) 进行缩放。

关键结果

实验在数学推理基准测试（GSM8K, MATH500, AIME 2022/2023/2024）上进行，使用了 DAPO 算法，模型包括 DeepSeek-R1-Distill-Qwen-1.5B 和 Qwen2.5-7B。

性能： LoRA-RLPO 在各项基准测试中取得了最高平均准确率 (65.03%)，优于标准 LoRA (62.40%) 和 LoRA-RLMO (63.76%)，并显著超过了 PiSSA (4.57%) 和 MiLoRA (51.71%)。
训练稳定性： 通过监测 KL 散度和梯度范数发现，PiSSA 和 MiLoRA 存在 KL 快速增长和梯度爆炸的问题，从而导致奖励崩溃。相比之下，LoRA-RLPO 和 LoLoRA-RLMO 维持了与标准 LoRA 相当或更低的 KL 散度轨迹，表明优化过程是稳定的。
消融研究：
- 正交性 vs. 几何结构： 与模型无关的正交基线（DCT-LoRA, Wavelet-LoRA）表现优于标准 LoRA，证实了仅靠正交性的益处。然而，LoRA-RLPO 显著优于这些模型无关的方法，证明了通过 SVD 保留预训练权重的几何结构能提供额外的增益。
- 失败分析： 本文反驳了 MiLoRA 失败是由于近零初始化幅度的假设，实验显示其初始适配器范数并非微不足道。相反，不稳定性归因于子空间几何与奇异值缩放的结合，这放大了更新幅度，使其超出了 KL 预算。
- 泛化能力： 所提方法在 SFT 任务（GLUE, GSM8K）中也展示了改进的收敛性和性能，表明其益处延伸到了 SFT 领域。

意义与主张

本文声称提供了第一个理论解释，说明了为什么基于 SVD 的 LoRA 变体（PiSSA, MiLoRA）在 RLVR 中失败而在 SFT 中成功。作者确定了驱动这一失败的两个耦合因素：

子空间几何： 奇异子空间的选择决定了优化轨迹。
奇异值缩放： PiSSA/MiLoRA 中的缩放因子放大了更新幅度，导致迅速违反了稳定 RLVR 训练所需的隐式 KL 散度约束。

这项工作的意义在于确立了正交初始化配合标准的 $B_0=0$ 选择，是低秩自适应在 RLVR 中的原则性解决方案。通过最小化与全量微调的近似差距并限制更新幅度，几何保持正交初始化（LoRA-RLPO/RLMO）为参数高效的强化学习提供了稳健的基础，解决了先前 SVD 类方法中观察到的不稳定问题。作者强调，其分析提供了一个统一的框架，既解释了现有变体的失败，也解释了其提出方法的成功。