💬 NLP

Gradient-Based LoRA Rank Allocation Under GRPO: An Empirical Study

这项实证研究揭示，基于梯度的 LoRA 自适应秩分配虽然在监督微调中有效，但由于梯度景观更平坦以及有害的梯度放大效应，其在组相对策略优化（GRPO）下会显著降低性能，这表明均匀秩分配在强化学习对齐任务中更为优越。

原作者： Yash Ganpat Sawant

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Yash Ganpat Sawant

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和日常类比对该论文的解读。

核心问题：我们能否在 AI 训练过程中“剪除赘肉”？

想象一下，你正在训练一支由 28 名工人（即 AI 模型的层）组成的团队来解决数学问题。你拥有的工具（参数）预算有限。

在过去，当训练这些工人遵循指令（称为监督微调或 SFT）时，研究人员发现了一个巧妙的技巧：并非所有工人都同样重要。 有些工人承担了 90% 的重活，而其他人则只是站在一旁。因此，他们开发了一种名为LoRA（低秩自适应）的策略，给“明星工人”配备巨大的工具箱，而给“懒惰工人”配备极小的工具箱。这在不损害性能的情况下节省了资金和时间。

核心问题： 当使用强化学习（特别是称为GRPO的方法）训练 AI 时，同样的技巧是否有效？在这种新设定下，AI 通过尝试、获得“点赞”或“点踩”（奖励）并进行调整来学习，而不仅仅是模仿老师。

令人惊讶的结果：技巧适得其反

研究人员试图将这种“剪除赘肉”的策略应用到这种新的强化学习方法中。他们根据各层似乎承担的工作量，给“重要”的层分配更多工具，给“不太重要”的层分配更少工具。

结果是一场灾难。

均匀团队（每人获得相同的工具）： 74.5% 的成功率。
精简团队（智能分配）： 70.0% 的成功率。

尽管使用的工具总数完全相同，但试图在分配上“耍聪明”的团队表现更差。事实上，随机分配工具的团队表现甚至更糟（67.5%）。

为什么会失败？两个主要原因

该论文指出了这种“智能分配”在此特定场景中失败的两个主要原因。

1. “平坦的地形”（每个人都在工作）

在旧的训练方法（SFT）中，工作像一座金字塔：顶部少数人几乎承担了所有工作，而底部的人几乎什么都不做。你可以安全地从底部拿走工具。

但在新方法（GRPO）下，工作地形是平坦的。这更像是一片平原，每个人都在做有意义的工作。

类比： 想象一场接力赛，从第一名到最后一名的每一位选手都在全力冲刺。如果你试图减慢“最慢”选手的速度（他实际上只比最快的选手慢 10%），整个团队都会输掉。
数据： 在旧方法中，最繁忙的层比最不繁忙的层重要 10 倍。而在新方法中，最繁忙的层仅比最不繁忙的层重要2.17 倍。每一层都是“承重”的。

2. “反馈循环”（自我实现的预言）

这是最惊人的发现。研究人员发现，给某一层分配更多工具，实际上会让它看起来像是在做更多的工作。

类比： 想象一个麦克风。如果你给歌手一支高质量的麦克风（高秩），他们会声音更大，获得更多反馈。如果你给他们一支廉价、损坏的麦克风（低秩），他们就会被静音。
发生了什么： 当研究人员给“重要”层分配更多工具时，这些层吸收了更多的学习信号。与此同时，工具较少的层被“静音”，停止做出贡献。
结果： “富”层和“穷”层之间的差距从 2.17 倍扩大到了 3.00 倍。系统创造了一个正向反馈循环，富者愈富，穷者愈穷，破坏了 AI 良好泛化所需的平衡。

隐藏的伤害：直到测试前看起来都挺好

这是最棘手的地方。在实际训练过程中，两个团队看起来都表现 equally well（同样出色）。 它们的“奖励分数”（在训练期间遵循规则的程度）完全相同。

然而，当研究人员在新的、未见过的问题（期末考试）上测试这些团队时，“精简团队”失败了。

类比： 这就像两个学生为考试学习。一个学生平等地学习每一章（均匀）。另一个学生跳过了无聊的章节（精简）。在练习测验中，两人都得了 100 分。但在真正的考试中，跳过章节的学生失败了，因为他们没有掌握解决新问题所需的细微细节。

结论

该论文得出结论，你不能简单地将旧式 AI 训练中的“智能分配”策略复制粘贴到这种新的强化学习方法中。

旧方法（SFT）： 某些层处于闲置状态；给它们更少的工具。
新方法（GRPO）： 每一层都至关重要；给它们所有相同的工具。

如果你试图在这种特定类型的训练中“耍聪明”并走捷径，你并没有省钱；你只是在破坏模型解决新问题的能力。最安全且最有效的策略是平等地对待每一层，并给予它们相同容量的资源。

技术摘要：基于 GRPO 的梯度驱动 LoRA 秩分配

问题陈述

低秩适应（LoRA）已成为大语言模型（LLM）参数高效微调（PEFT）的标准方法。尽管近期研究已确立，自适应秩分配——即动态地为“重要”层分配更多参数，而为“不重要”层分配更少参数——在**监督微调（SFT）下能显著提升效率，但在强化学习（RL）**背景下，梯度重要性与容量需求之间的这种相关性是否依然成立，目前尚不明确。

具体而言，本研究探讨了在 SFT 中成功的基于梯度的秩分析策略，能否有效迁移至组相对策略优化（GRPO）（一种领先的用于对齐的 RL 算法）。核心假设是：RL 独特的目标（具有稀疏二元奖励的优势加权策略梯度）可能会根本性地改变梯度景观，从而导致 SFT 时代的分配启发式方法失效甚至产生危害。

方法论

作者使用Qwen 2.5 1.5B-Instruct模型在GSM8K数学推理数据集上进行了实证研究。

实验设置

基线：在所有 28 个 Transformer 层及每层的 7 个投影模块上采用均匀 LoRA 分配（秩 $r=32$ ），总计 196 个适配器。
自适应策略：
- 比例分配：根据预计算的“奖励敏感度分数”（ $S(l)$ ）分配秩，该分数定义为训练步骤上的平均梯度范数。
- 随机分配：作为对照组，采用非均匀秩分配但无梯度引导。
- 缩减预算：总参数量减少 70% 的场景。
训练配置：GRPO，生成数 $K=4$ ，KL 系数 $\beta=0.05$ ，训练步数 1,000 步。
评估：在 200 个 GSM8K 测试样本上的准确率，附带 95% Wilson 分数置信区间。

关键机制分析

本研究引入了一项奖励敏感度分析指标以量化层的重要性。关键在于，作者不仅分析了初始化时的梯度景观，还动态地分析了训练过程中的梯度景观，以观察秩分配如何影响梯度流动（即“梯度放大效应”）。

主要发现

1. 自适应分配在 RL 中的失效

与 SFT 的结果相反，自适应秩分配在 GRPO 下降低了性能。

均匀分配：实现了 74.5% 的准确率。
比例（梯度感知）分配：尽管使用了相同的参数预算（3690 万参数），准确率仅为 70.0%（下降了 4.5 个百分点）。
随机分配：表现更差，仅为 67.5%，这证实了虽然梯度信号能识别出“重要”层，但偏离均匀性却是有害的。

2. 平坦的梯度景观

该研究揭示了 SFT 与 GRPO 之间根本性的结构差异：

SFT：梯度重要性高度集中；前 30% 的层承载了超过 80% 的信号，最大/最小重要性比率经常超过 10 倍。
GRPO：梯度景观显著平坦。最大/最小层重要性比率仅为 2.17 倍。即使是“最冷”的层，也贡献了“最热”层 46% 的信号。这表明在 RL 下，所有层都承担负载，没有哪一层是真正闲置的。

3. 梯度放大效应

本工作的一个新发现是，非均匀分配会创造一种正反馈循环，从而扭曲梯度景观：

当秩被非均匀分配时，重要性分布变宽而非趋于稳定。
机制：被分配较高秩的层吸收更多梯度，显得更为“重要”，而低秩层则逐渐被抑制。
证据：最大/最小比率从 2.17 倍（均匀分配）增加到 3.00 倍（比例分配）和 3.57 倍（缩减预算）。
因果关系：这种效应是因果性的，而非相关性。即使在随机分配对照组中，分配的秩与初始梯度重要性无关，分配的秩与 resulting 梯度偏移之间仍出现了强相关性（ $r > 0.97$ ）。这意味着在 GRPO 中，秩决定了梯度重要性，从而使得“先分析后重训”的范式失效。

4. 泛化差距

所有配置的训练奖励曲线几乎相同（均达到约 0.74–0.77 的正确率）。自适应方法的性能下降仅出现在评估阶段。这表明非均匀分配损害了对未见问题的泛化能力，即使模型在训练分布上的学习效果相同。

意义与主张

本文结论认为，梯度重要性无法预测 RL 下的容量需求。本工作的主要意义在于：

挑战 SFT 启发式方法的迁移性：它证明了那些被证实对 SFT 有效的策略（如 AdaLoRA 或 GoRA），不应被天真地应用于基于 RL 的对齐训练。
识别一种新的失效模式：“梯度放大效应”揭示了一种机制，即非均匀分配通过抑制那些产生微小但关键梯度的关键结构层（例如处理格式或数值精度的层），主动损害了训练动态。
实践指导：从业者在进行 GRPO 训练时应优先选择均匀秩分配，以确保稳健的泛化能力，因为 RL 下平坦的梯度景观要求容量在所有层之间均匀分布。

作者在泛化性方面保持谨慎，指出目前的发现仅限于单一模型规模、数据集和 RL 算法，并呼吁在更大规模和更多样化的领域中进行进一步的复现研究。