💬 NLP

Not How Many, But Which: Parameter Placement in Low-Rank Adaptation

本文表明，在 GRPO 训练下，LoRA 的 B 矩阵中可训练参数的具体位置对性能至关重要，而随机位置在监督微调中已足够，并提出了一种快速、低成本的评分方法，用于识别那些始终集中在残差流写入投影上的关键参数。

原作者： Arijit Sehanobish, Charles Lovering

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Arijit Sehanobish, Charles Lovering

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《不是数量，而是选择：低秩适应中的参数放置》的解释。

核心理念：重要的不是团队规模，而是你雇佣了谁

想象你拥有一座巨大且极其聪明的图书馆（大型语言模型），它几乎无所不知。你想教它一项新技能，比如解决数学问题或编写代码。

通常，为了教这座图书馆，你可能会尝试雇佣一整支新的导师团队来与它并肩工作。但雇佣一整支团队既昂贵又缓慢。因此，研究人员开发了一种名为LoRA（低秩适应）的方法。与其雇佣一整支团队，不如雇佣一支微小且专业的“适配器”团队。

问题在于：
长期以来，人们认为唯一重要的是你雇佣了多少人。如果你有雇佣 100 名导师的预算，你就从帽子里随机抽取 100 个人，并祈祷他们足够优秀。

这篇论文提出了一个不同的问题： 你挑选的哪100 个人重要吗？如果你预算固定，是随机挑选 100 个人更好，还是挑选 100 个真正胜任工作的特定人选更好？

答案是：这取决于你如何教导他们。

场景一：教室（监督微调 / SFT）

类比： 想象一位老师正在给全班学生进行清晰、循序渐进的讲座。大家都在听讲，指令一致。

发生了什么： 在这种设置下，“梯度”（告诉模型该学习什么的信号）非常稳定且清晰。它们大致指向同一个方向。
结果： 你挑选哪 100 个人并不重要。因为指令如此清晰，几乎任何随机挑选的 100 人小组都能理解课程并有效学习。
论文主张： 在这里，随机选择完全可行。

场景二：密室逃脱（强化学习 / GRPO）

类比： 现在，想象你把模型放进一个混乱的密室逃脱游戏中。没有老师。模型必须尝试不同的方法，有时它解开谜题时会听到“叮”的一声（奖励），有时则什么都没有。反馈是嘈杂的、令人困惑的，并且每次都在变化。

发生了什么： “梯度”（信号）变得混乱不堪。它们指向四面八方，许多信号相互抵消。这就像在浓雾中试图寻找方向，而指南针却在疯狂旋转。
结果： 如果你随机挑选 100 个人，大多数人都会感到困惑。他们会向前迈一步，然后向后，再向侧面，最终回到原点。他们什么也学不到。
论文的发现： 然而，有一小群特定的人确实接收到了信号。他们是那些尽管存在噪音，仍能持续朝正确方向移动的人。
解决方案： 作者创建了一个“评分系统”。在训练开始之前，他们进行一个快速测试（耗时不到 10 秒），以查看适配器团队中哪些特定人员能持续响应信号。
结果： 当他们只挑选那些特定的“明星球员”（即“电路”）时，模型即使预算极小也能完美学习。而当他们随机挑选人员时，模型则完全失败。

“电路”的发现：寻找明星球员

作者并非凭空猜测谁是明星球员。他们使用了一个巧妙的技巧：

快速测试： 在正式训练开始之前，他们让模型查看几个示例，观察其“大脑”如何反应。
评分： 他们为适配器中的每一个微小部分打分。如果某部分对任务表现出持续强烈的反应，它就获得高分；如果它感到困惑或反应随机，它就获得低分。
选择： 他们挑选得分最高的部分，只允许它们进行学习。

类比： 想象你试图修理一台巨大而复杂的机器。与其试图拧紧每一颗螺丝（这既缓慢又昂贵），不如使用一种特殊传感器，找出唯一那颗一旦转动就能修好整台机器的螺丝。论文发现，对于强化学习，你只需要转动非常特定且微小的一组螺丝，就能让机器运转起来。

这些“明星球员”住在哪里？

论文还研究了这些重要部分位于模型“大脑”的何处。他们发现了一个规律：

阅读者与书写者： 最重要的部分是那些“读取”进入模型注意力机制的信息的部分，以及那些将信息“写回”主思维流的部分。
类比： 将模型想象成一家工厂。随机部分就像是仓库中间那些只是来回搬运箱子的工人。而“电路”部分则是装卸工（负责读取/装车）和发货员（负责发送包裹/书写）。如果你想改变工厂生产的产品，你需要培训装卸工和发货员，而不是仓库中间的那些人。

结果总结

对于标准训练（SFT）： 随机选择完全可行。信号清晰，任何人都能学习。
对于强化学习（GRPO）： 随机选择会失败。信号充满噪音。你必须使用“评分系统”来找到那些特定且一致的部分。
效率： 这个评分系统极其快速（不到 10 秒）且廉价（不到训练成本的 0.5%）。
性能： 通过挑选正确的参数“电路”，模型可以达到与训练整个适配器相同的高性能，但使用的资源却微乎其微。

简而言之： 当训练信号充满噪音时（如强化学习中），重要的不是你训练了多少参数，而是你训练了哪些参数。找到正确的那些，就像在干草堆中找到那根真正藏着金子的针。

技术摘要：并非数量，而是选择：低秩适应中的参数放置

1. 问题陈述

本文探讨了低秩适应（LoRA）中的参数放置问题。尽管近期研究已表明，LoRA 适配器在参数数量大幅减少的情况下（例如共享随机基或谱参数化）仍能发挥作用，但这些方法隐含地假设性能主要取决于可训练参数的数量，而非其身份。

作者将问题形式化：给定 LoRA 适配器 $B$ 矩阵中固定的 $k$ 个可训练条目预算（其中 $A$ 被冻结并随机初始化），具体选择哪 $k$ 个条目进行训练是否会显著影响下游性能？该研究通过保持 $A$ 冻结并将训练限制在 $B$ 的子集上，将参数选择与参数数量隔离开来。

2. 方法论

2.1 参数放置策略

作者提出了一种基于梯度的选择流程，用于在训练开始前识别最关键参数。

初始化： $B$ 初始化为零， $A$ 从随机分布中抽取。
评分阶段：模型在训练分布上执行 $N$ 次前向 - 反向传播。由于 $B=0$ ，模型输出与预训练模型一致，梯度 $\nabla_B L$ 直接衡量每个 $B$ 条目对降低损失的效用。
评分函数：为 $B$ $B$ 的每个元素 $(i, j)$ $(i, j)$ 定义了两个指标：
1. 梯度幅值评分（ $\hat{S}$ ）：估计总体平均梯度的幅值（ $|\mathbb{E}[g_{ij}]|$ ）。这选择了在样本间具有方向一致梯度的元素。
  $\hat{S}_{ij} = \left| \frac{1}{N} \sum_{k=1}^N g_{k,ij} \right|$
2. 对角 Fisher 评分（ $\hat{F}$ ）：估计经验 Fisher 信息的对角线（ $\mathbb{E}[g_{ij}^2]$ ）。这选择了损失对扰动最敏感的元素，同时捕捉均值和方差。
  $\hat{F}_{ij} = \frac{1}{N} \sum_{k=1}^N g_{k,ij}^2$
选择：基于这些评分，在所有层中全局选择前 $k$ 个元素以形成“电路”。

2.2 梯度结构的理论分析

本文提出，参数放置的有效性取决于训练方案的梯度结构：

监督微调（SFT）：梯度是低秩的、方向稳定的，且在步骤间高度对齐。因此，任何随机参数子集都能积累一致的更新，使得放置变得不那么关键。
强化学习（GRPO）：梯度是高秩的、在步骤间近乎正交的，且表现出高方差。在这种模式下，对随机参数的更新往往会相互抵消（随机游走），而只有那些具有持续符号和大梯度的参数才能积累有意义的位移。

2.3 实验设置

模型：Qwen2.5（1.5B, 3B, 7B）、Llama-3.2（3B）和 Llama-3.1（8B）。
任务：
- SFT：指令遵循（Alpaca, Bespoke-Stratos）和视觉 - 语言（MathVista）。
- RL：在数学推理数据集（GSM8K, MATH-500）上进行组相对策略优化（GRPO）。
基线：随机放置、完整 LoRA 以及提出的知情放置（ $\hat{S}$ 和 $\hat{F}$ ）。

3. 关键结果

3.1 模式依赖性

在 SFT 下：随机放置和知情放置实现了可比的性能。差距很小（例如，在指令遵循基准测试中 <1%），证实了 SFT 梯度分布足够广泛，任意子集都能捕捉到有用信号。
在 GRPO（基础模型）下：随机放置完全失败，表现处于或接近基础模型水平（例如，1.5B 模型在 GSM8K 上的准确率约为 9.5%，而完整 LoRA 约为 64%）。相比之下，知情放置（ $\hat{S}$ 和 $\hat{F}$ ）恢复了标准 LoRA 的准确率，通常在使用少于 0.1% 适配器参数的情况下即可达到或超越完整 LoRA 的表现。
在 GRPO（指令模型）下：虽然随机放置的表现优于基础模型（由于预先存在的奖励信号），但知情放置仍提供了持续的优势，特别是在分布外（OOD）泛化方面。

3.2 效率与稳定性

成本：电路发现仅需 $N=50$ 次前向 - 反向传播，在单张 GPU 上耗时 <10 秒（<完整 SFT 训练成本的 0.5%）。
稳定性：所选电路在不同随机种子和数据子集间高度稳定。前 10K 个元素在使用小样本量时与参考电路的重叠率 >95%。
泛化性：在一个数学数据集（如 MATH）上发现的电路能有效迁移到其他数据集（如 GSM8K, AMC, AIME），通常在 OOD 设置中优于完整 LoRA。这表明该方法识别的是一个稳定的、任务通用的子网络，而非特定于数据集的伪影。

3.3 电路解剖

对所选参数的分析揭示了非随机的集中性：

模块：所选参数高度集中在残流写入投影（ $V$ $V$ 、 $O$ $O$ 和 $Down$）。
- $V$ （Value）和 $K$ （Key）充当“注意力读取器”，与预训练权重的 dominant 奇异向量对齐。
- $O$ （Output）和 $Down$ 充当“残差写入器”，产生谱集中、低秩的更新。
层：在基础模型中，电路集中在早期层（0–4），吸收了 70–98% 的预算。
敲除验证：将训练好的适配器中排名靠前的参数置零，其性能下降速度显著快于随机敲除，从因果关系上证实了这些特定参数介导了适配器的效果。

4. 关键贡献

参数放置的形式化：本文将参数数量的影响与参数身份的影响分离，证明了放置参数在 RL 下至关重要，而在 SFT 下则不那么关键。
轻量级选择流程：提出了一种基于梯度的评分方法（ $\hat{S}$ 和 $\hat{F}$ ），能在几秒钟内识别有效的稀疏子集，且开销可忽略不计。
实证验证：表明在 GRPO 下，知情放置能以极端稀疏性（例如，在 2000 万参数适配器上使用 1 万个参数）恢复完整 LoRA 的性能，而随机放置则失败。
机制洞察：提供了证据表明，随机放置在 RL 中的失败是由于梯度噪声和正交性，这阻碍了任意子集中的相干积累，而知情放置则针对稀疏且一致的信号。

5. 意义与主张

本文主张，参数高效微调中的“数量”假设是不够的；在强化学习等高方差训练模式中，“哪些”参数被训练是决定性因素。

对于 SFT：研究结果表明，虽然随机放置是一个合理的基线，但在极端预算场景下，知情放置能提供边际增益和潜在的正则化优势。
对于 RL：该工作证明，RL 中成功的稀疏适应需要知情参数选择。随机放置在此模式下结构上无法学习，因为梯度信号过于嘈杂且分散，随机子集无法积累一致的更新。
实际影响：所提出的方法使得使用少于 0.05% 的适配器参数训练有效适配器成为可能，显著降低了 RL 微调的内存和计算需求，同时不牺牲性能。

作者总结道，他们的方法识别出了对学习功能至关重要的参数“电路”，充当了隐式正则化器，保留了通常在密集适配器中丢失的泛化能力。