💻 computer science

SALT: When More Rollouts Don't Help in Group-Based Policy Optimization and How to Make Them Matter

本文介绍了 SALT，一种用于组相对策略优化（GRPO）的插件组件，它通过自适应地重新加权更新系数，以抵消在共享子空间内的符号梯度抵消，从而缓解由增加采样次数（rollouts）导致的性能退化问题。

原作者： Powei Chang, Jinpeng Zhang, Chaoqun Sun, MiniWell Tsao, Lianrui Li, Jianxiang Xiang, Chenyu Wang, Yukang Gao, Dongying Kong

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Powei Chang, Jinpeng Zhang, Chaoqun Sun, MiniWell Tsao, Lianrui Li, Jianxiang Xiang, Chenyu Wang, Yukang Gao, Dongying Kong

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：AI 训练中的“回声壁效应”

想象一下，你正在试图教一名学生（AI 模型）如何解决一道很难的数学题。你不仅要求他解一次，还要求他同时生成多个不同的解法（称为“rollouts”）。然后你对比这些解法：如果解法正确，就给他高分；如果错误，就给低分。

在目前的 AI 训练方法（如 GRPO）中，系统会将所有这些解法视为一个整体（组）。它计算所有解法的“平均分”，然后告诉 AI：“你比平均水平做得好，所以继续保持，”或者“你做得不如平均水平，所以停止这样做。”

论文的发现：
作者发现这个过程中存在一个隐藏的缺陷。尽管 AI 生成了许多看起来各不相同的解法，但其学习方式往往是失效的。

可以把这想象成一个合唱团在唱歌。

目标： 你希望合唱团能够和谐地歌唱，创造出一种有力、统一的声音来打动观众（即学习信号）。
现实： 在很多情况下，合唱团成员实际上是在唱着完全相同的音符，但方向却相反（即有的在唱“多-雷-米”，而另一些人唱的是带有负号的“多-雷-米”，从而互相抵消）。
结果： 当指挥家（AI 的学习算法）将所有的声音相加时，正向和负向的声音互相抵消了。结果就是一片寂静。无论你增加多少名歌手，如果他们只是在互相抵消，音乐永远不会变得更响亮或更好听。

论文将这种现象称为**“符号低秩冗余”（Signed Low-Rank Redundancy）**。用通俗的话说：AI 生成了很多答案，但这些答案都包含相同的“噪声”，这些噪声会互相抵消，导致实际发生的学习非常微弱。

解决方案：SALT（“智能音效师”）

作者提出了一种名为 SALT（子空间自适应几何插件组件，Subspace-Adaptive geometry pLug-in componenT）的新工具。

如果 AI 训练是一个混乱的合唱团，那么 SALT 就是一位智能音效师，他在最终混音之前会对这一组声音进行监听。

寻找“共同噪声”： SALT 分析一组答案，并识别出所有人都在唱相同内容的部分（即“共享子空间”）。在现有系统中，这种共同噪声会被抵消并浪费掉。
分离信号： SALT 将这组声音分为两个通道：
- 共同通道（The Common Channel）： 所有人达成共识的内容（这部分通常会被抵消）。
- 独特通道（The Unique Channel）： 答案之间稀有且独特的差异（即“残差”信号）。
调高独特性的音量： 当 SALT 发现群体主要在进行自我抵消（即“符号抵消”）时，它会自动调高独特通道的音量。它告诉 AI：“忽略那些无聊的、互相抵消的噪声。全身心地关注这些答案之间独特且多样化的差异。”

为什么这很重要

1. 并非越多越好。
在 SALT 出现之前，如果你想让 AI 学得更好，你可能会想：“让我们生成 100 个答案而不是 10 个吧。” 论文表明，如果没有 SALT，要求 100 个答案往往只是创造了 100 个重复的抵消过程。你投入了更多的计算资源（算力），却没得到更好的结果。

2. SALT 让额外的努力发挥作用。
有了 SALT，如果你要求 100 个答案，系统实际上会利用这 100 个答案的多样性来进行学习。它过滤掉了“抵消性”噪声，并放大了“多样化”信号。

3. 它无需改变规则即可运行。
SALT 不需要新的老师（奖励模型）或新的提问方式。它是一个“插件”，嵌套在现有的训练过程中，修复了数学逻辑，并使学习信号变得更强。

实验结果：更清晰的声音

作者在困难的数学和推理基准测试（如解决复杂的数学问题或编写代码）上测试了 SALT。

性能： 使用 SALT 的 AI 模型比使用标准方法的模型解决了更多的正确问题。
效率： 他们在没有改变 AI 架构或使用大量额外计算能力的情况下，获得了更好的结果。
“几何”检查： 作者测量了学习信号的“形状”。使用 SALT 后，信号不再那么“平坦”（冗余），而是更加“分散”（多样化），这意味着 AI 确实是在从独特的、有价值的差异中学习，而不是从抵消噪声中学习。

总结类比

想象你正在一片大雾弥漫的森林中寻找隐藏的宝藏。

旧方法 (GR포)： 你派出了 50 名侦察兵。他们都在大声喊着方向。但因为他们都在看同一片雾，他们喊出的指令是相互冲突且互相抵消的。你听到的是一阵混乱的咆哮，但你根本不知道该往哪走。
问题所在： 再增加 50 名侦察兵只会让这种混乱变得更响亮。
SALT： SALT 是一个过滤器，它倾听这 50 名侦察兵的声音。它意识到：“嘿，你们中有 40 个人在喊同样的错误信息，而有 10 个人在喊一些独特的东西。” SALT 压低了那 40 人的声音，并放大了那 10 个独特的声音。突然间，通往宝藏的路径变得清晰可见。

底线是： SALT 教会 AI 如何停止倾听那些互相抵消的噪声，转而倾听那些真正有助于学习的独特信号。

技术摘要：SALT —— 用于基于组策略优化的子空间自适应几何插件

1. 问题陈述

具有可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）推理能力的标准方法，特别是通过组相对策略优化（GRPO）。GRPO 通过使用组内相对归一化来取代评论家网络（critic network），通过为每个提示词采样多个展开（rollouts, $G$ ）来构建学习信号，从而提高了可扩展性。

然而，本文指出存在一个关键的结构性低效问题：仅仅增加展开数量并不能可靠地强化学习。 作者诊断出，在 GRPO 式的组归一化下，单次展开的策略梯度特征倾向于集中在一种**低秩、带符号的几何结构（low-rank, signed geometry）**中。

符号抵消（Signed Cancellation）： 当优势函数（advantages）在组内进行归一化时，它们的总和为零。如果展开的梯度特征高度相关（冗余）并共享一个主导方向，那么正向和负向的带符号优势会在聚合过程中相互抵消。
低有效维度（Low Effective Dimensionality）： 这种冗余导致了较低的“有效维度”（通过参与率 $PR $衡量）和较低的“有效样本量” ($ n_{eff}$)。
瓶颈： 因此，增加展开组大小 ( $G$ ) 通常会产生收益递减，因为聚合后的更新信号仅取决于一个很小的残差分量，而共享的、冗余的分量则会被组中心化机制抵消掉。

2. 方法论：SALT

为了解决这一问题，作者提出了 SALT（Subspace-Adaptive geometry pLug-in componenT，子空间自适应几何插件组件）。SALT 是一个插件模块，它通过利用样本级的梯度几何来重新加权组相对系数，旨在减轻符号抵消，且无需修改奖励模型或展开采样过程。

核心机制

SALT 通过分析小批量（mini-batch）梯度的几何结构，并将更新信号分解为两个通道来运作：

主导子空间估计（Dominant Subspace Estimation）：
- SALT 计算梯度特征的归一化 Gram 矩阵（使用轻量级的 LM-head 梯度代理以避免全模型梯度计算成本）。
- 它执行特征分解，根据参与率（Participation Ratio, $PR $）识别出一个主导的共享子空间 ($ V_k$)。
- 该子空间代表了在各展开之间共享的、容易发生抵消的“共同信号”。
双通道分解（Dual-Channel Decomposition）：
- 主通道 ( $a_{main}$ )： 将组归一化的优势函数投影到主导子空间上 ( $P_k a$ )。这保留了核心的组相对反馈。
- 探索通道 ( $a_{exp}$ )： 将优势函数投影到正交补空间 ( $P_k^\perp$ ) 上，并进行过滤以仅保留正向分量 ( $[a]_+$ )。这隔离了“残差”或非冗余的方向。
自适应重加权（Adaptive Reweighting）：
- SALT 引入了一个自适应混合系数 $\alpha_t$ ，该系数与当前批次的有效样本量 ( $n_{eff}$ ) 成反比。
- 最终的重加权优势函数为： $a' = a_{main} + \alpha_t a_{exp}$ 。
- 逻辑： 当 $n_{eff}$ 较低时（表明存在严重的抵消现象）， $\alpha_t$ 会随之增大，从而自适应地放大残差（探索）通道，以回收那些原本会丢失的有用的更新信号。

计算效率

代理特征（Proxy Feature）： SALT 并非计算全模型梯度，而是使用输出投影（LM-head）的梯度作为代理。这保留了必要的样本级几何结构，同时其规模随小批量大小 $m=BG$ 缩放，而非随总参数量缩放。
成本： 由于 Gram 矩阵计算和特征分解步骤的存在，该方法增加了约 7.7% 的实际训练时间开销，考虑到其带来的性能提升，这被认为是一个理想的成本效益权衡。

3. 主要贡献

本文概述了三个主要贡献：

现象诊断： 作者通过实验证明，组相对 RLVR 存在**符号低秩冗余（signed low-rank redundancy）**现象。他们展示了单样本梯度特征集中在低维子空间中，导致了较低的 $PR $和$ n_{eff}$，这解释了为什么增加展开次数往往无法改善学习效果。
方法提议 (SALT)： 他们提出了一种子空间自适应插件，用于估计主导共享子空间并重新加权组相对系数。它明确地分离了共享信号与残差信号，并自适应地增强后者以对抗抵消。
实证验证： 在推理基准测试（AIME, GSM8K, MATH, GPQA）和不同模型规模（1.5B, 7B）上的广泛实验验证了 SALT 与标准 GRPO 及 DAPO 基线相比，能持续提升性能和有效更新几何结构。

4. 实验结果

作者在多样化的推理导向 RLVR 基准测试上对 SALT 进行了评估，使用了 DeepSeek-Distill-Qwen 模型（1.5B 和 7B）。

性能增益： SALT 的表现始终优于 vanilla GRPO 和 DAPO。在所有设置中，平均准确率提升了约 +2.54 个百分点。在 AIME24 和 GPQA 上观察到了显著的提升。
几何改进： 与基于熵的正则化方法（这类方法虽能增加采样多样性，但无法改善更新几何结构）不同，SALT 显著提高了参与率 ($PR $) 和有效样本量 ($ n_{eff}$)。这表明 SALT 成功地将展开转化为多样化、非抵消的更新信号。
展开缩放（Rollout Scaling）： 在固定展开预算的实验中，SALT 证明了可以有效地利用更大的组大小 ( $G$ )。当 $G$ 增加时，基线模型显示出收益递减，而 SALT 则保持了高 $n_{eff}$ 并持续提升性能，证明了它能让更大的展开组变得“有用”，而非仅仅是计算昂贵。
消融实验： 移除双通道结构或自适应混合机制都会导致性能下降，这证实了分离共享/残差信号以及动态调整混合强度这两者都是必要的。

5. 重要性与主张

本文声称，GRPO 中的展开低效性不仅是采样问题，更是无法聚合残差、非冗余信号的问题。

视角转变： 这项工作将关注点从“维持响应多样性”（通过熵正则化）转向了“优化更新几何结构”。作者认为，即使序列是多样化的，梯度特征也可能是冗余的，解决方案在于几何重加权。
实际影响： SALT 提供了一种在不产生比例性能下降的情况下扩大展开组规模的方法，从而更有效地利用计算资源。
适度主张： 作者承认 SALT 是一个有偏的几何重加权代理（biased geometry-reweighted surrogate），而非 GRPO 的无偏重构。其成功依赖于这样一个权衡：即减少符号抵消所带来的收益超过了重加权系数引入的失真。他们还指出，使用 LM-head 代理存在局限性，且在不同架构下的效率可能会有所不同。

总之，SALT 提供了一种机制，通过自适应地抑制冗余的共同信号并放大多样化的残差方向，从而使“更多的展开发挥作用”，进而强化了基于组策略优化的有效学习信号。