🤖 machine learning

Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation

本文指出优势坍缩是组相对策略优化（GRPO）中导致训练停滞的关键失效模式，并提出自适应虚拟样本策略优化（AVSPO），这是一种利用虚拟奖励样本缓解该问题并在多种模型规模下显著提升推理性能的轻量级方法。

原作者： Xixiang He, Qiyao Sun, Ao Cheng, Xingming Li, Xuanyu Ji, Hailun Lu, Runke Huang, Qingyong Hu

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Xixiang He, Qiyao Sun, Ao Cheng, Xingming Li, Xuanyu Ji, Hailun Lu, Runke Huang, Qingyong Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Group Relative Policy Optimization 中的优势崩溃：诊断与缓解》的通俗解读，辅以生动的类比。

宏观图景：教机器人解数学题

想象你正在教一个机器人（AI 模型）如何解答高难度的数学题。你没有人类老师站在它肩后指导，而是使用一套严格的“答案密钥”（验证器）。如果机器人答对了，它就获得一颗金星（奖励 = 1）；如果答错了，就没有星星（奖励 = 0）。

这篇论文聚焦于一种特定的教学方法，称为GRPO（Group Relative Policy Optimization，组相对策略优化）。GRPO 不是让机器人一次只解决一个问题，而是给它同一道题的 8 个不同解答尝试。随后，它将这 8 个尝试相互比较，以此判断哪些表现“更好”并值得重复。

问题所在：“静默停滞”（优势崩溃）

论文揭示了这种教学方法中存在一个隐蔽的陷阱，称为优势崩溃（Advantage Collapse）。

类比：班级合影
想象你是一位老师，正在给一个由 8 名学生组成的班级批改数学测验。

场景 A（良好）： 4 名学生得 A，4 名得 F。你可以轻松告诉优等生保持现状，告诉后进生改变策略。此时的“梯度”（学习信号）非常强烈。
场景 B（崩溃）：
- 情况 1： 所有 8 名学生都得 A。
- 情况 2： 所有 8 名学生都得 F。

在这两种情况下，班级都是同质化的。每个人都做了完全相同的事。

如果所有人都得 A，老师会想：“好吧，他们都做了同样的事，所以没人值得学习。”
如果所有人都得 F，老师会想：“他们都以同样的方式失败了，所以也没人值得学习。”

在 AI 世界中，当所有 8 次尝试获得相同的奖励（全对或全错）时，学习算法背后的数学逻辑就会失效。“学习信号”降至零。AI 停止学习，尽管它仍在运行并消耗电力。论文将这种现象称为优势崩溃。这就像汽车引擎轰鸣作响，但车轮却纹丝不动。

诊断： "ACR" 仪表

作者意识到，标准指标（如查看最终得分）反应太慢。当你看到分数下降时，AI 已经在这种“静默停滞”中浪费了数小时的训练时间。

他们发明了一种新工具，称为ACR（优势崩溃率）。

类比： 将 ACR 想象为你汽车仪表盘上的“停滞警报”。
与其等待看你是否到达目的地，ACR 会立即检查：“我当前的尝试中有多少是相同的？”
如果 ACR 很高，意味着 AI 陷入了相同答案（全对或全错）的循环中，没有在学习。
发现： 他们发现，如果在训练早期检查这个警报，可以以 62% 的准确率预测 AI 最终是会失败还是成功。它是训练效率的“水晶球”。

解决方案：AVSPO（“虚拟样本”技巧）

一旦知道了 AI 何时陷入停滞，他们就需要一种方法让它重新动起来，而无需浪费时间生成新的答案（这既昂贵又缓慢）。

他们提出了一种名为**AVSPO（Adaptive Virtual Sample Policy Optimization，自适应虚拟样本策略优化）**的方法。

类比：虚拟观众
想象 AI 是一位在舞台上的喜剧演员。

问题： 观众（8 次尝试）要么对所有内容都大笑（全对），要么对所有内容都喝倒彩（全错）。喜剧演员不知道该如何改变，因为反应是单一的。
AVSPO 的修复： 培训师不要求喜剧演员重新尝试（这需要时间），而是秘密引入几位虚拟观众。
- 如果真实观众对一切都在大笑，虚拟成员会对几个笑话喝倒彩。
- 如果真实观众对一切都在喝倒彩，虚拟成员会对几个笑话大笑。
结果： 现在，“房间”里再次有了混合的反应。喜剧演员可以看到：“哦，这个笑话逗乐了，但那个笑话被喝倒彩了。”学习信号恢复了！

关键在于，这些“虚拟样本”只是注入数学中的数字；AI 实际上不需要生成新的文本。这是一种廉价、快速的技巧，用于打破僵局。

结果

该论文在数学问题上进行了测试，使用的 AI 模型范围从非常小（05 亿参数）到非常大（140 亿参数）。

减少停滞： AVSPO 将 AI 处于“静默停滞”的时间减少了约60%。
更聪明的 AI： 由于 AI 花在停滞上的时间更少，而学习时间更多，其在数学测试上的准确率整体提高了4–6 个百分点。
无额外成本： 由于他们不需要生成新的答案，该方法的速度和成本与原始方法一样，只是更聪明。

总结

论文发现，在教 AI 解决数学问题时，它经常陷入所有猜测都相同的循环，导致其停止学习。他们构建了一个仪表（ACR）来立即发现这种情况，并设计了一个修复方案（AVSPO），通过向混合体中注入“虚假”的多样性来保持 AI 的学习状态，从而在不增加额外计算成本的情况下，造就了一个显著更聪明的机器人。

技术摘要：组相对策略优化中的优势崩溃

1. 问题定义：优势崩溃

本文指出了组相对策略优化（Group Relative Policy Optimization, GRPO）中的一种关键失效模式，GRPO 是大语言模型（LLMs）中基于可验证奖励的强化学习（RLVR）的主流算法。尽管 GRPO 通过组内奖励比较计算优势，从而消除了对评论家网络（critic network）的需求，但它容易受到优势崩溃的影响。

这种现象发生在采样组内所有响应获得相同奖励时（例如，全部正确或全部错误）。在这种情况下：

组内奖励方差（ $\sigma_R$ ）变为零。
优势计算 $\hat{A}_i = (r_i - \mu_R) / (\sigma_R + \epsilon)$ 对所有样本坍缩至接近零。
由此产生的策略梯度消失，使得训练批次无效，无论单个响应的质量如何。

作者指出，这种失效在数学推理任务中普遍存在，因为二元验证往往产生同质化的结果。在跨越五个模型规模的实验中，28–45% 的训练批次表现出完全的优势崩溃。关键在于，这种失效对损失曲线和准确率等标准指标是不可见的，导致计算资源被浪费而无法被立即察觉。

2. 方法论

本文提出了一个包含诊断指标和算法干预的统一框架。

2.1. 诊断指标：优势崩溃率（ACR）

为了量化该问题的严重程度，作者引入了优势崩溃率（Advantage Collapse Rate, ACR）。

定义：ACR 衡量奖励标准差（ $\sigma_R$ ）低于小阈值 $\tau$ 的训练批次比例。
机制：它利用标准 GRPO 训练过程中已计算的奖励统计量，零计算开销。
预测能力：作者证明，早期阶段的 ACR（在前 100 步内测量）能强烈预测最终模型性能（ $R^2 = 0.617$ ）。高 ACR 与训练停滞相关，使从业者能够在浪费大量计算资源之前识别出有问题的配置。

2.2. 算法干预：自适应虚拟样本策略优化（AVSPO）

为了在不进行额外模型滚动的情况下缓解崩溃，作者提出了AVSPO，这是 GRPO 的一个即插即用扩展。

虚拟样本：当 ACR 指示发生崩溃（奖励同质化）时，AVSPO 向组中注入虚拟奖励样本。这些是合成的奖励值，而非实际的模型输出。
分层分配：
- 对于全对组，虚拟奖励被赋予略低于最大观测奖励的值，以创造方差。
- 对于全错组（在训练早期常见），虚拟奖励被赋予小的正值（锚点），以与实际样本的零奖励形成对比。
优势重计算：这些虚拟样本参与归一化统计量（均值和标准差）的计算，以确保 $\sigma_R' > 0$ ，从而为真实样本生成非零优势。
自适应触发：该干预基于实时 ACR 监控和训练进度动态触发。阈值会自适应调整，以避免在训练稳定阶段过度干预。
效率：AVSPO 不需要额外的 LLM 前向传播。虚拟样本不贡献策略梯度（无 $\nabla_\theta \log \pi$ 项），仅用于恢复归一化基准。

3. 主要贡献

诊断指标（ACR）：首个专门设计用于量化基于组的策略优化中梯度无效性的指标。它解释了最终性能方差的 62%，允许早期检测训练停滞。
算法扩展（AVSPO）：一种轻量级方法，通过注入虚拟样本来恢复崩溃组中的奖励多样性。它使原本会被浪费的批次能够用于学习，且无需额外的推理成本。
实证验证：在六个数学推理基准上，针对从0.5B 到 14B 参数的模型进行了全面实验。

4. 实验结果

作者将 AVSPO 与包括 Vanilla GRPO、DCPO、INTUITOR 和 RENT 在内的基线进行了评估。

崩溃减少：AVSPO 将优势崩溃率从 28–45%（GRPO） 降低至 11–18%，代表58–63% 的相对减少。
性能提升：AVSPO 在所有模型规模上均实现了比 GRPO 高出 4–6 个百分点 的准确率提升。
- 例如，在 MATH-500 基准上，Qwen2.5-Math-1.5B 从 58.6%（GRPO）提升至 67.2%（AVSPO）。
泛化性：该方法在域外任务（MMLU-Pro）上保持了泛化能力，表明其不会导致对特定奖励结构的过拟合。
效率：AVSPO 的计算开销微乎其微（每步 <0.01%），因为它仅涉及奖励统计量的标量运算。
消融研究：
- 分层奖励分配被证明优于随机或固定的部分信用策略。
- 自适应阈值优于固定阈值，在干预频率与训练稳定性之间取得了平衡。
- 机制隔离：“全错”和“全对”的崩溃场景都需要特定处理；完整的 AVSPO 方法同时解决了这两种情况。

5. 意义与主张

本文主张，优势崩溃是 LLMs 的 RLVR 训练中的一个根本性瓶颈，特别是在具有二元、确定性验证器的领域。

诊断效用：作者将 ACR 定位为一种标准诊断工具，可应用于任何基于组的策略优化方法，而不仅仅是 GRPO。它提供了训练效率的透明度，使从业者能够在准确率下降变得可见之前检测到梯度无效性。
算法效率：通过在不进行额外滚动的情况下从崩溃组中恢复学习信号，AVSPO 比过滤或重采样策略（要么丢弃数据，要么增加计算成本）提供了更高效的生成轨迹利用方式。
更广泛的影响：这项工作旨在通过提供更稳定、更高效的训练工具来推动 RLVR 领域的发展。作者建议，ACR 可以减少计算浪费及其相关的能源足迹，同时提高 LLM 对齐流程的透明度。

本文结论指出，虽然算法改进很有价值，但实时诊断对于优化推理模型的训练过程同样至关重要。