💬 NLP

All-Quadrant Bounded Clipping GRPO: Closing the Unbounded Blind Spot for Stable and Generalizable Training

本文介绍了一种名为全象限有界裁剪 GRPO（ABC-GRPO）的新型强化学习算法，该算法通过应用无条件裁剪，解决了标准 GRPO 在负优势象限中的结构性无界问题，从而确保了稳定的高熵训练，并在数学和编程基准测试中实现了卓越的泛化能力。

原作者： Chi Liu, Xin Chen

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Chi Liu, Xin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个聪明但有点混乱的机器人如何解决数学问题。你不想仅仅告诉它正确答案；你希望它学会“如何思考”。这就是强化学习的世界，在这里，AI 通过尝试、获得评分并根据评分调整行为来学习。目前该领域的明星方法叫做“群体相对策略优化”（Group Relative Policy Optimization，简称 GRPO）。可以将 GRPO 想象成一位严厉的教练，他会审视学生写的整篇论文（一连串的词句），并为整篇作品给出一个总分。如果论文得了高分，教练会说：“做得好，保持现在的状态！”如果得了低分，教练会说：“做得不好，撤销你刚才做的一切。”

问题在于，这种“整篇论文”的处理方式可能有点不公平。有时，学生在一段糟糕的论文中写出了一个完美的句子。在旧规则下，这个完美的句子会随着糟糕的部分一起受到惩罚；反之，一个优秀论文中的胡言乱语也可能因此获得免费通行证。这造成了一个盲点，让 AI 感到困惑，导致它停止尝试新想法，最终陷入僵局，甚至忘记了如何发挥创造力。你即将阅读的这篇论文正是针对这一特定的困惑，提出了一套新的规则，以保持 AI 学习的稳定性并激发其想象力。

不公平的教练与错误的四个象限

来自 PayPal.AI 的作者 Chi Liu 和 Xin Chen 注意到了 GRPO 在训练这些 AI 模型时存在的一个隐藏缺陷。为了理解他们的解决方法，请将 AI 的学习过程想象成在一张巨大的地图上玩游戏，这张地图被划分为四个角落，即“象限”。在这张地图上，一个轴追踪 AI 改变想法的程度（它是让一个词出现的概率变高还是变低？），另一个轴则追踪教练认为这个举动是好是坏。

在其中三个象限中，规则运行良好。但在一个特定的角落——我们称之为“危险区”——旧规则完全失效了。这种情况发生在 AI 让一个词变得更可能出现（它很有信心），但教练却因为整篇论文的表现而给了它一个差评时。在旧系统中，如果 AI 对那个词非常有信心，这种惩罚可能是无限大的。这就像一位老师告诉学生：“你 99% 确定这个答案是正确的，但既然整篇论文失败了，你就必须彻底忘掉这个词，哪怕这个词本身其实是正确的！”

这种“无界限”的惩罚是危险的。它会导致 AI 陷入恐慌。与其探索解决问题的不同方式，它会坍缩到大脑中一个极小的、安全的角落，反复重复同样的几种模式。作者称之为“熵坍缩”（entropy collapse），这是一种高级说法，意思是指 AI 停止了创造力，变成了一个乏味、僵化的机器人。他们发现，正是这个特定的“危险区”是导致 AI 模型在处理难题时表现变差的主要原因，尽管它们在处理简单问题时表现得越来越好。

新规则手册：ABC-GRPO

为了解决这个问题，团队发明了一种名为全象限有界裁剪 GRPO（All-Quadrant Bounded Clipping GRPO，简称 ABC-GRPO）的新方法。你可以将其想象为给教练换了一本更公平的新规则手册。

在旧系统中，教练在某些情况下只能对 AI 进行有限的惩罚，但在“危险区”，惩罚是没有上限的。ABC-GRPO 在地图的所有四个象限中都设置了一个“速度限制”。在教练将分数应用到 AI 的大脑之前，他们会检查：“这个惩罚是否过大？”如果 AI 处于危险区且惩罚巨大，新规则会说：“停！把它限制在这里。”

至关重要的是，这条新规则为变化设定了一个“底线”和“天花板”。它确保即使 AI 在一篇糟糕的论文中犯了错，也不会被彻底抹除。它能防止 AI 的信心产生剧烈波动。作者描述这并非一种让 AI 瞬间变聪明的魔法，而是一种“稳定性机制”——就像给自行车安装了辅助轮，防止骑手摔倒，从而让他们能持续向前蹬踏。

他们的发现：拯救推理能力

团队在 Qwen3（一款强大的数学求解 AI）上测试了这种新方法。他们将 ABC-GRPO 与传统的 GRPO 以及其他几种流行的方法进行了对比。结果令人瞩目。

在使用旧有的 GRPO 时，AI 寻找不同解法的能力（其“推理边界”）随着训练的进行反而变差了。它开始放弃创造性的路径。但使用 ABC-GRPO 后，AI 不仅在获得正确答案方面变得更好，还保持了探索的能力。

在困难的数学挑战（如 AIME 2024）测试中，ABC-GRPO 在准确性和多样性方面都取得了最高分。例如，对于一个 40 亿参数的模型，ABC-GRGB 平均能正确解决约 38.3% 的问题，而标准 GRPO 为 34.5%。更重要的是，在观察从 64 次尝试中找到任何正确解的能力（Pass@64）时，ABC-GRPO 达到了 70.3%，而标准 GRPO 则降至 59.4%。

作者还检查了这种技巧是否适用于 AI 未曾见过的任务，比如编程谜题（HumanEval）和更难的数学集（MATH-500）。结果依然成立：经过 ABC-GRPO 训练的 AI 在这些新任务上也表现得更好，这证明了该修复方案不仅仅是针对特定测试的运气。

“危险区”才是真正的元凶

这项研究中最有趣的环节之一是对问题的“解剖”。研究人员问道：“是整个新规则手册解决了问题，还是仅仅是停止无限惩罚的那部分起到了作用？”

他们进行了实验，仅修复了“危险区”（第四象限）而保持其他象限不变。他们发现，仅修复这一个角落就恢复了约 72% 的总提升。这证实了他们的理论：那个特定角落里的无界限惩罚是导致 AI 坍缩的主因。其他象限也需要一点帮助，但“危险区”才是那个让整艘船沉没的大洞。

为什么这很重要

作者谨慎地指出，他们并没有解决“完美”AI 推理的问题。他们并没有找到如何为 AI 写的每一个词都给出完美评分的方法。相反，他们建立了一个安全网。通过限制惩罚，他们防止了 AI 因为害怕而放弃自己的创造力。

论文表明，通过仅仅为 AI 在特定情况下因过度自信而受到的惩罚设定一个“速度限制”，我们就能保持 AI 的思维开放、多样且稳定。这提醒我们，有时教导一个超智能机器人最好的方式，不是逼它更努力，而是确保它在尝试新事物时不会崩溃。

技术摘要：全象限有界剪切 GRPO (ABC-GRPO)

1. 问题陈述

由于消除了近端策略优化 (PPO) 中价值网络（value network）的开销，组相对策略优化 (GRPO) 已成为在推理任务上训练大语言模型 (LLM) 的标准方法。然而，GRPO 继承了 PPO 的 token 级剪切机制，同时将 token 级的优势函数（advantage）替换为单一的序列级优势函数。

作者发现这种组合存在一个结构性缺陷： $(r, \hat{A})$ 空间中存在一个依然无界的“盲点”。具体而言，当一个 token 具有负向序列级优势 ( $\hat{A} < 0$ ) 但策略增加了其似然比 ( $r > 1$ ) 时，更新是无界的。

失效机制： 在 GRPO 中，单一的序列级优势被统一应用于所有 token。如果一个序列是错误的（负向优势），则所有 token 都会受到负反馈，即使其中某些中间 token 是正确的。如果策略恰好增加了这样一个“正确”token 的概率（高 $r$ ），那么在一个失败序列中，巨大的比例与负向优势的乘积会产生一个巨大的抑制性更新。
后果： 这会导致熵崩溃（entropy collapse）和推理边界的收窄。策略会坍缩到更少的解题策略上，导致 Pass@64（推理多样性）等性能指标在训练过程中降至预训练基座模型之下。

2. 方法论：ABC-GRPO

为了解决这个问题，作者提出了全象限有界剪切 GRPO (ABC-GRPO)。该方法涉及对 $(r, \hat{A})$ 空间的四象限分析，并对剪切操作进行了修改。

四象限分析

该空间根据估计优势 ( $\hat{A}$ ) 和似然比 ( $r$ ) 的符号被分为四个象限：

Q1 ( $\hat{A} > 0, r > 1$ ): 被鼓励且概率增加的 token。（受标准 GRPO/PPO 保护）。
Q2 ( $\hat{A} > 0, r < 1$ ): 被鼓励但概率降低的 token。（未被剪切，但在 GRPO 中受幅度限制）。
Q3 ( $\hat{A} < 0, r < 1$ ): 被抑制且概率降低的 token。（受标准 GRPO/PPO 保护）。
Q4 ( $\hat{A} < 0, r > 1$ ): 被抑制但概率增加的 token。在 GRPO 中是结构性无界的。

ABC-GRPO 目标函数

ABC-GRPO 通过使用依赖于符号的边界，在所有四个象限中引入了无条件剪切。关键在于，它是在与优势相乘之前对似然比进行剪切（先剪切后相乘），而不是使用 PPO 的外部 min 算子。

目标函数定义为：
$J_{ABC-GRPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \tilde{r}_{i,t}(\theta) \hat{A}_i \right]$

其中，剪切后的比例 $\tilde{r}_{i,t}$ 确定为：
$\tilde{r}_{i,t} = \begin{cases} \text{clip}(r_{i,t}, 1 - \varepsilon_2, 1 + \varepsilon_1) & \text{if } \hat{A}_i > 0 \\ \text{clip}(r_{i,t}, 1 - \varepsilon_4, 1 + \varepsilon_3) & \text{if } \hat{A}_i \le 0 \end{cases}$

Q4 保护： 对于负向优势，比例被限制在 $1 + \varepsilon_3$ 。这与 Dual-Clip PPO 的“紧凑”设置一致，但在此处应用于 GRPO 框架内。
Q2 保护： 对于正向优势，比例被限制在 $1 - \varepsilon_2$ 下限，增加了 GRPO 所缺乏的信任区域约束。
稳定性 vs. 最优性： 作者强调，这是一个信任区域/稳定性机制，旨在限制每步策略位移，而非期望奖励的保守代理。它并不声称解决了序列级优势带来的根本性的信用分配问题，但它限制了噪声最大的更新的影响。

3. 核心贡献

识别无界盲点： 论文通过正式的四象限分析证明了 GRPO 继承的剪切机制使得 Q4 区域（负向优势，增加似然）在结构上是无界的，这是熵崩溃和推理边界收窄的主要原因。
ABC-GRPO 算法： 一种新型目标函数，通过在与优势相乘前对比例进行剪切，在所有四个象限中实现无条件剪切。这确保了每种场景下的更新都是有界的。
象限重要性消融实验： 实验分离出 Q4 是不稳定的主要来源。仅保护 Q4 即可恢复约 72% 的性能增益，而 Q2 的保护仅在 Q4 被限制后才提供补充收益。
实证验证： 该方法在数学推理任务上通过 Qwen3 基座模型进行了验证，显示出在采样准确度 (Avg@64) 和推理多样性 (Pass@64) 方面的显著提升。

4. 实验结果

作者在 DAPO-Math-17k 数据集上对 Qwen3-1.7B 和 Qwen3-4B 模型进行了 ABC-GRPO 评估。

性能提升：
- 准确度 (Avg@64): ABC-GRPO 在两种模型规模下均取得了最高分（1.7B 为 20.7，4B 为 38.3），优于标准 GRPO、SAPO 和 Dual-Clip PPO。它与强大的基线 DAPO 相当（在 1.7B 上具有统计显著性，在 4B 上具有竞争力）。
- 多样性 (Pass@64): ABC-GRPO 显著提高了 Pass@64，扭转了标准 GRPO 中出现的退化现象。在 4B 模型上，它实现了 70.3 的 Pass@64，而 GRPO 为 59.4，基座模型为 61.1。
熵保持： 一个关键发现是熵的保持。虽然标准 GRPO 的熵坍缩至 ~0.036 nats，但 ABC-GRPO 维持了 ~0.39 nats 的稳态熵（约高出 10.8 倍），防止了策略坍缩到狭窄的分布。
泛化能力： 其收益可迁移至包括 MATH-500 和 HumanEval（代码生成）在内的域外基准测试，且无需重新训练或调整超参数。
训练动态： 训练曲线显示，虽然 GRPO 的 Pass@64 随时间下降，但 ABC-GRPO 的 Pass@64 持续上升或保持稳定，证实了对推理边界收窄的缓解。

5. 意义与主张

论文声称 ABC-GRPO 解决了 GRPO 中导致训练不稳定和降低推理多样性的特定结构性不完整问题。

稳定性机制： 主要贡献是一个稳定性构造，它在所有象限中限制了每步策略位移，特别防止了“尾部效应”，即在失败序列中极少数高比例的 token 接收到任意大的抑制性更新。
推理边界： 该方法成功防止了推理边界的收窄——这是当前带有可验证奖励（RLVR）的方法中已知的一种病理现象，使模型能够在提高准确度的同时，保持多种解题路径（高 Pass@k）。
研究范围有限： 作者明确指出，ABC-GRPO 并没有解决序列级优势所固有的根本性的 token 级信用分配问题；它仅仅是限制了由此产生的噪声的负面影响。该方法被呈现为一种稳定性改进，而非最优性保证，且作者指出对称的 $\varepsilon=0.2$ 是沿用了 PPO 的默认值，而非推导出的最优值。

该工作目前局限于小规模模型（最高 4B）和数学推理任务，其在更大规模及其他领域的适用性仍有待进一步探索。