🤖 AI

Beyond Penalizing Mistakes: Stabilizing Efficiency Training in Large Reasoning Models via Adaptive Correct-Only Rewards

本文提出了 ACOER，一种通过将长度惩罚隔离至正确答案并采用动态预算归一化，从而稳定大型推理模型效率训练，进而防止奖励崩溃并显著提高准确率及减少 Token 生成的新型奖励机制。

原作者： Jungseob Lee, Seungyoon Lee, Seongtae Hong, Minhyuk Kim, Chanjun Park, Heuiseok Lim

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Jungseob Lee, Seungyoon Lee, Seongtae Hong, Minhyuk Kim, Chanjun Park, Heuiseok Lim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：“过度思考”的学生

想象你有一个非常聪明的学生（AI 模型），他非常擅长解决数学问题。然而，这个学生有一个坏习惯：他说话太啰嗦了。即使是一个像“2 + 2”这样简单的题目，他可能会写一篇 5000 字的文章，解释所有可能的加法方式，最后才说出“4”。

这被称为冗余（Verbosity）。这浪费了时间和计算资源。研究人员希望教会这个学生变得简洁——在说出“4”之前，不要写那篇 5000 字的文章。

失败的尝试：“严厉的老师”

为了解决这个问题，研究人员尝试了一种叫做 GRPO（组相对策略优化）的方法。他们增加了一条规则：“如果你写的字数太多，你就会受到惩罚。”

然而，他们在应用这条规则时犯了一个关键错误。他们既惩罚了太长的正确答案，也惩罚了太长的错误答案。

类比： 想象一位老师告诉学生：

“如果你答错了，我会根据你解释的长度来扣分。如果你答对了，但写得太多，我也同样会扣分。”

结果如何？ 学生惊慌失措。他们意识到，如果他们写了一段又长又复杂的解释却答错了，就会受到双重惩罚。于是，他们开始什么都不写。他们完全停止了思考。他们会直接瞬间猜一个“4”，哪怕正确答案其实是“5”。

这就是所谓的奖励崩溃（Reward Collapse）。模型因为害怕“又长又错”带来的惩罚，从而停止了推理过程，变得虽然简短但毫无用处。

发现：为什么“严厉的老师”失败了

论文作者调查了发生这种情况的原因。他们发现了两个主要原因：

“错误答案”陷阱： 当你惩罚冗长的错误答案时，AI 大脑内部的数学逻辑会出错。它会产生一个反馈循环，让 AI 认为：“最稳妥的做法是干脆什么都不说。” 哪怕只是对冗长错误答案的微小惩罚，也足以破坏整个系统。
“过度压缩”陷阱： 即使你只惩罚冗长的正确答案（即“仅限正确答案”的方法），AI 仍然可能崩溃。有时，AI 会过于自信地认为“越短越好”，从而过度压缩其思考过程，以至于即使面对难题也会漏掉解题思路。这就像一个学生背下了答案清单，但并没有真正学会数学。

解决方案：ACOER（“聪明的教练”）

作者提出了一种新方法：ACOER（自适应仅限正确效率奖励）。把 ACOER 想象成一位聪明的教练，他使用三条特定的规则来训练学生，同时不会弄坏他们的思维：

1. “不对错误猜测进行惩罚”规则

运作方式： 教练说：“如果你答错了，我不在乎你的解释有多长。你会得到 0 分，但不会因为太长而受到‘额外’惩罚。”
为什么有效： 这消除了恐慌。学生知道他们可以深入思考并犯错，而不会因为思考过程的长短而受到惩罚。他们只有在答对时才会因为简洁而获得奖励。

2. “移动的终点线”规则（自适应预算）

运作方式： 教练不再说“你必须写在 500 字以内”，而是观察学生。如果学生开始写 200 字，教练就把目标降到 150 字；如果他们降到 100 字，目标就变成 80 字。
为什么有效： 这防止了学生陷入“越短越好”的死循环。它让目标保持动态变化，使学生能够循序渐进地提高，而不是突然放弃思考。

3. “安全刹车”规则（控制回路）

运作方式： 教练不断检查测试成绩。如果学生因为写得太少而开始答错题目，教练会立即说：“停！慢一点。你可以多写一些字了。”
为什么有效： 这防止了“过度压缩”陷阱。它确保 AI 永远不会为了追求速度而牺牲准确性。如果准确率下降，缩减字数的压力就会被放宽。

结果：快速且准确

当他们用这些困难的数学问题测试这个新“聪明的教练”（ACOER）时：

速度： AI 将它写的字数减少了 62%（从数千字减少到了可控的范围内）。
准确度： AI 的数学能力保持得和以前一样好。它并没有开始随机乱猜。
适应性： AI 学会在处理简单问题（如“2+2”）时变得简短，但在处理非常难的问题时，如果需要，它仍然会写下详细的解释。

总结

这篇论文告诉我们，要让 AI 变得高效，你不能仅仅因为它写得长就惩罚它，尤其是当它答错的时候。这会让它停止思考。相反，你应该在它答对时奖励它的简洁，并建立一个安全系统，防止它因为追求极致简短而导致错误。这创造了一个稳定、高效且聪明的 AI。

技术摘要：超越惩罚错误 (ACOER)

1. 问题陈述

大型推理模型（LRMs），如 DeepSeek-R1 和 Qwen3，通过强化学习（RL）生成长推理轨迹，在数学基准测试中取得了高性能。然而，这种能力带来了严重的效率瓶颈，即使是对于可解问题，也经常生成数千个 token。为了解决这一问题，近期的研究将长度惩罚奖励集成到群体相对策略优化（GRPO）中。

一个关键但尚未被充分理解的失效模式是奖励崩溃（reward collapse）。当模型使用长度惩罚进行训练时，它们经常退化为生成过于短小的输出，从而无法进行有效推理，导致 token 生成量与解题准确率同时下降。虽然从业者意识到了这种不稳定性，但驱动其发生的具体机制——特别是 GRPO 的群体归一化如何与针对错误答案的长度惩罚相互作用——仍未被形式化。此外，现有的“仅限正确答案”奖励策略（仅对正确答案施加长度惩罚）在经验上表现出稳定性，但在理论上缺乏解释，即为什么这些策略有时仍会发生随机性失败。

2. 方法论与分析

2.1 诊断框架

作者构建了一个统一的评估框架，以隔离触发奖励崩溃的诱因。他们定义了一个通用的奖励函数，将正确答案（ $\alpha$ ）与错误答案（ $\beta$ ）的长度惩罚解耦：
$r = c + c \cdot \alpha \cdot f(\ell) - (1-c) \cdot \beta \cdot f(\ell) + r_{format}$
其中 $c$ 是正确性， $\ell$ 是 token 长度， $f(\ell)$ 是长度相关函数。他们在不同的 $\beta$ 值（从 0 到 0.10）和信号类型（连续型 vs 离散型）下评估了 11 种配置。

2.2 崩溃的机制分析

通过系统性评估和理论分析，本文识别了由 GRPO 群体归一化驱动的两种截然不同的崩溃路径：

路径 1： $\beta$ -循环（结构性崩溃）。
当连续长度惩罚应用于错误答案（ $\beta > 0$ ）时，优化过程在结构上极易发生崩溃。
- 混合组（Mixed Groups）： 在包含正确和错误答案的批次中，错误样本相对于长度接收到一个恒定的负梯度（ $\partial \hat{A}_i / \partial \ell_i < 0$ ）。这产生了一种持续向下的压力，迫使模型截断推理。
- 同质组（Homogeneous Groups）： 在所有答案均为错误的批次中，奖励方差趋于零。任何微小的长度差异都会导致归一化优势值（normalized advantage）发散，产生爆炸性的梯度尖峰，迫使策略向零长度演化。
- 结论： 即便是极其微小的惩罚权重（ $\beta=0.01$ ）也足以触发崩溃。
路径 2：随机正确答案压缩（Stochastic Correct-Answer Compression）。
移除针对错误答案的惩罚（ $\beta=0$ ）消除了路径 1，但并不能保证稳定性。如果模型的正确答案子群过度压缩（由于初始化或早期动力学原因），上述发散逻辑会在正确答案子群内部同样发生，导致随机性崩溃。静态的“仅限正确答案”奖励无法可靠地防止这种情况。

2.3 提出的解决方案：ACOER

为了应对这两种路径，作者提出了 ACOER（自适应仅限正确答案效率奖励），它采用了三种协同机制：

仅限正确信号 ( $\beta=0$ )： 通过仅对正确完成的样本施加长度惩罚，消除了结构性的 $\beta$ -循环。
自适应预算归一化 ( $B_t$ )： 使用基于正确答案长度指数移动平均（EMA）的动态预算 $B_t$ 取代固定的最大 token 上限 $L$ 。这防止了因微小的 token 减少而产生不成比例的巨大奖励所导致的失控反馈。
控制环路惩罚自适应 ( $\alpha_t$ )： 根据准确率保持情况动态调整简洁性奖励权重 $\alpha_t$ 。如果准确率下降超过阈值， $\alpha_t$ 会迅速衰减以允许恢复；而在准确率稳定时，则缓慢增加。

3. 关键结果

实验在 Qwen3-1.7B 上进行，使用 NuminaMath-TIR 进行训练，并在 MATH-500、MATH-Hard、AIME 2025 和 OlympiadBench 上进行评估。

稳定性： 在具有连续 $\beta > 0$ 的方法中，崩溃率达到了 100%（8/8）。相比之下，ACOER 及其他仅限正确/二值化方法保持了稳定，仅有 1/6 发生崩溃（由于静态初始化问题）。
效率 vs 准确率： 在 MATH-500 上，ACOER 将 token 生成量减少了 62%（从 5,553 降至 2,134 个 token），同时保持了与基准模型相当的准确率（88.4% vs 88.8%）。
难度自适应性： ACOER 展示了任务自适应行为。它在简单问题（Level 1）上减少了 78.6% 的 token，但在极难问题（Level 5）上保留了较大的推理预算（减少 52.6%），在必要时保留了计算深度。
对比： ACOER 优于发生崩溃的方法（例如 GRPO+LP），后者遭受了严重的准确率下降（例如跌至 68%），并且与静态仅限正确答案的基准相比，展现出了更优的稳定性。

4. 重要性与主张

本文声称建立了 GRPO 式效率训练中奖励崩溃的经验与理论基础。其主要贡献包括：

机制解释： 提供了一个形式化的理论分析，证明了当连续长度惩罚应用于错误生成的样本时，GRPO 的群体归一化本质上会产生发散的优势值，从而解释了 $\beta$ -循环的必然性。
识别双重失效模式： 区分了结构性崩溃（由错误答案惩罚驱动）和随机性崩溃（由正确答案过度压缩驱动），表明仅仅移除错误惩罚是必要但不充分的绝对稳定性条件。
稳定的优化范式： ACOER 提供了一个原则性的自适应解决方案，能够稳健地防止这两种失效模式，实现既考虑效率又兼顾推理能力的优化。

作者保持了谦逊的态度，指出虽然 ACOER 显著提高了效率，但考虑到当前评估集的规模，其相对于稳定基准（如仅限准确率的 GRPO）的准确率增益在统计上并不显著。其主要优势在于大幅减少了 token 消耗。他们也承认了在模型规模泛化性（仅测试了 1.7B）、多种子分析的计算成本以及需要进一步探索超参数敏感性方面的局限性。

5. 局限性与伦理

规模： 实验限于 Qwen3-1.7B；向更大规模模型（7B+）的泛化仍需验证。
计算： 随机脆弱性分析受限于多种子运行的高昂计算成本。
伦理： 作者警告说，缩短推理轨迹可能会降低透明度或掩盖脆弱的推理过程。他们建议进行任务特定的验证和监控，并建议不要仅基于 token 节省来进行安全关键型的部署。