Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients
本文提出了一种抗噪的组相对策略优化（GRPO）框架，该框架将奖励污染建模为伯努利噪声，并应用一种校正策略以产生可证明无偏的梯度，从而在现实噪声奖励条件下显著提升了数学和代码任务的准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人解决数学问题或编写计算机代码。为了教它，你需要一位“老师”（即奖励模型），它会审视机器人的答案，然后说“做得好！”（奖励：1）或“再试一次！”（奖励：0）。
在现实世界中，这位老师并不完美。有时，老师会分心、误读答案，或被花哨的措辞所迷惑。他们可能会给错误的答案打“做得好！”（假阳性），或者给正确的答案打“再试一次！”（假阴性）。这就是论文中所称的噪声。
论文指出，如果你盲目信任这位充满噪声的老师，你的机器人就会学到错误的教训，其智能水平将停留在低于本可达成的高度。
以下是他们提出的解决方案——去噪 GRPO——的简要解析，并辅以简单的类比：
1. 问题所在：“坏掉的指南针”
训练这些机器人的标准方法称为GRPO。想象 GRPO 是一群学生一起参加考试。他们不是与完美的教科书对比，而是将分数与小组的平均分进行比较。
- 问题所在：如果老师（奖励模型）是通过抛硬币来决定谁通过或失败，那么“平均分”就会变成一把坏掉的指南针。学生们开始原地打转，以为自己在进步，实际上却只是在回应老师的错误。
- 论文的发现：作者从数学上证明，这种噪声不仅会拖慢进度，还会主动迫使机器人满足于一个“尚可”的解决方案，而这个方案严格来说比最佳方案更差。
2. 解决方案：“噪声侦探”
作者创建了一种新方法来解决这个坏掉的指南针。他们将充满噪声的老师反馈视为被污染的信号，并应用“去噪”滤波器。
可以这样理解：
- 第一步：审计。在主要训练开始之前，研究人员选取一小批受控的问题，他们已知正确答案。他们让老师对这些题目进行评分。
- 第二步：计算误差。他们统计老师出错的频率。
- “当答案实际上错误时，你有多少次说了‘好’？”（假阳性率）。
- “当答案实际上正确时，你有多少次说了‘坏’？”（假阴性率）。
- 第三步：修正。现在，在真实训练过程中，他们利用这些误差率在数学上“撤销”老师的错误。
- 如果老师说“好”，但我们知道他们有 20% 的时间在撒谎，算法就会稍微调低该“好”评的价值。
- 如果老师说“坏”，但我们知道他们漏掉了 30% 的正确答案，算法就会提升该“坏”评的价值，以反映这种不确定性。
3. 转折：不仅仅关乎平均值
论文强调了一个巧妙的细节。在标准的 GRPO 方法中，机器人不仅看分数，还看小组内分数的波动幅度。
- 比喻：想象一群跑步者。如果老师充满噪声，分数的“分布”看起来就会异常地宽或窄。
- 修正：作者意识到，仅仅修正平均分数（“均值”）是不够的。你还必须修正“分布”（方差）。他们的新算法同时调整分数和分布，以确保机器人学到的内容完全等同于面对一位完美老师时的情况。
4. 结果：从“还行”到“出色”
研究人员在数学问题（如解方程）和编码任务上测试了这种方法。
- 在数学方面：当他们使用充满噪声的老师时，机器人的准确率显著下降。应用他们的“噪声侦探”修正后，机器人的准确率大幅回升，有时甚至超过了在合成测试中由“完美”老师训练的机器人的表现。他们观察到准确率提升了高达6.7 个百分点。
- 在编码方面：编码更难完美评分（老师经常漏掉细微的漏洞）。即使在这里，修正也起到了作用，将准确率提高了约1.5 个百分点。
总结
这篇论文本质上是在说：“不要让有缺陷的老师毁掉你学生的潜力。”
通过数学建模来模拟老师如何犯错，并在学习过程中主动纠正这些错误，他们能够训练出更准确、更稳健的 AI 模型，即使它们接收到的反馈是混乱且不可靠的。他们将一个“充满噪声”的学习环境转变为了一个清晰、无偏的环境。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。