Negative Advantage Is a Double-Edged Sword: Calibrating Advantage in GRPO for Deep Search

`）。
2. 去图书馆（搜索引擎）查资料。
3. 根据资料再思考，可能还要查第二次、第三次。
4. 最后给出一个最终答案。

为了训练它，研究人员使用了一种叫 GRPO 的“教练方法”。教练会给它发奖励（做对了给糖）或惩罚（做错了扣分）。

2. 问题出在哪？（“双刃剑”的副作用）

虽然这个方法很强大，但研究人员发现它有两个严重的毛病，就像教练在训练时犯了错：

• 毛病一：连坐惩罚（误伤好人）

  • 比喻：实习生去图书馆查了三次资料。前两次查得都很准，找到的书非常有价值，但第三次他走错了路，导致最终答案错了。
  • GRPO 的旧做法：教练一看最终答案错了，就把整个过程中所有的步骤（包括前两次正确的查找）全部扣分！
  • 后果：实习生很委屈：“我前面明明做得很好啊！”这导致它不敢再尝试正确的步骤，因为它觉得反正最后错了，前面做得再好也没用。

• 毛病二：过度惩罚导致“发疯”（训练崩溃）

  • 比喻：因为总是被扣分，实习生开始怀疑人生。它发现“只要我不说话，或者胡言乱语，可能扣分就少一点”。
  • 后果：慢慢地，它不再输出正常的句子，而是开始输出乱码、重复的字符（比如“啊...啊...啊..."），甚至彻底丧失语言能力。这就是论文里说的**“训练崩溃”**。
  • 原因：负面的惩罚（扣分）太多、太猛，压倒了正面的鼓励（给糖），导致模型“心态崩了”。

3. 解决方案：CalibAdv（“校准教练”）

为了解决这些问题，作者提出了一个叫 CalibAdv 的新方法。你可以把它想象成给教练配了一个**“智能评分系统”**，它做了三件事：

第一招：精准扣分，不再“连坐”

• 做法：如果实习生最终答案错了，但中间某一步找到的资料其实是很有用的（比如找到了正确答案所需的线索），教练就只扣一点点分，或者不扣那一步的分。
• 比喻：就像老师批改试卷，虽然最后大题做错了，但中间解题思路是对的，老师会圈出来给个“步骤分”，而不是把整道题全划掉。
• 效果：保护了实习生做对步骤的积极性，让它知道“即使最后没成功，中间的努力也是有价值的”。

第二招：平衡奖惩，防止“心态崩了”

• 做法：当发现负面的惩罚（扣分）太多，快要压垮模型时，系统会自动放大正面的奖励，或者削弱过度的惩罚。
• 比喻：就像教练发现学生快抑郁了，赶紧多给点糖果，告诉他“你其实很棒”，把天平重新拨回来，让鼓励的声音盖过责骂的声音。
• 效果：防止模型因为害怕犯错而开始胡言乱语，保持它说人话的能力。

第三招：把“格式标签”隔离出来

• 做法：AI 在思考时通常会用一些特殊的标签（比如 <think>）。以前这些标签也会因为答案对错而被疯狂扣分或加分，导致格式乱套。现在，系统把这些标签隔离，不让它们受到答案正确与否的直接影响。
• 比喻：就像告诉实习生：“你思考时的草稿纸格式（标签）不用管，只要内容对就行，别因为格式问题被骂。”
• 效果：防止 AI 为了避坑而把格式也搞乱了。

4. 结果如何？

经过实验，用了这个新方法的 AI 实习生：

• 更聪明：在七个不同的测试题（比如百科问答、多步推理）中，得分平均提高了 11.8%。
• 更稳定：以前训练到一半就会“发疯”崩溃，现在可以稳稳地训练到最后，没有再出现过那种乱码崩溃的情况。
• 更省钱：不需要请额外的“专家”（大模型）来一步步检查对错，而是利用现有的信息自己判断，既快又准。

总结

这篇论文的核心思想就是：在训练 AI 做复杂任务时，不能“一棒子打死”。 如果最终结果错了，也要看到过程中的闪光点，并且要小心别让惩罚把 AI 吓坏了。通过**“精准奖励”和“平衡心态”**，我们能让 AI 在深度搜索中既聪明又稳定。