Learning to Solve, Forgetting to Retain: Correct-Set Turnover in RLVR
本文将“正确集周转”（correct-set turnover）识别为具有可验证奖励的强化学习（RLVR）中一种隐藏的成本，即此前已解决的问题变得无法解决，并提出了 \textbf{\method{}}，这是一种保留感知机制，通过定期重新引入已掌握的提示词来防止退化，且不会产生额外的采样开销。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是关于论文《学习以解决，遗忘以保留》（Learning to Solve, Forgetting to Retain）的解释，使用了简单的语言和日常类比。
核心问题：AI 学习中的“漏水桶”现象
想象一下，你正在教一名学生（一个 AI 模型）如何解数学题。你给了他们一份练习卷。
- 好消息： 随着他们的学习，他们解决新问题的能力在提高。他们的分数在上升。
- 坏消息： 在学习新技巧的同时，他们也在悄悄地忘记几周前已经掌握的题目。
这篇论文将这种现象称为**“正确集周转”（Correct-Set Turnover）**。这就像一个底部有洞的水桶。你不断往里注水（学习新的解决方案），但水也在不断流失（遗忘旧的解决方案）。最终，即使你仍在努力学习，水位（准确率）也会停止上升。
发现：“修复窗口”
研究人员发现了一个至关重要的时机规则，他们称之为**“修复窗口原则”（Repair-Window Principle）**。
把掌握的题目想象成一条刚铺好的路。
- 如果你立即修补裂缝： 只需要一个人花五分钟就能补好。这既便宜又容易。
- 如果你等到路完全损坏： 你就必须挖开整条街重新铺设。这需要好几天时间，而且成本极高。
在 AI 训练中，如果模型在解决完一个问题后立即忘记它，它可以通过极少量的复习非常快地“重新记住”它。但如果等待时间过长，模型就必须从头开始重新学习，这既慢又贵。标准的 AI 训练方法通常等待太久才去检查旧问题，从而错过了这个廉价的“修复窗口”。
解决方案：“ReMind”（聪明的学习指南）
为了解决这个问题，作者创建了一种名为 ReMind 的方法。
想象一位老师，他专门记录了一份学生已经掌握的题目清单。老师不再只是永远向后推进新题目，而是会定期从清单中抽取一些旧的、已掌握的题目，重新加入到教学计划中。
ReMind 的工作原理如下：
- 观察名单（The Watchlist）： 当 AI 完美解决一个问题时，ReMind 会将其加入“复习队列”。
- 替换（The Swap）： 每隔几个步骤，ReMind 会用队列中的几个“旧问题”来替换掉几个“新问题”。
- 检查（The Check）： AI 再次尝试解决这些旧问题。
- 如果仍然做对了： 太棒了！该问题从名单中移除（它是安全的）。
- 如果做错了： 糟糕！该问题被放回队列末尾，稍后再次进行复习。
最棒的部分是： 这并不会减慢 AI 的速度。ReMind 并没有要求 AI 做额外的工作；它只是用旧的工作替换了新的工作。这就像厨师品尝一下已经做好的菜肴，以确保味道依然正确，而不是为了检查而专门再去煮一顿新饭。
实验结果如何？
研究人员在 20 个不同的挑战上测试了它，包括：
- 数学题（纯文本）。
- 图像谜题（观察图片并回答问题）。
- 视频推理（观看视频并解决问题）。
结果显示：
- 更少的遗忘： 与标准方法相比，AI 遗忘的问题显著减少。
- 更高的分数： 因为 AI 没有忘记旧技能，它的整体测试分数提高了。
- 广泛适用： 它在数学、图像和视频领域都同样有效。
核心启示
这篇论文认为，在 AI 的世界里，学习更多并不等于变得更聪明。 有时候，获得更高分的关键仅仅在于更少地遗忘。
通过在问题被彻底遗忘之前进行检查，我们可以让 AI 的“水桶”保持充盈，而无需注入两倍的水量。这是一个简单、低成本的技巧，它让 AI 变得更加稳定且可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。