CLEANER: Self-Purified Trajectories Boost Agentic Reinforcement Learning
该论文提出了 CLEANER，一种通过利用模型的内在自我修正能力，结合相似度感知自适应回滚机制来生成无错误训练轨迹的方法，从而解决了信用分配问题，并显著提升了参数受限型智能体强化学习的性能与效率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一名年轻的学徒（一个小型的 AI 模型）如何使用一个强大但棘手的工具——计算机代码解释器——来解决复杂的谜题。目标是让学徒编写代码、运行代码并得到正确答案。
然而，这里有一个问题。由于学徒还在学习阶段，他们会犯很多错误。他们编写的代码会导致崩溃，导致计算机喷出长长的、令人困惑的错误信息。在标准的训练设置中，学徒会将这些混乱的错误信息留在记忆中，试图逐步修复它们。最终，他们可能会得到正确答案，但他们所经历的路径充满了噪音、混乱和死胡同。
这篇论文指出，这种“混乱的路径”实际上正在损害学习过程。当学徒最终成功时，老师（训练算法）会对整个旅程给予一个“做得好”的奖励。这是不公平的，因为这种奖励将错误的过程与正确的思考同等对待。这就像是在表扬一位厨师，虽然他把汤烧焦了，但最后用勺子把它救回来了；结果这位厨师学到了：只要最后能修补好，烧焦东西也是没关系的。
解决方案：CLEANER（“自我净化型”厨师）
作者提出了一种名为 CLEANER 的新方法。CLEANER 不会让学徒保留他们错误的混乱历史，而是像一个聪明的编辑一样，在学徒学习的过程中对故事进行清理。
它是这样运作的，使用一个创意类比：
1. “哎呀”时刻（触发机制）
学徒写下了一行代码，运行它，然后计算机大喊：“错误（ERROR）！”在普通的课堂上，学徒只会把这个错误记录在笔记本上，然后再次尝试。
2. “倒带”按钮（SAAR 机制）
CLEANER 立即介入。它暂停了进程并询问学徒：“好吧，你犯了个错误。你能现在就修复它吗？”学徒再次尝试并成功了。
3. “编辑”（相似性感知自适应回滚）
这是神奇的部分。CLEANER 查看错误和修复过程，以决定如何清理笔记本：
- 场景 A（拼写错误）： 如果修复只是一个小小的改动（比如修复了一个缺失的逗号），CLEANER 认为学徒的思维其实是正确的，只是出了个笔误。它会悄悄地抹去错误和修复，用干净、正确的代码替换掉那行混乱的代码。笔记本现在展示了一个流畅、成功的思考过程。
- 场景 B（逻辑缺陷）： 如果修复方案与最初的尝试完全不同（比如意识到整个方法都是错的），CLEANER 就知道最初的思维是有缺陷的。它会抹去整个错误的尝试和错误信息，用新的、正确的推理步骤来替换。
4. 结果：“纯净的轨迹”
到训练结束时，学徒从未“见过”那些混乱、充满错误的版本。他们学习到的只有经过“自我净化”的故事，在这些故事中，他们要么第一次就正确解决了问题，要么在不留下任何痕迹的情况下瞬间完成了修复。
为什么这很重要
- 更少的噪音，更多的学习： 因为学徒不会被错误的记录所干扰，他们学习正确逻辑的速度更快。
- 高效性： 论文声称这种方法极其高效。他们成功训练出一个小型 AI 模型，使其表现得像规模更大、更昂贵的模型一样出色，但实现这一目标仅用了三分之一的训练步数。这就像是在三个月内就掌握了大师级厨师的技能，而不是花一年时间。
- 更好的结果： 在困难的数学和编程测试（如 AIME 和 LiveCodeBench）中，这种方法比标准方法提高了约 3% 到 6% 的准确率。
总结
把标准训练想象成让学生在布满擦除痕迹、涂抹痕迹和混乱涂鸦的白板上练习。CLEANER 则像是一个神奇的橡皮擦，能瞬间清除所有的污渍，只留下清晰完美的解题步骤。这使得学生能够内化“正确”的思考方式，而不是被他们最初尝试的“错误”方式所迷惑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。