Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why
本文介绍了一种无需训练、基于每个 token 的诊断框架，该框架揭示出策略内蒸馏最有益于纠正错误的推理步骤而非强化正确的步骤，同时表明最优的蒸馏配置会因学生模型的容量和具体任务的不同而产生显著差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一位年轻学徒（学生）如何解开复杂的谜题。你有一位知晓答案的智者（老师）。目标是向学徒展示智者的思考过程，从而帮助他们学习。这被称为同策略蒸馏。
然而，这篇论文提出了一个关键问题：这位智者总是有帮助的吗？ 有时，智者会纠正一个真正的错误；但其他时候，他们可能只是在吹毛求疵（比如坚持用"four"而不是"4"），或者在学徒已经走在正确轨道上时给出令人困惑的建议。
研究人员构建了一种特殊的“诊断工具”，用于逐字检查智者的建议究竟是帮助学徒走向正确答案，还是在浪费时间。
以下是他们的发现，用简单的方式解释：
1. “完美向导”与“真实老师”
为了判断智者是否有帮助，研究人员首先设想了一位**“完美向导”**。这位向导确切知道学徒接下来应该说哪个词，以保证答案正确。
- 工具：他们创建了一个分数（像指南针一样），用来衡量真实老师的建议与这位完美向导的匹配程度。
- 结果：有时指南针指向北方（有帮助），有时指向东方（中性），有时指向南方（有害）。
2. 最大的惊喜：错误是学习发生的地方
最一致的发现是，当学徒表现不佳时，老师的帮助最大。
- 当学徒陷入困境或走上歧途时：老师的建议就像风暴中的灯塔，强烈地指向正确的解决方案。“指南针”显示出强烈的对齐。
- 当学徒表现良好时：老师的建议变得嘈杂且令人困惑。这就像教练向一名已经完美奔跑的运动员大喊指令；额外的噪音实际上可能会拖慢他们的速度，或让他们自我怀疑。
3. 一刀切行不通（“可理解性”规则）
最好的教学方法完全取决于学徒有多聪明以及谜题有多难。
小学徒（0.6B 模型）：
- 如果你向他们展示由超级聪明的巨人（巨大的外部模型）写出的解决方案，他们会感到困惑。巨人的思维方式太复杂了。
- 最佳策略：向他们展示由他们自己（或类似的小模型）写出的、且答对了的解决方案。这是用他们能理解的语言写成的。
- 总结与细节：他们需要完整、循序渐进的故事。如果你过度总结解决方案，他们就会错过逻辑。
中学徒（1.7B 模型）：
- 他们足够聪明，可以从超级聪明的巨人那里学习。事实上，他们通常从巨人那里学到的东西比从自己那里学到的更好。
- 总结与细节：他们实际上更喜欢总结。他们可以跳过废话，直接抓住关键逻辑。
高难度数学谜题（AIME）：
- 在非常困难的数学问题上，向学徒展示一个错误的示例（连同正确的示例一起）实际上会有帮助。这就像在说：“不要犯这个错误；要做那个。”
- 在较简单的谜题上，展示错误示例只是噪音，会损害表现。
4. “风格与实质”问题
论文指出，老师经常在学生无关紧要的事情上与学生产生分歧。
- 示例：学生写了“所以，因此……"，而老师更喜欢“故……"。
- 问题：标准训练将这种风格修正与逻辑修正同等对待。这就像老师在你实际上犯了数学错误时，却在纠正你的语法。新工具显示，这些“风格分歧”通常毫无价值，而“逻辑分歧”才是黄金。
5. 没有万能配方
没有一种适用于所有情况的“最佳老师”或“最佳上下文”。
- 如果你正在教一个小模型解决简单问题，请使用自我生成的正确示例。
- 如果你正在教一个更大的模型解决高难度数学问题，请使用总结过的外部示例，甚至包含一个错误示例来展示不该做什么。
总结类比
把老师想象成 GPS。
- 如果你走错了路，GPS 会非常有用且紧迫。
- 如果你已经在正确的高速公路上完美驾驶，GPS 可能会开始给你提供不必要的绕行路线，或者抱怨你的车道选择，这只会分散你的注意力。
- 此外，为一级方程式赛车（巨型模型）设计的 GPS 对于自行车骑手（小模型）来说可能太复杂了。自行车骑手需要一张他们真正能看懂的简单地图，而不是一条高科技数据流。
该论文得出结论，为了有效地训练 AI，我们需要停止使用“一刀切”的方法。相反，我们应该针对每一个单词进行检查，判断老师的建议是否真的指向目标，并根据学生的能力和任务的难度调整我们的教学策略。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。