Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline
该论文提出了一种名为自验证蒸馏的后训练方法，该方法使语言模型能够通过严格的三阶段自验证级联生成并筛选其自身的候选解，从而在数学、科学和编程领域自主提升推理能力，在无需外部教师或真实标签的情况下，于多种模型规模上实现了显著的性能提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位非常聪明的学生，他已经完成了学业，现在是数学、科学和编程领域的“研究生”级专家。通常，为了变得更强，这位学生需要一位新老师、一本带有答案的教科书，或者一位教练来批改他的作业。
但如果这位学生必须完全依靠自己变得更聪明，只使用一堆没有答案且没有老师的问题，该怎么办呢？
这正是斯坦福大学的研究人员在本文中探索的内容。他们创造了一种名为自我验证蒸馏（Self-Verified Distillation）的方法。其工作原理如下，用一个简单的类比来说明。
问题：“幻觉”陷阱
如果你让一位聪明的学生在没有答案的情况下解决一道难题，他可能会猜测。如果他猜错了，却自以为是对的，而你让他学习那个错误的答案，他只会变得更差。这被称为“强化错误”。
大多数以前的方法都需要一位“超级老师”（更大的 AI）或一把“魔法钥匙”（真实答案）来检查工作。本文提出：学生能否足够好地自我检查，从而从中学习？
解决方案：“三级安检”
研究人员为学生提供了一种新策略。学生不再只是写一个答案并寄希望于好运，而是对每个问题遵循严格的三步流程：
“全力以赴”阶段（生成）
对于每个问题，学生不只写一个答案。他们会写出八个不同的可能答案（就像用八把不同的钥匙去试一把锁）。“自我检查”阶段（验证）
这是关键所在。学生充当自己严格的安检员。他们将这八个答案中的每一个都通过一个三级安检站：- 第一关：循环检查（循环一致性）学生问：“如果我读这个答案，它作为对原问题的回复真的讲得通吗？”（例如，如果问题要求一个数字，而答案是一首诗，这就失败了）。
- 第二关：事实核查：学生检查明显的谎言、错误的数学计算或逻辑错误。
- 第三关：最终裁决：学生问：“这是一个完整、完美的解决方案吗？”
关键规则：要通过，答案必须通过所有三个阶段。此外，学生要求他们的“内心法官”对此进行五次投票。只要法官有一次说“否”，答案就会被拒绝。它必须在每一次投票中都获得一致的“是”。
“学习”阶段（蒸馏）
学生只保留那些通过了这种超严格安检的答案。他们扔掉其余的。然后，他们仅研究这些经过自我验证的高质量答案，以重新训练他们的大脑。
结果：没有老师也能变聪明
研究人员在三种学科（数学、科学和编程）上，对不同规模（小、中、大）的 AI 模型（称为 Qwen3）测试了这种方法。
- “无过滤”错误：当他们让 AI 在没有安检的情况下学习自己的随机猜测时，AI 实际上变差了。它学会了自己的错误。
- “安检”成功：当他们使用严格的三级检查时，AI 显著变强了。
- 在数学方面，中等规模模型的分数提高了约17 分。
- 在科学方面，它跃升了11 分。
- 在编程方面，它上升了8 分。
大惊喜：训练与测试
通常，为了获得更好的答案，你可以只是让 AI 在提问的那一刻“更努力地思考”或尝试 100 次（这被称为“测试时计算”）。这既昂贵又缓慢。
研究人员将他们的方法（在自我验证的数据上进行训练）与仅仅让 AI 在测试时刻更努力尝试的方法进行了比较。
- 结果：在自我验证数据上经过训练的 AI，其表现优于仅在测试时刻更努力尝试的 AI。
- 效率：经过训练的 AI 在测试期间只需要一次快速猜测就能得到正确答案，而“更努力尝试”的方法则需要生成和检查数十个答案才能获得相同的结果。
结论
本文证明，只要足够严格地过滤掉自己的坏主意，聪明的 AI 就可以充当自己的老师。通过生成许多选项，利用多步骤自我检查无情地过滤它们，并只研究获胜者，AI 可以在不需要任何外部人类老师或答案的情况下自我提升。
这就像一个学生写了一千篇练习文章，烧掉了其中 999 篇糟糕的，只研究自己写的那一篇完美文章。那一篇完美的文章足以让他成为大师。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。