Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models
本文表明，通过将思维链生成以标准答案为条件来蒸馏大语言模型的推理能力，会显著降低可验证推理的性能，因为由此产生的数据鼓励的是事后合理化而非真正的推导，而这一缺陷是标准的正确性过滤无法检测到的。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人如何解开一个棘手的谜题。在人工智能的世界里，这些机器人被称为“大语言模型”（LLMs），它们非常擅长交谈、写作，甚至解决数学问题。但为了变得更聪明、具备更强的推理能力，它们需要练习它们的“思考过程”。这个过程通常被称为“思维链”（Chain of Thought），这只是一个高级说法，意思就是机器人会在给出最终答案之前，写下其逐步的逻辑，就像你在数学考试中展示解题步骤一样。
通常情况下，当科学家们训练这些机器人时，他们会让机器人尝试独立解决问题。如果机器人得到了正确答案，他们就会将那个思考过程保存下来，作为日后学习的优秀范例。如果它错了，他们就会丢弃这个例子。但有时，机器人会陷入挣扎，无法找到答案。因此，有一个常见的窍门是：先给机器人看正确答案，然后对它说：“嘿，这是答案；现在请写一个关于你是如何得出这个答案的故事。”这看起来像是一个聪明的捷径：你得到了一个正确的答案，并配上了一个匹配的故事，所以你可以用它来进行训练，对吗？
这篇论文调查了这种捷径中一个隐蔽的问题。研究人员发现，当你让机器人开始思考之前就先展示答案时，机器人会养成一个坏习惯。它并没有真正地循序渐进地推导解决方案，而是开始编写一个从已知答案出发进行“倒推”的故事。这就像一个学生在考试前看到了答案解析，然后写了一篇论文来证明该答案是合理的，而从未真正进行过数学计算。论文指出，尽管最终答案是正确的，但其中的“思考”是虚假的，而用这些虚假的故事来训练机器人，实际上会让它在独立解决新问题时表现得更差。
“作弊表”陷阱
研究人员设计了一个巧妙的实验来证明这一点。他们拿了一个非常聪明的 AI 模型，并让它两次解决同一组困难的数学问题。在第一轮中，他们完全隐藏了答案，迫使模型从零开始思考。在第二轮中，他们向模型展示了正确答案，并要求它写出一个导向该答案的推理链。他们确保在两组中只保留那些以正确答案结尾的推理链，因此通过一个简单的“正确性检查”是没问题的。
然后，他们训练了两个新的“学生”模型。一个学生只学习那些答案被隐藏的“诚实”推理链；另一个学生则学习那些先看到答案的“作弊”推理链。结果令人震惊。学习“诚实”链的学生变得更擅长解决问题；但学习“作弊”链的学生表现却变差了。在处理最难的竞赛级数学问题时，相比于“诚实”的学生，“作弊”的学生准确率下降了约 27 分。
为什么“倒推故事”会有害
论文解释说，这是因为模型在看到答案时改变了行为。当答案被隐藏时，模型必须寻找解决方案，像侦探寻找线索一样探索不同的路径。但当答案可见时，模型停止了搜索，转而开始“合理化”。它编写一个故事来证明已知结论的合理性，且往往在思考过程的最开始就直接说出了答案。
研究人员称之为“答案泄露”（Answer Leakage）。这就像一位预先知道魔术诀窍的魔术师，在试图解释他是如何表演时，他的解释只是一个为了让魔术看起来真实而编造出来的故事。论文发现，这种坏习惯在模型接受训练之前就是可以衡量的。如果你观察模型的原始想法，你会发现当答案可见时，它会更快地跳到结论。这种“答案优先”的习惯是一个警告信号：模型表现出这种行为的频率越高，它在接受此类推理链训练时遭受的损害就越大。
解决方法：不要展示答案
最重要的启示是，你不能仅仅通过检查最终答案是否正确来修复这个问题。论文表明，标准的过滤器（仅检查最终结果）会完全忽略这个问题，因为“作弊”的推理链确实拥有正确的答案。损害隐藏在思考过程本身之中。
解决方案出人意料地简单：在模型尝试弄清楚问题时，不要向它展示答案。论文明确警告说，即使你在模型失败之后再展示答案以生成一个“挽救型”推理链，这仍然会带来真实的代价——准确率下降 4.0 个百分点。最好的方法是在完全看不到答案的情况下生成推理链。如果流程必须展示答案，研究人员建议将指令改为“先推导出答案，然后再陈述它”，而不是“解释你是如何得到这个答案的”。这个微小的提示词改动能阻止模型直接跳到结论，并挽回大约三分之二的损失准确率。
简而言之，这篇论文证明了在 AI 训练的世界里，一个正确的答案并不总是意味着一个正确的教训。如果你教机器人从已知的事实进行倒推，它就会忘记如何独自发现真理。为了构建更聪明的 AI，我们需要让他们在未知中挣扎，而不是在他们开始思考之前就把答案钥匙交给他们。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。