Reasoning-Trace Collapse: Evaluating the Loss of Explicit Reasoning During Fine-Tuning
本文识别并量化了“推理轨迹坍塌”现象，即仅在答案数据上微调推理模型会导致其丧失有效的中间推理步骤，尽管最终答案仍保持正确，并提出了一个结构评估框架和损失掩码策略，以检测并缓解这种退化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你雇佣了一位才华横溢的学生，他受过专门训练，在数学考试中总是“展示解题过程”。他们不仅写下最终答案，还会在特制的笔记本中写出逻辑的每一步，最后再圈出结果。这种“展示过程”正是他们成为推理专家的关键。
现在，想象你给这位学生一套新的作业题。这些新题只在书后附有最终答案，没有展示步骤。你让学生在这些新题上练习。
问题：“静默”崩塌
论文指出，当学生在这些“仅含答案”的题目上练习时，会发生某种奇怪的现象。他们开始答对题目（因此你认为他们表现优异），但他们不再在笔记本中写下步骤。他们开始完全跳过“展示过程”的环节，直接跳到答案。
作者将这种现象称为“推理轨迹崩塌”。
这就像一位厨师，过去在做菜前会写下详细的食谱。在被要求烹饪许多未提供食谱的菜肴后，这位厨师开始完美地做出菜肴，却不再写下食谱。如果你只品尝食物（即最终答案），你会认为这位厨师依然是出色的食谱撰写者。但如果你索要食谱，却发现它已不复存在。厨师已经失去了“展示过程”的习惯，尽管食物依然美味。
隐藏的危险
论文警告说，如果我们只检查最终答案（他们是否得出了正确的数字？），就会忽略这一失败。模型看似成功，却丧失了使其成为“推理模型”的特定行为。这是一种结构性失败：即使最终结果正确，机器也不再生成中间步骤。
解决方案：“掩蔽”技巧
研究人员测试了几种无需教师为每道题重新编写食谱即可解决此问题的方法。
- “空框”方法：当给学生布置“仅含答案”的作业时，他们尝试强制学生在步骤“应该”出现的位置写下空框，即使框内空白。这种方法对部分学生效果不佳；有些学生仍停止书写步骤。
- “教师”方法：他们聘请了一位超级聪明的教师，先为作业题写出步骤，然后让学生抄写。这对部分学生效果良好，但成本高昂，且并非对所有人都有效。
- “掩蔽”方法（获胜者）：这是巧妙的技巧。当学生在“仅含答案”的作业上练习时，计算机在计算分数时会忽略步骤“应该”出现的那部分。它只奖励学生答对最终答案，但不会因学生留空步骤框而惩罚他们。
可以这样理解：如果你告诉孩子“我不在乎你是否写出步骤，只要给我正确答案就行”，他们就会停止书写步骤。但如果你说“我只会批改最终答案，所以暂时不用担心步骤”，孩子可能仍会保持书写步骤的习惯，因为他们并未被主动训练去停止这样做。
论文发现，这种“掩蔽”策略非常有效。它使模型能够学习新任务（得出正确答案），同时不忘如何“展示过程”。
核心要点
主要信息很简单：当我们在这些智能 AI 模型上训练新任务时，不能仅看他们是否得出正确答案。我们必须检查他们是否仍在“展示过程”。如果不这样做，我们可能会得到那些能给出正确答案却已忘记如何推理问题的模型，而如果我们关心他们“如何”得出答案，这将是一个大问题。
作者还发布了一款名为 THINKPACK 的免费工具（如同这些模型的通用翻译器），帮助开发者检查他们的模型是否仍在写下步骤，或是否已陷入这种“静默崩塌”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。