💬 NLP

Critique-Guided Distillation for Robust Reasoning via Refinement

本文提出了批判引导蒸馏（CGD），这是一种训练框架，通过将教师生成的批判作为仅在训练阶段使用的监督信号来优化学生模型的响应，从而将批判的生成与消费解耦，相较于需要在推理过程中生成批判的方法，该方法在实现更优推理性能的同时保留了通用能力。

原作者： Berkcan Kapusuzoglu, Supriyo Chakraborty, Zain Sarwar, Chia-Hsuan Lee, Sambit Sahu

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Berkcan Kapusuzoglu, Supriyo Chakraborty, Zain Sarwar, Chia-Hsuan Lee, Sambit Sahu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在学习如何解复杂的数学谜题。你有一位非常聪明的老师（一个大型 AI 模型）和一名学生（一个小型 AI 模型）。

问题：模仿 vs. 理解

通常，当我们训练 AI 时，只是向它展示最终答案。这就像把一份已完成的数学试卷交给学生，然后说：“背下这个。”学生可能在考试中答对题目，但他们并没有真正学会如何思考。如果你稍后给他们一个略有不同的谜题，他们就会卡住。

一些较新的方法试图通过让 AI 学会批判自己的工作来解决这个问题。想象学生先写出一个答案，然后停下来写一篇长文，分析自己可能出错的原因，接着再修正它。虽然这有帮助，但它有一个副作用：学生太习惯于写这些“批判文章”，以至于忘记了如何直接给出答案。他们开始听起来像是在批改试卷的老师，而不是在解决问题的学生。

解决方案：批判引导蒸馏（CGD）

本文作者提出了一种名为**批判引导蒸馏（Critique-Guided Distillation, CGD）**的新方法。把它想象成一个只在幕后进行的“秘密训练营”。

以下是其工作原理，使用一个简单的类比：

错误： 学生 AI 尝试解决问题并答错了。
秘密笔记： 超级聪明的老师 AI 查看这个错误，并写下一条私人笔记（批判），精确解释为什么错了。
课程： 学生 AI 随后看到原始问题、它自己的错误答案以及老师的私人笔记。它的任务是学习如何将那个混乱的错误尝试转化为完美、修正后的答案。
魔法： 学生学会内化修正的逻辑。它学会了如何修正错误，而无需自己写那条“私人笔记”。

“训练 vs. 现实”的诀窍

这种方法最关键的部分在于训练营结束后的情况。

训练期间： 学生看到问题、它自己的错误以及老师的批判。它学习“错误 + 解释 = 修正”的模式。
现实生活（推理）期间： 当学生被要求为用户解决问题时，批判会消失。学生只看到问题。因为在训练期间它用批判进行了大量练习，现在它会自动“思考”修正过程。它能在单一步骤中生成正确答案，而无需先生成批判。

为什么这很重要

该论文声称，这种方法优于其他替代方案，主要有三个原因：

更聪明： 在困难的数学竞赛（如 AMC 或 AIME）中，经过 CGD 训练的学生比其他方法训练的学生正确解决了更多问题。他们不仅仅是猜测；他们的推理质量实际上得到了提升。
不会破坏能力： 其他教导 AI 写批判的方法，往往会让 AI 在遵循简单指令（如“写一首诗”或“总结这段文字”）时表现变差。CGD 保持了 AI 在其他方面的良好表现，因为它从不强迫 AI 改变其输出风格以包含批判。
高效： 学生在回答问题时不需要做额外的工作。它无需生成批判、阅读批判，然后再写答案。它直接给出答案，节省了时间和计算资源。

“质量控制”发现

研究人员还发现，老师笔记的质量至关重要。

如果老师给出具体且相关的笔记（例如：“你忘了氮离子有 10 个电子，而不是 7 个”），学生能学到很多。
如果老师给出笼统的笔记（例如：“这是错的，再试一次”），学生只能学到一点点。
如果老师给出令人困惑或不相关的笔记（例如：谈论一个完全不同的数学问题），学生在解决问题时实际上会变得更差。

总结

简而言之，批判引导蒸馏就像聘请一位导师秘密地纠正你的作业错误，并解释为什么错了，这样你将来就能自己发现并修正这些错误。一旦你学会了这一课，就不再需要导师的笔记了；你只需自己正确地解决问题。这篇论文表明，这种方法能创造出推理能力更强、遵循指令能力保持良好、且不浪费时间在额外步骤上的 AI。

技术摘要：基于批判引导蒸馏的稳健推理优化

问题陈述

监督微调（SFT）仍然是将大语言模型（LLM）适配到下游任务的主导方法。然而，标准的 SFT 往往导致模型仅模仿专家输出，而未内化底层的推理过程，从而导致分布外泛化能力差、幻觉增加，以及难以扩展到更困难的问题实例。

利用批判与修订的替代范式（例如 Self-Refine、Reflexion）展现出潜力，但由于多轮提示，其推理成本高昂。批判微调（CFT）试图将批判生成移至训练阶段，但引入了显著缺陷：训练模型生成批判往往导致输出格式漂移以及对通用能力（如指令遵循）的灾难性遗忘。此外，现有的蒸馏方法通常依赖于教师对正确答案的通用解释，而非针对学生的具体错误，或者依赖缺乏可操作诊断信息的隐式监督信号（如 token 概率）。

方法论：批判引导蒸馏（CGD）

作者提出了批判引导蒸馏（CGD），这是一种将批判消费与批判生成解耦的训练框架。其核心直觉是：学生模型可以通过在教师提供的针对其自身错误的批判上进行训练，从而内化自我修正能力，而无需自行生成这些批判。

训练流程

CGD 流水线针对每个训练样本包含三个阶段：

学生答案生成：学生模型（ $S_{\theta_{init}}$ ）针对提示（ $x$ ）生成初始的、可能存在缺陷的响应（ $y'$ ）。
批判生成：教师模型（ $T_\phi$ ）分析 $y'$ 并生成文本批判（ $c$ ），指出具体的错误、误解或推理中的缺失。
精炼答案生成：教师模型基于提示、学生的初始答案以及批判，生成黄金标准的精炼答案（ $\hat{y}$ ）。

随后，学生模型在增强数据集 $((x, y', c), \hat{y})$ 上进行微调，使用标准语言建模目标以最小化精炼答案的负对数似然：
$\mathcal{L}(\theta) = \mathbb{E}_{(x,y',c,\hat{y})}[-\log S_\theta(\hat{y} \mid x, y', c)]$

推理行为

至关重要的是，批判仅在训练期间使用。在推理时，模型仅接收提示（ $x$ ）并在单次前向传播中生成精炼答案。模型不生成批判，也不需要将其作为输入。这种设计确保了零架构开销，并保持了标准的推理格式，避免了 CFT 中观察到的格式漂移。

主要贡献

新颖的训练框架：引入 CGD，训练模型消费解释性反馈以精炼其自身响应，而非训练模型生成批判。
角色解耦：该框架将批判生成（教师）与批判消费（学生）的角色分离，使学生能够在没有自我修正循环的推理延迟的情况下内化错误感知推理。
通用能力的保留：与导致指令遵循能力退化的 CFT 不同，CGD 在显著提升推理性能的同时保留了通用能力。
跨家族泛化：该方法在不同模型家族（LLaMA、Qwen、S1.1、Mixtral、OLMo）和规模上表现出鲁棒性，即使使用开源教师也能实现最先进的结果。
实证分析：全面的消融研究刻画了批判的具体性、相关性和正确性的作用，以及对内部注意力机制和梯度范数的诊断分析。

实验结果

作者在五个模型家族和多个基准测试中评估了 CGD，将其与标准 SFT、蒸馏 SFT 和批判微调（CFT）进行了比较。

数学推理：CGD 始终优于基线。在 LLaMA3.1-8B 上，其在数学推理基准测试上比 CFT 实现了**+5.4%的平均提升，其中 AMC23 具体提升了+15.0%，MATH-500 提升了+12.2%。在 S1.1-3B 模型上，提升幅度达到比 CFT 高+7.2%**。
通用能力：虽然 CFT 导致指令遵循性能灾难性下降（IFEval 准确率从 76.9% 降至 55.6%），但 CGD 保持了性能（76.1%），有效保留了通用能力。
分布外迁移：尽管训练数据中不包含代码，CGD 模型仍成功迁移到代码生成任务（HumanEval），实现了比基线模型**+4.9%**的提升，优于 CFT。
推理质量与搜索：在具有挑战性的竞赛基准测试（AIME24）上，CGD 在低采样预算下显示出显著增益（Pass@1 从 3.3% 提升至 16.7%），表明其提升了单样本推理质量，而非依赖广泛的搜索。这些模型还生成了显著更长的推理链（在 AIME 上长达 4.4 倍）。
消融洞察：
- 批判的必要性：从训练上下文中移除批判导致 AMC23 性能下降高达 114%，证实批判起到了关键的学习支架作用。
- 具体性与相关性：具体且相关的批判优于通用占位符。不相关的批判（具体但针对问题错误）会主动误导模型，表现甚至不如通用占位符。
- 鲁棒性：在正确与错误学生答案的平衡混合（50/50）上训练的模型表现出最高的鲁棒性，发展出了区分有效与无效指导的内在能力。

意义与主张

该论文将 CGD 定位为面向以推理为中心任务的实用且计算高效的中间训练范式。其主要意义在于实现了显著的推理提升，同时未引入推理时的开销或架构变更。

作者声称，CGD 成功解决了标准 SFT（浅层模仿）和 CFT（格式漂移和能力退化）的局限性。通过将批判视为仅训练时的语义支架，CGD 使模型能够内化从错误到修正的转换。结果表明，这种方法为推理任务提供了一种稳定的、监督式的强化学习（RL）替代方案，作者指出 CGD 与 RL 可能是互补而非竞争的关系。该方法被强调特别适用于资源受限的环境，与基于 RL 的推理方法相比，以显著更低的计算成本实现了强大的性能。