💬 NLP

Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation

本文提出了推理蒸馏溯源框架，通过量化分析蒸馏模型生成内容的来源以揭示其泛化机制，并据此提出了一种基于师生分歧的 principled 数据选择方法，从而提升了推理蒸馏的效果。

原作者： Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：当一个小模型（学生）向一个大模型（老师）学习“如何思考”时，它到底学到了什么？是真的学会了老师的思维逻辑，还是只是表面模仿，关键时刻又变回了原来的老样子？

为了让你更容易理解，我们可以把整个过程想象成**“名师带徒弟”**的故事。

1. 背景：名师出高徒，但徒弟真的懂吗？

想象一下，有一位**“超级数学大师”（老师模型），他解题思路清晰、逻辑严密。现在，我们想培养一位“年轻学徒”（学生模型）**，让他也能像大师一样解题。

传统的做法是：大师把解题步骤一步步写出来，学徒照着背，然后反复练习。这被称为**“推理蒸馏”**。

问题在于：学徒在考试（测试）时，遇到没见过的题目，他是真的像大师那样思考，还是因为紧张，又变回了以前那种“拍脑袋瞎猜”的老习惯？
以前的研究只关心“徒弟考了多少分”，却没人去分析“他解题的每一步，到底是用了大师的脑子，还是自己的脑子”。

2. 核心创新：给思维做"CT 扫描”（溯源追踪）

这篇论文的作者发明了一种叫**“推理溯源追踪”的方法。这就像给徒弟的每一个解题步骤做了一次"CT 扫描”或“亲子鉴定”**。

具体是怎么做的呢？
当徒弟在解题时，作者会同时把当前的题目和已经写出的步骤，分别喂给三个人看：

大师（老师模型）
徒弟原本的样子（原始学生模型）
现在的徒弟（蒸馏后的模型）

然后，他们比较这三个人对“下一步该写什么”的确信程度（概率）。根据这个确信程度，作者把徒弟写出的每一句话（动作）分成了四类：

🟢 大师原创句（Teacher-originated）：
- 比喻：这句话只有大师能写得出来，徒弟原本根本不会。
- 含义：这是真正从老师那里“偷师”学来的新技能。
🔵 徒弟原创句（Student-originated）：
- 比喻：这句话徒弟自己本来就会，跟老师没关系。
- 含义：这是徒弟自己的老习惯。
🟡 共同句（Shared）：
- 比喻：师徒俩都会写，而且写得差不多。
- 含义：这是基础常识，没变。
🟠 强化句（Boosted）：
- 比喻：徒弟本来也会写，但经过大师指点后，他写得更自信、更流畅了。
- 含义：这是徒弟原本潜藏的能力被“唤醒”了。

3. 研究发现：徒弟到底学到了什么？

作者通过扫描发现了一些惊人的规律：

关键时刻靠大师：在解题的开头阶段（比如分析题目、制定计划），徒弟如果写出了“大师原创句”，这道题答对的可能性就非常大。这说明，真正让徒弟变强的，是他学会了像大师一样“起头”思考。
唤醒潜能是双刃剑：在解题的后半段，徒弟会大量使用“强化句”（原本潜藏的能力被激活）。
- 好消息：这确实提升了能力。
- 坏消息：如果徒弟原本的基础不好，被激活的可能是“坏习惯”。研究发现，有些小模型在错误答案中，反而大量使用了这种“被激活的坏习惯”。
结论：成功的蒸馏，不仅仅是让徒弟模仿老师，而是让徒弟在关键时刻（特别是解题初期）能调用老师的逻辑，同时小心地筛选掉那些被错误激活的坏习惯。

4. 解决方案：像“选教材”一样选数据

既然知道了“大师原创句”最值钱，作者就提出了一个新的**“选教材”策略**：

以前的做法：挑那些徒弟自己看着顺眼、容易学的题目（因为这样学得快）。
作者的新做法：专门挑那些**“大师和徒弟差别最大”**的题目。
- 比喻：如果一道题，大师能写出精彩的“原创句”，而徒弟原本完全写不出来，那这道题就是**“黄金教材”**。我们要优先让徒弟学这些，因为这里面的“大师智慧”最多。

5. 实验结果：真的有用吗？

作者用这个新策略重新训练了几个模型，结果发现：

在数学竞赛（如 AIME）和科学问答（如 GPQA）等难题上，使用新策略训练的模型，成绩比传统方法提高了 1.7% 到 2.5%。
虽然看起来提升幅度不大，但在顶尖的 AI 竞赛中，这已经是巨大的进步了。

总结

这篇论文就像给 AI 教育界装了一副**“透视眼镜”。
它告诉我们：不要只看学生考了多少分，要看看他解题的每一步，到底是用老师的脑子，还是用自己的脑子。
通过这种“透视”，我们不仅能解释为什么有的模型变强了，还能像精明的老师一样，只挑那些最能体现“名师智慧”的题目来教学生**，从而用更少的数据，培养出更聪明的 AI。

一句话概括：这篇论文教我们如何**“扒开 AI 的解题过程，看清它到底是在模仿大师，还是在故技重施”**，并据此挑选出最好的教材，让 AI 学得更快、更真。

这是一篇关于大语言模型（LLM）推理蒸馏（Reasoning Distillation）可解释性与数据选择的预印本论文。文章提出了一种名为“推理蒸馏溯源（Reasoning Distillation Provenance Tracing）”的新框架，旨在解决蒸馏模型在测试时是否真正继承了教师的推理能力，还是仅仅回归到学生模型原有的输出模式这一核心问题。

以下是该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

背景：推理蒸馏是一种通过让小型“学生模型”模仿大型“教师模型”的推理路径（Chain-of-Thought），从而提升学生模型性能的高效方法。
痛点：现有的研究主要关注蒸馏后的性能提升，但缺乏对能力来源的深入分析。
- 在未见过的测试场景（Test-time contexts）中，蒸馏后的模型是真正继承了教师的推理逻辑，还是仅仅在训练时模仿了教师，而在推理时退回到学生模型原有的输出分布？
- 目前的通用性（Generalization）存疑，且缺乏理论解释为何蒸馏能带来性能提升。
目标：量化并追踪蒸馏模型生成的每一个动作（如句子）的来源，区分其是源于教师、学生，还是两者的混合，并据此优化训练数据的选择。

2. 方法论：推理蒸馏溯源框架 (Methodology)

作者提出了一个**跨模型推理蒸馏溯源（Cross-model Reasoning Distillation Provenance Tracing）**框架，核心思想是通过比较教师模型（ $M_T$ ）、原始学生模型（ $M_S$ ）和蒸馏后模型（ $M_D$ ）在相同上下文下的预测概率来判定动作来源。

2.1 核心流程

采样：在测试集上让蒸馏模型 $M_D$ 生成推理轨迹（Trajectory）。
重输入与概率计算：将 $M_D$ $M_{D}$ 生成的每一个动作（句子） $a_{i,j}$ $a_{i, j}$ 重新输入到 $M_T$ $M_{T}$ 、 $M_S$ $M_{S}$ 和 $M_D$ $M_{D}$ 中，获取它们对该动作的预测概率（ $p_T, p_S, p_D$ $p_{T}, p_{S}, p_{D}$ ）。
- 注：为了处理词汇表不匹配问题，采用句子级别的几何平均概率。
动作分类：根据概率差异将每个动作分为四类：
- 教师起源动作 (Teacher Sentence)： $p_T \gg p_S$ ，且 $M_D$ 输出了该动作。表明该能力主要源于教师知识的迁移。
- 学生起源动作 (Student Sentence)： $p_S \gg p_T$ ，且 $M_D$ 输出了该动作。表明该动作源于学生原有的模式。
- 共享动作 (Shared Sentence)： $p_T \approx p_S \approx p_D$ 。两者原本就具备，蒸馏未显著改变其概率。
- 增强动作 (Boosted Sentence)： $p_T \approx p_S$ ，但 $p_D$ 显著高于两者。表明蒸馏激活并增强了学生模型内部原本潜伏的模式。

2.2 基于溯源的数据选择策略

基于上述分析，作者提出了一种教师引导的数据选择方法（Teacher-guided Data Selection）：

假设：训练数据中包含更多“教师起源动作”的比例越高，蒸馏模型在测试时的泛化能力越强。
策略：在训练前，利用教师和学生模型对候选训练样本进行打分，计算每个样本中“教师起源动作”的数量或比例。
筛选：优先选择包含更多“教师起源动作”的样本进行训练，而不是像现有方法（如 GRAPE）那样仅基于学生模型自身的分布偏好进行选择。

3. 关键发现与实验结果 (Key Findings & Results)

3.1 溯源分析发现

作者在 DeepSeek-Distill-Qwen-7B, DeepSeek-R1-0528-Qwen3-8B 和 LIMO-v2 等模型上进行了分析：

教师起源动作与正确性高度相关：在推理的早期阶段，正确回答中“教师起源动作”的概率显著高于错误回答。这表明蒸馏模型在测试时确实能生成源自教师的推理步骤，且这些步骤对最终答案的正确性至关重要。
学生内部模式的激活具有两面性：蒸馏确实能激活学生模型内部潜伏的模式（Boosted Sentences），但这种激活并不总是有益的。在小模型中，过多的“学生起源”或“增强”动作有时反而与错误答案相关。
早期推理阶段的关键性：教师起源动作在推理初期（如规划、分析输入阶段）出现频率最高，这对引导后续推理至关重要。

3.2 数据选择实验结果

在多个基准测试（AIME24, AIME25, MATH500, OlympiadBench）上，使用不同教师（DeepSeek-R1, QwQ, GPT-OSS-120B）和学生模型（Qwen 系列）进行了验证：

性能提升：相比随机选择（Vanilla）和基于学生分布的 GRAPE 方法，作者提出的“教师引导选择”策略在平均准确率上提升了 1.7% - 2.5%。
泛化能力：该方法不仅在数学领域有效，在科学推理领域（OpenScienceReasoning）训练的数据，也能显著提升数学测试集的表现，证明了“教师起源动作”具有跨领域的通用推理价值。
消融实验：证明了最大化“教师起源动作”的绝对数量（Maximize Absolute Count）比最大化比例或长度更有效；阈值 $\beta$ 的选择对结果不敏感，具有鲁棒性。

4. 主要贡献 (Contributions)

提出了溯源框架：首次系统性地通过细粒度的概率比较，将蒸馏模型的输出解构为“教师起源”、“学生起源”、“共享”和“增强”四类，为理解蒸馏机制提供了可解释的工具。
揭示了性能提升的量化证据：通过实验证明，蒸馏模型在未见过的测试场景中确实能生成“教师起源动作”，且这些动作与答案的正确性高度相关，解释了蒸馏提升泛化能力的内在机理。
提出了新的数据选择范式：打破了以往仅依赖学生模型自身分布（Heuristics）的数据选择惯例，提出利用“教师 - 学生分歧（Teacher-Student Divergence）”作为筛选标准，优先选择富含教师推理逻辑的数据，显著提升了训练效率。

5. 意义与展望 (Significance)

理论意义：该工作将蒸馏研究从单纯的“性能黑盒”推进到了“机制白盒”阶段，明确了蒸馏不仅是知识压缩，更是特定推理模式（特别是教师特有的早期规划能力）的迁移。
实践价值：提供了一种低成本、无需额外训练即可实施的数据筛选策略，能够利用现有的开源蒸馏数据集挖掘出更高质量的训练样本，显著提升小模型的推理能力。
未来方向：文章指出未来可探索多教师混合蒸馏场景下的溯源，以及将该方法扩展到更大参数量的模型上。

总结：这篇论文通过创新的“溯源”视角，不仅解释了为什么推理蒸馏有效（因为学生真正学会了教师的特定推理步骤），还利用这一发现反向指导了训练数据的筛选，证明了“教什么”比“怎么教”在数据选择层面更为关键，为构建更可靠、高效的推理小模型提供了新的理论依据和工程实践路径。