🤖 machine learning

Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition

本文表明，通过使用双智能体框架和早停机制，利用从 DeepSeek-R1 教师模型中蒸馏出的思维链数据对紧凑型 Qwen2.5-7B 学生模型进行微调，可以显著提高其在 John O'Bryan 数学竞赛和 MATH-500 基准测试中的准确率，同时也揭示了较短的回答长度与推理质量下降之间存在相关性。

原作者： Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢、世界级的数学导师（我们称他为 Professor DeepSeek）。他非常厉害，能解决极其困难的竞赛题目。他很出色，但体型庞大、反应迟缓，且需要一台超级计算机才能运行。你想教一位更小、更快、更便宜的学生（我们称她为 Student Qwen）像教授一样思考，这样她就能在普通的笔记本电脑上胜任同样的工作。

这篇论文讲述了研究人员如何利用一套特定的数学题（来自北肯塔基大学 2011 年至 2025 年举办的真实竞赛——John O'Bryan 数学竞赛）来教导这位学生的故事。

以下是他们实验过程的简化版故事：

1. 训练方法：“展示你的解题步骤”

研究人员并没有直接把最终答案交给学生。他们使用了一种特殊的技巧，叫做思维链（CoT）蒸馏。

老师： 首先，“Professor DeepSeek” 解决了 671 道往届竞赛题。但他不仅仅是写下答案，还写出了他思考的每一个步骤，就像学生在考试中展示解题过程一样。
验证者： 第二个 AI 检查了教授的工作，以确保这些步骤确实是正确的。只有完美的解题过程才会被保留下来。
学生： 随后，“Student Qwen”（一个较小的模型）接受训练，旨在模仿这些循序渐进的解题步骤。

2. “过度练习”的陷阱

研究人员面临了一个经典问题：过拟合（Overfitting）。
想象一个学生背下了练习题的精确答案，而不是学习数学概念。如果你给他们一个稍微不同的题目，他们就会失败。

研究人员最初让学生进行了 1,000 轮（迭代）训练。
结果： 学生开始背诵训练题目中的具体词汇，而不是学习逻辑。她的表现实际上变得更差了。
解决方法： 他们意识到学生在 200 轮时达到了巅峰。在那之后，她只是在机械模仿。因此，他们通过提前停止训练（在 200 轮时停止）来保持她的“新鲜感”和泛化能力。

3. 结果：稳步提升

通过提前停止训练，学生的表现有了显著提升：

训练前： 学生的正确率约为 65%。
训练后： 她跃升到了约 69.4%。
额外收获： 她不仅在这些特定的题目上表现更好，在另一个著名的数学基准测试 MATH-500 上也取得了进步，这证明她真正学会了推理的“技能”，而不仅仅是记住了答案。

4. “字数”实验

研究人员想知道：学生需要多少“思考空间”？
他们强制要求学生在严格的字数限制内解题（就像考试中有严格的字数限制一样）。

无限制 (R1)： 她写了大约 220 个词，正确率为 69%。
适度限制 (R2)： 她写了大约 120 个词，正确率下降到 62%。
严格限制 (R6)： 她被迫只能写大约 31 个词。她的准确率骤降至 42%。

类比： 这就像要求某人解一个复杂的谜题。如果你给他们一个小笔记本（字数很少），他们不得不跳过步骤并进行猜测。如果他们有一个完整的笔记本（字数很多），他们就可以写出逻辑并得到正确答案。研究发现，对于这类难题，你需要大约 50 到 100 个词的“思考空间”才能得到一个好的答案。

5. 她的薄弱环节

速度 vs. 逻辑： 学生在竞赛中的“两人速解（Two-Person Speed）”部分表现最弱。这些题目需要快速的多步计算。当字数限制很紧时，她无法容纳必要的计算步骤，导致准确率比其他部分下降得更厉害。
格式错误： 有趣的是，研究人员发现，学生大约 40% 的错误并不是因为她数学不好。她实际上得到了正确的数字，但书写方式很乱（比如没有简化分数，或者忘记把答案放在方框里）。如果由人类或简单的脚本来清理她的书写格式，她的得分会更高。

核心结论

这篇论文证明，你可以通过训练，将一个庞大、强大的 AI 教会一个更小、更便宜的 AI，使其能够有效地通过数学题进行推理，但前提是必须在它开始死记硬背之前停止训练。

然而，这里有一个限制条件：思考需要空间。 如果你强迫 AI 过于简洁（字数太少），她就会失去解决难题的能力。对于这类数学竞赛，理想的“甜点区（Sweet Spot）”是允许 AI 有足够的空间写出大约 50 到 100 个词的推理过程。

技术摘要：从大型推理模型到紧凑型学生模型的知识蒸馏

问题陈述

具有先进数学推理能力的语言大模型（LLM），如 DeepSeek-R1，通常需要大量的计算资源，使得本地部署变得不切实际。虽然知识蒸馏（KD）为将推理能力转移到更小、更高效的“学生”模型提供了一条路径，但现有的研究主要依赖于通用基准测试（例如 MATH-500, GSM8K），这些测试可能存在预训练数据污染的问题。目前仍缺乏关于蒸馏在特定领域、专家策划的问题集上的表现，以及特定约束（如 Token 预算）如何影响蒸馏推理质量的研究，因为这些问题集的污染风险较低。

方法论

作者提出了一种流水线，利用 John O'Bryan 数学竞赛（2011–2025）作为专门语料库，将推理能力从大型教师模型蒸馏到紧凑的学生模型中。

1. 数据集构建

语料库： 包含跨越 15 年的 671 道题目，分为 Freshman/Sophomore（高一/高二）、Junior/Senior（高三/高四）以及 Two-Person Speed（两人速解）部分。
划分： 采用了时间顺序划分以防止数据泄露：2011–2021 年（训练集）、2022–2023 年（验证集）以及 2024–2025 年（测试集）。
双智能体框架： 使用 DeepSeek-R1 API 的两步过程：
- 智能体 1（求解器）： 生成逐步的思维链（CoT）推理轨迹。
- 智能体 2（验证器）： 根据标准答案验证求解器的输出，返回 CORRECT（正确）或 INCORRECT（错误）的判定。
- 只有被验证为正确的轨迹（在尝试的 651 个中保留了 594 个）才会被用于训练。

2. 模型架构与训练

教师模型： DeepSeek-R1（通过 API 调用）。
学生模型： Qwen2.5-7B-Instruct（4-bit 量化）。
微调： 使用 MLX 框架 在 Apple Silicon 硬件上应用了低秩自适应（LoRA）。
- 配置： Rank $r=8$ ， $\alpha=16$ ，dropout 为 $0.05$，目标模块为 query、key、value 以及 output projection 模块。
- 参数： 11.534M 可训练参数（占总参数量的 0.151%）。
训练协议：
- 诊断运行： 一次 1,000 次迭代的运行识别出了严重的过拟合现象：验证损失在 第 200 次迭代 达到最小值后开始上升。
- 最终运行： 执行了五次独立的训练运行，每次限制在 200 次迭代 以内，并使用不同的随机种子（42, 123, 256, 512, 999）以确保稳定性。
- 早停法（Early Stopping）： 模型经过融合，并基于 200 次迭代的检查点进行评估。

3. 评估策略

指标： 答案准确率（由 DeepSeek-R1 判断，以处理等价的数学形式）和困惑度（Perplexity）。
泛化性： 在 MATH-500 基准测试上进行域外评估。
Token 预算实验： 微调后的模型在六个推理等级（R1–R6）下进行评估，这些等级的 Token 限制逐渐缩减（从不受限到仅 100 个 token），以评估响应长度对推理质量的影响。

关键结果

性能提升

基座模型： Qwen2.5-7B 在竞赛测试集上的准确率为 64.67%。
蒸馏模型： 200 次迭代的 LoRA 微调模型实现了 69.43% ± 0.17% 的平均准确率，提升了 4.76 个百分点。
稳定性： 五个种子之间的标准差极窄（0.17 pp），证实了这种提升是稳健的，而非初始化带来的偶然现象。
过拟合： 持续训练至 1,000 次迭代会导致准确率下降（67.59%）且困惑度上升，证实了在小规模语料库蒸馏中，早停法至关重要。

泛化能力

在 MATH-500 基准测试上，蒸馏模型的表现从基座的 70.1% 提升至 73.1% ± 0.18%。
性能增益在不同学科间分布不均：在训练语料库中代表性较强的代数（Algebra, 93.5%）和数论（Number Theory, 82.3%）方面看到了显著提升，而中级代数（Intermediate Algebra）、几何（Geometry）和预备微积分（Precalculus）的表现较弱。

Token 预算的影响

长度与准确率： 随着 Token 预算的缩小，准确率呈现持续下降趋势。
- R1（不受限，约 220 词）： 69.43%
- R6（100 个 token，约 31.2 词）： 41.9%
临界阈值： 最显著的下降发生在 R3（约 96 词）和 R4（约 55 词）之间，这表明对于多步竞赛题，实用的下限约为 50–100 词。
章节敏感度： “Two-Person Speed” 部分对 Token 缩减最为敏感，从 R2 到 R6 下降了 34.5 个百分点，而概念性章节（Freshman/Sophomore, Junior/Senior）则更为稳健。

错误分析

对 197 个错误响应的定性分析显示，40% 的失败 是由于格式或提取问题（例如，未渲染的 LaTeX、未简化的分数）导致的，而非数学推理错误。这表明通过后处理可以挽回很大一部分此类错误，而无需重新训练。

意义与主张

本文声称是首个将 CoT 蒸馏应用于 John O'Bryan 数学竞赛语料库的研究，提供了一个低污染风险的可控环境。其主要贡献在于：

证明可行性： 证明了通过 LoRA 和早停法进行 CoT 蒸馏，可以有效地将大型模型（DeepSeek-R1）的推理能力转移到紧凑模型（Qwen2.5-7B）的特定领域数据上。
量化约束： 确定了响应长度是数学推理质量的关键因素，并为多步问题确定了一个实际的 Token 预算底线。
方法论严谨性： 强调了在小规模语料库微调中采用早停法的必要性，以及多种子验证对于稳定性的价值。

作者保持了谦逊的态度，指出由于约 30% 的错误率以及来自单一机构语料库的潜在偏差，该模型尚未准备好用于完全自主的教育用途。他们将该模型定位为“人机协作”工作流中的草稿工具，并建议未来的工作应侧重于多样化的语料库，以及针对压缩版 CoT 轨迹进行训练，以提高在严格 Token 约束下的表现。