💬 NLP

How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

该论文针对现有利用强模型合成数据进行监督微调（SFT）时因风格差异导致推理模型性能下降的问题，提出了名为 TESSY 的教师 - 学生协作框架，通过交替生成风格与非风格令牌来合成既保留教师推理能力又符合学生分布的合成数据，从而显著提升了代码生成等任务的性能。

原作者： Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何给“聪明但性格古怪”的 AI 学生找一位好老师，并让他们完美配合的故事。

想象一下，你有一个非常有天赋但性格独特的小学生（学生模型，比如 Qwen3-8B），他擅长解题，但说话方式、思考习惯都很固定。现在，你想让他变得更厉害，于是你请来了一个**世界级的数学天才（老师模型，比如 GPT-OSS-120B）**来教他。

1. 遇到的问题：直接“抄作业”行不通

通常的做法是：让天才老师把解题过程（包括思路、步骤、最终答案）全部写下来，然后让学生照着背（这叫“监督微调”或 SFT）。

但是，论文发现了一个大坑：

风格冲突： 天才老师的解题思路虽然完美，但他说话的方式（比如喜欢用复杂的长句、特定的连接词、独特的语气）和小学生完全不一样。
后果： 如果强行让学生去模仿老师的“说话风格”，学生会感到极其困惑。就像让一个习惯用方言思考的孩子，突然被迫用莎士比亚的英语风格去写数学题。结果不仅没学会新东西，反而把自己原本擅长的解题能力给“忘”了，甚至考得更差（论文中提到的“灾难性遗忘”）。

2. 解决方案：TESSY 框架（师生合作模式）

为了解决这个问题，作者提出了一个叫 TESSY 的新方法。它的核心思想是：“分工合作，各展所长”。

我们可以把这个过程想象成两个人共同写一份“解题报告”：

老师（天才）负责“干货”： 只负责写解题的核心逻辑、数学公式、代码逻辑。这部分是“硬实力”，必须保证正确和高级。
学生（小学生）负责“包装”： 负责写连接词、过渡句、语气词（比如“让我们看看”、“嗯”、“举个例子”）。这部分是“软风格”，必须保持学生原本的习惯，让他读起来觉得亲切自然。

具体怎么操作呢？（就像接力赛）

学生先开口： 学生先说：“好吧，让我们看看这个问题……"（保持学生风格）。
老师接棒： 老师接着说：“首先，我们需要定义一个动态规划方程……"（输出核心逻辑）。
学生再插话： 学生接着说：“比如，如果我们去掉第一个字符……"（保持学生风格）。
老师再补充： 老师继续输出关键代码或推导。
循环往复： 两人像打乒乓球一样，你一句我一句，直到解题结束。
最后收尾： 最终的答案部分，完全由学生来写，确保整个回答的“人设”不崩。

3. 关键技术：如何知道什么时候该换人？

这里有个难点：怎么知道老师写的哪句话是“干货”，哪句话是“废话”？怎么知道学生什么时候该接话？

作者设计了一个**“边界预测器”（可以想象成一个智能裁判**）：

当老师或学生写了一段话后，裁判会立刻检查：“这句话是解题核心吗？还是只是语气词？”
如果是“废话”或“风格词”，裁判就把它截断，交给对方去写。
如果是“干货”，就保留下来。
通过这种“生成 - 检查 - 截断”的机制，确保写出来的每一段话都归对的人管。

4. 实验结果：效果惊人

论文在代码生成任务上做了测试：

传统方法（只让老师写）： 学生模型不仅没变强，反而在代码测试中成绩大跌（有的甚至跌了 10% 以上）。因为学生被老师的风格“带偏”了。
TESSY 方法（师生合作）： 学生模型的成绩大幅飙升（提升了 6% 到 11% 不等）。
结论： 既保留了老师的高超解题能力，又维持了学生原本舒适的思考风格，这才是最好的“因材施教”。

总结

这篇论文告诉我们：给 AI 模型“补课”时，不能生搬硬套强者的内容。

就像教孩子学画画，你不能直接把毕加索的画塞给孩子让他临摹，因为孩子的手法和理解力还达不到。最好的方法是：让毕加索教孩子“怎么观察光影”（核心能力），但让孩子用自己的笔触和色彩去表达（保持风格）。

TESSY 就是这样一个让“大师”和“学徒”完美配合的框架，既学到了真本事，又没有丢掉自己的个性。

这是一篇关于**如何微调推理模型（Reasoning Models）**的学术论文总结。论文提出了一种名为 TESSY (Teacher–Student Cooperation Data Synthesis) 的框架，旨在解决直接使用强模型生成的合成数据进行监督微调（SFT）时，因风格不匹配导致推理模型性能下降的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现状：通常使用更强的“教师模型”（Teacher Model）生成合成数据来微调较弱的“学生模型”（Student Model），以提升其能力。
痛点：对于新兴的推理模型（如 Qwen3-8B，具有显式的思维链/Thinking Process），直接使用强教师模型（如 GPT-OSS-120B）生成的数据进行 SFT，往往不仅无法提升性能，反而会导致性能显著下降（Catastrophic Forgetting 或分布冲突）。
核心原因：
- 风格分布差异 (Stylistic Divergence)：推理模型在预训练和微调过程中形成了独特的“思维风格”（如连接词、语气词、思考过程的叙述方式）。教师模型和学生模型在这些非核心推理的“风格 Token"上存在巨大差异。
- 分布冲突：强行让学生模型学习教师模型的风格，会干扰其原有的推理逻辑，导致“灾难性遗忘”。
- 现有方法局限：传统的知识蒸馏或简单的混合数据方法未能有效解决“能力”与“风格”的解耦问题。

2. 方法论：TESSY 框架 (Methodology)

论文提出了 TESSY (Teacher–Student Cooperation Data Synthesis) 框架，其核心思想是分工合作：由教师模型负责生成**能力相关（Capability）的内容，由学生模型负责生成风格相关（Style）**的内容。

2.1 核心设计

Token 分类：将输出序列分为两类 Token：
- 能力 Token ( $\mathcal{T}_{Cap}$ )：直接解决任务的逻辑、代码、数学推导等。
- 风格 Token ( $\mathcal{T}_{Sty}$ )：连接词、语气词、过渡句（如 "Okay, let's see", "Wait", "But" 等）。
交替生成机制 (Alternating Generation)：
- TESSY 在生成合成数据时，交替调用教师模型和学生模型。
- 学生模型生成风格片段（保持分布一致性）。
- 教师模型生成能力片段（保证推理正确性）。
- 生成序列形式为： $[s_1, t_1, s_2, t_2, ...]$ ，其中 $s$ 为学生生成的风格段， $t$ 为教师生成的能力段。

2.2 关键技术：生成与回滚 (Generate-then-Rollback)

为了解决“何时切换模型”的边界问题，TESSY 采用了生成后回滚策略：

预生成：当前模型先生成固定长度（如 $k=20$ ）的 Token 序列。
边界预测 (Boundary Prediction)：使用训练好的边界预测器（Boundary Predictor）判断该序列中最后一个“能力 Token"或“风格 Token"的位置。
- 对于教师模型，预测器识别最后一个能力 Token，截断后续的风格 Token。
- 对于学生模型，预测器识别最后一个风格 Token，截断后续的能力 Token。
截断与切换：根据预测结果截断序列，并切换生成模型，直到生成完整的思维链（Thinking Process）和最终答案。
最终答案：为了保证最终输出风格的一致性，最终答案（Final Answer）完全由学生模型生成。

2.3 训练目标

优化目标是将合成数据中的能力 Token 分布对齐教师模型，而风格 Token 分布对齐学生模型，从而在保留教师推理能力的同时，避免风格冲突。

3. 实验设置 (Experiments)

模型：
- 教师模型：GPT-OSS-120B（代码能力强）。
- 学生模型：Qwen3-8B（推理模型）。
- 对比基线：Teacher-Only（全教师生成）、Teacher-Score（拒绝采样）、Teacher-Think（教师思考学生回答）等。
任务：代码生成（LiveCodeBench-Pro, OJBench）及数学/科学问答（AIME, GPQA）。
数据：构建了 80K 条合成数据。

4. 关键结果 (Results)

性能提升显著：
- 直接使用 Teacher-Only 数据微调 Qwen3-8B，在 LiveCodeBench-Pro 上性能下降 3.25%，在 OJBench 上下降 10.02%。
- 使用 TESSY 微调后，Qwen3-8B 在 LiveCodeBench-Pro 上提升 11.25%，在 OJBench 上提升 6.68%。
泛化性：
- 更换不同的教师模型（DeepSeek-R1, Qwen3-235B）或学生模型（Qwen3-30B），TESSY 均能带来性能提升，证明了其通用性。
- 在跨域任务（数学、科学）上也表现出优于基线的性能。
数据质量与效率：
- 尽管 TESSY 中约 22.4% 的 Token 由较弱的学生模型生成，但其整体生成质量（在 40K 长度限制下）甚至超过了纯教师模型生成的数据。
- TESSY 生成的序列长度显著短于教师模型直接生成的序列（平均减少数千 Token），提高了训练和推理效率。
分布可视化：PCA 分析显示，TESSY 生成的数据分布成功地向学生模型分布靠拢，同时保留了教师模型的核心能力特征。

5. 主要贡献与意义 (Contributions & Significance)

揭示了推理模型微调的新挑战：首次明确指出，对于推理模型，风格分布的不匹配是导致 SFT 失败的关键因素，甚至比数据质量本身更重要。
提出了创新的合成数据框架：TESSY 通过“能力 - 风格”解耦和交替生成机制，成功解决了强教师与弱学生之间的分布冲突问题，为推理模型的持续进化提供了新路径。
实证了“推理模型作为起点”的必要性：实验表明，从 Base 模型开始微调不如直接从 Reasoning 模型开始微调，因为后者已具备宝贵的推理风格知识，TESSY 能更好地保留并增强这些知识。
开源贡献：论文开源了代码库 (CoopReason/TESSY) 和 80K 条高质量合成数据集，推动了社区对推理模型微调的研究。

总结

这篇论文的核心洞见是：在微调推理模型时，不能简单地将强模型生成的“完美答案”直接作为训练数据，必须尊重学生模型原有的“思维风格”。 TESSY 框架通过巧妙的“师生合作”机制，既借用了强模型的“大脑”（推理能力），又保留了弱模型的“口吻”（风格分布），从而实现了性能的大幅提升。这对于未来大模型的高效微调具有重要的指导意义。