🤖 AI

Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning

本文提出了用于自蒸馏的自适应教师暴露（ATESD），这是一种新颖的方法，它能够在在线策略训练过程中动态学习控制教师模型向学生揭示的特权推理量，从而解决暴露不匹配问题，并在具有挑战性的数学推理基准测试中显著优于现有的自蒸馏和强化学习基线方法。

原作者： Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位年轻学徒如何解决复杂的数学问题。你有一位天才大师（“教师”）和一名学生（“学生”）。实际上，两者是处于不同学习阶段的同一个人，但为了教学之便，我们将它们视为两个不同的角色。

在标准的教学方法（称为在线策略自蒸馏）中，大师会审视问题的完整完美解法——包括逻辑的每一步、棘手的公式以及最终答案——然后尝试引导学徒通过相同的步骤。

这篇论文的作者发现了这种方法的一个缺陷：大师往往对学生来说过于聪明。

问题所在：“过度暴露”的教师

可以这样理解：

场景 A（简单问题）： 问题是"2 + 3"。大师的完美解法说：“从 2 开始，数 3 个数，4、5，答案是 5。”这对学徒来说很容易理解。教学效果很好。
场景 B（难题）： 问题是一个复杂的二次方程。大师的完美解法直接跳入高级微积分、判别式和复杂公式。而尚在学习基础代数的学徒看着这一切，心想：“我完全不知道发生了什么。”

论文将这种现象称为教师侧暴露不匹配。当大师看到完整的高级推理（即“特权”信息）时，课程对学生来说变得太难而无法吸收。学生感到不知所措，学习过程随之停滞。

以往的方法假设“信息越多越好”。但这篇论文认为，过早地看到完整答案实际上会损害学习。

解决方案：ATESD（自适应教师暴露）

作者提出了一种名为ATESD的新系统。与其让大师始终看到完整解法，ATESD 更像是一个针对大师知识的智能过滤器或调光开关。

以下是其工作原理，使用了一个生动的类比：

1. 调光开关（暴露比率）
想象大师的解法是一束强光。

完全暴露（旧方法）： 光线刺眼（100%）。学生被晃得眼花缭乱，看不清路径。
自适应暴露（新方法）： 系统引入了一个“调光开关”（由一个名为 $\alpha$ $α$ 的数字表示）。
- 对于简单问题，开关调高（学生可以处理完整的逻辑）。
- 对于难题，开关调低（大师只向学生展示前几步或仅展示最终答案，隐藏复杂的中间部分）。

2. 智能教练（Beta 控制器）
系统如何知道何时调暗光线？它使用一个微小的智能 AI 教练（"Beta 策略控制器”）。

这位教练观察学生的进展。学生是否感到吃力？课程是否太简单？
基于这些线索，教练决定：“好吧，对于下一批问题，让我们向大师展示 50% 的解法”，或者“展示 20%"。
这不是固定规则；教练会实时学习并调整。

3. “静观其变”的奖励（延迟信用）
这是最棘手的一部分。如果你改变调光开关，你不会立即看到学生变聪明。学生需要几个练习轮次才能真正从调整后的课程中学习。

旧方法： 如果课程没有立刻变得更容易，教练会认为：“决定糟糕，把开关调回去！”
ATESD 方法： 教练更有耐心。它等待学生完成几个练习轮次。如果学生后来确实因为那个决定而变得更好，教练就会获得“奖励”。这教会教练做出有助于学生长远发展的决策，而不仅仅是为了当下的瞬间。

结果

作者在利用不同规模的 AI 模型（小、中、大型）进行的一些非常艰难的数学竞赛（如 AIME 和 HMMT）上测试了这种方法。

结果： 新方法（ATESD）始终击败了旧的“完全暴露”方法。
类比： 这就像意识到一位名厨不应该一次性向初学者展示所有秘密配料和技巧。通过在正确的时间展示适量的信息，学生能学得更快，更正确地解决问题。

总结

该论文声称，在 AI 推理中，隐藏教师的一些“秘密知识”实际上能让学徒学得更好。 通过使用智能系统来决定在任何给定时刻揭示多少解法，AI 就能成为一个比被迫每次都盯着完整且令人不知所措的答案时更有效的学习者。

技术摘要：LLM 推理中的自适应教师暴露用于自蒸馏（ATESD）

1. 问题陈述：教师侧暴露不匹配

尽管策略内自蒸馏（OPSD）已成为通过使监督与模型自身的 rollout 对齐来提升大语言模型（LLM）推理能力的主流方法，但本文识别出一个关键且此前未被审视的瓶颈：教师侧暴露不匹配。

在标准的 OPSD 中，“教师”（模型的冻结副本）在提供 token 级监督时，会基于完整参考解（特权思维链）进行条件设定。作者认为，这种默认假设——即“更多特权信息总是更好的监督”——存在缺陷。

不匹配现象：当完整参考推理远超学生当前的能力（在难题中很常见）时，生成的 token 目标会变得过于强烈，难以吸收。教师的预测分布变得过于尖锐，并集中在学生尚无法生成的 token 上，从而产生一种信息丰富但无法学习的监督信号。
实证证据：在 AIME 2024 上对固定暴露水平（ $\alpha \in [0, 1]$ $α \in [0, 1]$ ）进行受控扫描，揭示了两个关键模式：
1. 完全暴露的次优性：中等暴露水平（例如 $\alpha=0.5$ ）通常优于完全暴露（ $\alpha=1.0$ ）。
2. 单调的不匹配增长：随着教师看到更多特权推理，教师 - 学生分布不匹配（通过策略内 KL 散度和 top-1 不一致性衡量）呈单调增长。
3. 机制依赖性：最佳暴露水平随问题难度而变化（简单问题偏好完全暴露；难题偏好较低暴露），这表明单一的固定默认值是不够的。

2. 方法论：ATESD

为解决这一问题，作者提出了用于自蒸馏的自适应教师暴露（ATESD）。该框架将教师暴露视为一个可学习的、训练状态条件的控制变量，而非固定的超参数。

核心组件

暴露调制教师：
- 教师不再基于完整参考 $y^*$ 进行条件设定，而是基于截断前缀 $truncate(y^*, \alpha_t)$ 进行条件设定，其中 $\alpha_t \in [0, 1]$ 为暴露比率。
- 截断仅应用于推理前缀；最终的答案框始终被保留，以维持任务约束。
- 学生的 rollout 协议保持不变（从仅包含问题的提示中进行策略内采样），确保比较隔离了教师上下文的影响。
Beta 暴露控制器（ $\pi_\phi$ ）：
- 一个轻量级多层感知机（MLP）将紧凑的训练状态统计信息（例如最近的损失、不匹配指数移动平均、学生自置信度）映射到 Beta 分布的浓度参数 $(a_t, b_t)$ 。
- 控制器为 $H$ 个学生更新保持窗口 采样一个全局暴露比率 $\alpha_t$ 。这确保单个决策支配一个短周期，从而实现稳定的信用分配。
- Beta 分布被约束为单峰（ $a, b > 1$ ），允许策略以不同的置信度学习首选的暴露水平。
带延迟信用的闭环训练：
- 挑战：暴露决策影响学生未来的学习进展，而不仅仅是即时损失。高暴露决策即使导致暂时的损失激增，从长远来看也可能是有益的。
- 解决方案：控制器通过 REINFORCE 进行训练，使用折扣学习进展奖励。
- 奖励信号（ $R$ ）：由两部分组成：
  - $G_{lp}$ ：在前瞻窗口（ $L$ 步）内正损失改进的折扣总和。
  - $G_{gt}$ ：基于验证参考 token 对数概率的教师基础信用评分，确保所选暴露仍与真实标签对齐。
- 这种方法解决了策略内蒸馏中固有的延迟信用分配问题，避免了一步损失代理的短视偏差。

3. 主要贡献

教师侧暴露不匹配的识别：本文形式化了“完整特权推理并非普遍最优”的观察，并指出不匹配随暴露增加而增长，从而推动了从固定默认值向自适应控制的转变。
ATESD 框架：一种新颖的方法，通过 Beta 策略控制器将暴露建模为连续的可学习变量，采用双时间尺度调度（快速学生更新、慢速控制器更新）和延迟奖励信号进行训练。
实证验证：全面的实验表明，自适应暴露在不同模型规模和推理基准测试中，始终优于固定暴露和标准基线。

4. 实验结果

该方法在 AIME 2024、AIME 2025 和 HMMT 2025 上使用 Qwen3 模型（1.7B、4B 和 8B）进行了评估。

性能提升：ATESD 始终优于 OPSD 基线及其他 RL/蒸馏基线（SFT、GRPO）。
- Qwen3-1.7B：相比 OPSD 提升 +0.95 个 Average@12 分。
- Qwen3-4B：相比 OPSD 提升 +2.05 个 Average@12 分（达到 65.65 Average@12）。
- Qwen3-8B：相比 OPSD 提升 +2.33 个 Average@12 分。
消融研究结果：
- 延迟信用：移除延迟前瞻奖励（使用即时一步反馈）显著降低了性能（52.22 对比 59.17），证实了长视野信用分配的必要性。
- 学习策略与固定策略：学习到的策略（59.17）优于最佳固定暴露设置（57.44）和无控制的随机暴露（54.94），证明控制器学习的是动态策略，而不仅仅是选择静态的最优常数。
- 不匹配减少：在固定正轨迹上，自适应暴露降低了 token 级教师 - 学生 KL 散度（从 0.0136 降至 0.0061），表明其防止了教师对学生过度约束。

5. 意义与主张

本文主张自适应教师暴露是推理自蒸馏的一个有效新维度。通过将教师对特权信息的访问视为可控变量而非固定假设，ATESD 解决了 rollout 不匹配的监督侧类比问题。

作者强调，他们的贡献不仅仅是一个新的课程或不同的学生训练分布，而是教师如何基于参考解进行条件设定的根本性转变。该方法确立了：

完全暴露是一个次优的默认值。
暴露必须与学生当前的学习机制相匹配。
学习这种暴露需要类似于强化学习中使用的延迟信用分配机制。

本文结论指出，ATESD 为后训练推理模型提供了稳健且可扩展的改进，特别是在模型容量增加时，同时指出未来的工作可以探索基于样本难度的条件设定，并将其应用于数学竞赛之外的更广泛推理领域。