技术摘要：基于偏好的自蒸馏（PBSD）

问题陈述

策略内蒸馏（OPD）通过提供密集的、令牌级的训练信号，为大型语言模型（LLM）的后训练提供了一种比强化学习（RL）更高效的替代方案。然而，标准的 OPD 依赖于一个更强的外部教师模型，由于需要独立的架构和共享的词表，这在计算效率和可扩展性方面造成了瓶颈。

为解决这一问题，策略内自蒸馏应运而生，其中同一模型既充当教师又充当学生，教师通过让模型基于额外的特权上下文（例如专家演示或推理轨迹）进行条件化来实例化。尽管前景广阔，但现有的自蒸馏方法存在两个关键局限性：

1. 训练不稳定与性能下降：当前方法依赖于向基于上下文增强的教师进行直接的 Kullback-Leibler（KL）散度匹配。最近的分析表明，这可能会随时间推移主动降低推理性能，抑制认知性言语化（不确定性、自我检查），并导致过度自信、更短的推理轨迹。
2. 缺乏探索多样性：将同一模型的基于上下文增强的版本视为教师，假设教师是一个强大的预言机。然而，由于教师和学生共享相同的参数，这种监督往往缺乏真正更强的外部模型所提供的多样性和探索价值。

该论文认为，简单地通过 KL 匹配复制教师分布是次优的，因为它忽略了响应的潜在奖励结构。

方法论：基于偏好的自蒸馏（PBSD）

作者提出了基于偏好的自蒸馏（PBSD），这是一个通过奖励正则化视角而非固定教师 KL 匹配来重新构建策略内自蒸馏的框架。

1. 奖励正则化目标

PBSD 不再仅仅最小化学生 $\pi_\theta$ 与教师 $\pi_{\text{teach}}$ 之间的反向 KL 散度，而是优化一个平衡 KL 匹配与奖励最大化的联合目标：
$$\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [r(x, y)] - \beta D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{teach}}(\cdot|x))$$
其中 $r(x, y)$ 是潜在目标奖励，$\beta$ 控制正则化强度。

理论洞察：作者推导出，该目标的解析最优解并非教师分布本身，而是一个奖励倾斜的教师分布：
$$\pi^*(y|x) = \frac{\pi_{\text{teach}}(y|x) \exp(r(x, y)/\beta)}{Z(x)}$$
在奖励正则化目标下，只要奖励在教师支持的响应之间存在变化，该目标策略就被证明优于原始教师。教师作为支持分布（归纳偏置），而奖励则将概率质量重新加权至更高价值的行为。

2. 通过偏好学习进行优化

由于潜在奖励 $r(x, y)$ 未被观测到，PBSD 利用基于偏好的学习（受 DPO 启发）来优化该目标。

• 教师构建：教师 $\pi_{\text{teach}}(y|x)$ 定义为同一基础模型基于特权上下文 $c$ 的条件化（例如，$\pi(y|x, c)$）。
• 偏好对：对于每个输入 $x$，正样本 $y^+$ 由教师生成（条件更优），负样本 $y^-$ 由当前学生（策略内）生成。
• 损失函数：该方法使用 Bradley-Terry 模型最大化教师响应优于学生响应的概率：
  $$\max_{\theta} \mathbb{E} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+|x)}{\pi_{\text{teach}}(y^+|x)} - \log \frac{\pi_\theta(y^-|x)}{\pi_{\text{teach}}(y^-|x)} \right) \right) \right]$$
  这种公式有效地优化了教师与学生样本之间的“偏好差距”，同时保持策略内采样，无需显式的奖励模型。

3. 统计分析

论文对诱导出的偏好学习问题提供了统计分析。它确立了在以下情况下，基于上下文的自蒸馏在理论上优于从外部教师学习：

• 教师生成的正样本提供多样化的分数差距方向（涵盖学生当前分布之外的信息丰富方向）。
• 教师与学生之间的偏好边界保持适度。
  分析表明，局部样本复杂度由经验信息矩阵的最小特征值决定。基于上下文的自蒸馏自然地保持适度的边界（避免饱和），同时提供比纯自我复制更丰富的方向，从而产生更紧致的估计界限。

主要贡献

1. 奖励正则化目标：引入了一种平衡与教师的接近度与奖励最大化的自蒸馏目标，证明最优目标是被奖励重新加权的教师分布，而非教师本身。
2. PBSD 框架：提出了一种新颖的基于偏好的策略内自蒸馏框架，在无需外部教师或奖励模型的情况下优化教师与学生样本之间的偏好差距。
3. 理论依据：提供了统计分析，确立了基于上下文的自蒸馏优于从外部教师蒸馏的条件，特别是关于分数差距多样性与边界适度性之间的权衡。
4. 实证验证：在数学推理和工具使用基准测试中，证明了在多个模型规模（1.7B、4B、8B）上的一致性改进。

实验结果

作者使用 Qwen3 模型在数学推理（OpenThoughts 数据集，在 AIME 2024/2025、HMMT 2025 上评估）和工具使用（基于 ToolAlpaca 的设置）上评估了 PBSD。

• 性能：PBSD 在所有模型规模和任务上均取得了最强的平均性能。
  • 在 Qwen3-8B 上，PBSD 的数学平均分达到 65.2，优于基础模型（+3.7）和最强的基线 OPSD（+1.0）。
  • 在 Qwen3-4B 和 1.7B 上，PBSD 也取得了最高平均分，超越了 GRPO、DAPO 和 OPSD 等基线。
  • 在工具使用方面，PBSD 在所有规模上均取得了最佳 top-1 准确率（例如 8B 模型为 72.0%）。
• 稳定性：与经常早期达到峰值并随后退化的 OPSD 不同，PBSD 在 500 步预算期间展现了稳定的训练进展。
• 令牌效率：PBSD 保持了自蒸馏的令牌效率（每个提示一次 rollout），同时实现了与需要大量令牌预算的基于 RL 的方法（如 GRPO）相当或更优的性能。
• 消融实验：
  • 固定教师：发现将教师固定在初始化状态已足够且有效；每 5 步更新教师并未带来明显益处。
  • 探索：与直接 KL 匹配方法相比，PBSD 更好地保留了探索性推理行为（适度的完成长度），避免了陷入过度自信且过短的轨迹。

意义与主张

该论文声称，PBSD 通过将自蒸馏的令牌效率与偏好优化的稳定性和奖励感知能力相结合，解决了后训练范式中的一个根本性差距。

• 超越 KL 匹配：这项工作挑战了自蒸馏必须是直接分布匹配问题的假设。它提出，教师应定义有用行为的支持，而优化应通过奖励重新加权选择性地放大更高价值的响应。
• 可扩展性：通过消除对外部教师模型或奖励模型的依赖，PBSD 为民主化功能强大的开源智能体提供了一条可扩展路径，特别是在多轮推理和工具使用场景中。
• 鲁棒性：该框架提供了一个更稳健的目标分布，保留了探索性推理，并相比先前的自蒸馏基线实现了更稳定的优化。

作者总结认为，具有奖励感知能力的自蒸馏代表了推理导向 LLM 稳定且可扩展后训练的一个有前景的范式，有效地在不依赖外部资源的情况下弥合了密集监督与奖励优化之间的差距。