技术摘要：Relay-OPD（接力棒传递）

1. 问题陈述：在策略蒸馏中的前缀失效问题

在策略蒸馏（On-Policy Distillation, OPD）通过将强教师模型的知识落实到学生模型自身的生成轨迹中，从而提升知识迁移效率。然而，这种方法存在一个被称为**前缀失效（Prefix Failure）**的关键缺陷。在长链推理任务中，如果学生模型在生成初期就陷入了错误的推理方向，后续的所有 Token 都会基于这一偏差进行构建。这会导致产生长距离、误导性的延续，进而导致：

1. 从教师模型处获取不可靠且可能具有误导性的监督信号。
2. 在无法被纠正的轨迹上浪费大量的训练算力。

现有的补救措施存在结构性局限：

• 固定长度截断（如 FastOPD, ESR）： 无论实际推理失败发生在何处，都以僵化的位置切断生成过程。
• 离线重写（如 TRD）： 仅在生成完成后修复轨迹，通常会留下明显的痕迹。
• Token 级混合（如 SKD）： 基于通用的分布差异进行切换，而非基于明确的推理失败信号。

目前缺乏一种能够**在线（Online）**运行、在失败发生时即时介入，并专门基于推理状态本身进行干预的机制。

2. 方法论：Relay-OPD（接力在策略蒸馏）

作者提出了 Relay-OPD，该方法通过在检测到的失败点交替进行学生生成与短暂且有针对性的教师接管。

2.1 核心洞察：教师-学生延续性的不对称性

该方法依赖于在失败前缀上观察到的一种不对称性：

• 学生： 倾向于沿着当前的（错误）方向继续生成。
• 教师： 倾向于停止、重新审视并重定向推理（通常使用诸如“但是（But）”、“等等（Wait）”、“然而（However）”等反思性 Token）。

这种分歧构成了一个无标签的交接触发器（Label-free handoff trigger）。当教师最可能的下一个 Token 是反思性 Token，而学生的前 $K$ 个高概率集合（Top-$K$ support set）中不包含此类 Token 时，便会触发交接。

2.2 接力轨迹构建

当触发器启动时，教师会短暂接管以生成一段教师段落（Teacher leg），随后学生恢复生成。

• 交接触发器 ($\phi(h)$)： 定义为 $1[a_T(h) \in \mathcal{R}] \cdot 1[K_S(h) \cap \mathcal{R} = \emptyset]$，其中 $\mathcal{R}$ 是反思性 Token 集合，$a_T$ 是教师的 Top-1 Token，$K_S$ 是学生的 Top-$K$ 集合。
• 接力预算 ($M, L$)： 为了防止轨迹偏离学生策略过远，使用预算来限制干预：
  • $M$：最大教师接管次数。
  • $L$：教师在反思性 Token 之后生成的额外段落数量。
• 流程： 学生进行自回归生成。一旦检测到触发器（且预算未耗尽），教师生成 $L$ 个段落（以反思性 Token 开头）。随后，学生从修正后的前缀处恢复生成。

2.3 优化目标

Relay-OPD 在生成的接力轨迹 $z$ 上优化学生策略。与使用学生原始 Token 的标准 OPD 不同，Relay-OPD 使用来自接力轨迹的实际生成 Token $z_t$（包括教师生成的 Token）。
该目标使用类逆向 KL（Reverse-KL）的单样本优势函数：
$$A_t^{Relay} = \log \pi_T(z_t | h_t^z) - \log \bar{\pi}_\theta(z_t | h_t^z)$$
通过类 PPO 的截断损失进行优化，允许学生选择性地吸收教师的纠正信号，而不是完全拟合教师的分布。

2.4 高效实现

为了避免在两个生成流水线之间切换带来的开销，Relay-OPD 在**单一推测解码引擎（Speculative Decoding Engine）**中统一了整个过程：

• 学生充当草稿模型（Draft Model）。
• 教师充当目标模型（Target Model）。
• 引擎根据当前状态（学生段或教师段）动态切换目标策略 ($\pi_{tgt}$)。
• 教师段执行标准的针对教师的推测解码，而学生段接受所有草稿。这确保了接力轨迹的分布身份得到精确保留。

3. 核心贡献

1. 识别不对称性： 本文指出，教师-学生在失败前缀上的分歧是可靠的、无标签的干预信号。实验表明，纠正前缀失效仅需早期、局部干预，教师 Token 仅占总生成 Token 的 0.35%。
2. Relay-OPD 框架： 一种将此不对称性转化为有预算的接力生成过程的新方法，并在单一推测解码引擎中统一了学生与教师的生成。
3. 经验优越性： 在八个数学推理基准测试和两种学生规模（0.6B 和 1.7B）上均表现出色。

4. 实验结果

作者使用 Qwen3-4B-Instruct-2507 作为教师，Qwen3-0.6B/1.7B-Non-Thinking 作为学生，在八个基准测试（AIME 2024/2025/2026, MATH500, AMC 2023, OlympiadBench, HMMT Feb/Nov）上评估了 Relay-OPD。

• 性能表现：
  • 1.7B 学生： 在所有基准测试中取得了最好或第二好的结果。
    • 平均准确率：46.96%（对比标准 OPD 的 41.23%，提升了 5.73%）。
    • 超越了最强的基线模型 FastOPD 1.49%。
  • 0.6B 学生： 表现出持续的增益，比标准 OPD 的平均准确率提升了 3.01%。
• 效率：
  • 训练长度： 平均训练轨迹长度减少了 >50%（从 1.7B 模型的 4,658 个 Token 降至 2,296 个）。
  • 收敛速度： 在更少的步数内达到最佳检查点（Step 35 对比 OPD 的 Step 55）。
  • 推理： 与 FastOPD 相比，在提高准确率的同时，减少了 14–28% 的平均响应长度。
• 消融研究：
  • 教师段的必要性： 仅在触发时停止（Trigger-stop）的准确率为 43.48%；加入教师段（$L=3$）后提升至 46.25%，证明了修正上下文的价值。
  • 优化目标： 在生成 Token 上的类逆向 KL 目标优于“学生草稿 Token”目标和“教师 FKL”目标，证实了选择性吸收纠正信号的益处。

5. 意义与主张

本文声称，前缀失效是当前通过截断或重写方法无法动态解决的在策略蒸馏中的根本瓶颈。Relay-OPD 通过以下方式解决了这一问题：

• 在线运行： 在失败出现时即时纠正，而非事后处理。
• 最小化干预： 使用“接力”方法，教师仅进行短暂干预以实现重定向，使轨迹保持在学生策略分布附近。
• 高效性： 通过缩短轨迹并避免在不可恢复的错误上进行无效计算，显著降低了训练成本。

作者总结道，Relay-OPD 为推理任务中的强对弱蒸馏提供了一种鲁棒、无标签的机制，在大幅降低训练成本的同时，实现了最先进的性能水平。