技术摘要：vOPD（带控制变量基线的同策略蒸馏）

1. 问题陈述

同策略蒸馏（OPD）已成为大语言模型（LLM）后训练的主导范式，尤其在推理领域。与依赖稀疏终端奖励的验证奖励强化学习（RLVR）不同，OPD 利用密集的 token 级信号，最小化学生模型与教师模型之间的反向 Kullback-Leibler（KL）散度。这使得训练速度更快，并能有效处理长思维链（CoT）任务。

然而，OPD 在实践中面临一个关键的稳定性问题。标准实现使用单样本蒙特卡洛估计器来近似梯度。这种方法存在高梯度方差，导致训练动态不稳定。现有的稳定化方法试图缓解这一问题，但引入了显著的权衡：

• 全词表 OPD（$OPD_{full-V}$）： 计算整个词表上的 KL 散度。虽然这消除了方差，但每一步都产生不可接受的计算开销（需要对整个词表进行反向传播，例如约 15 万个 token）。
• Top-k OPD（$OPD_{top-k}$）： 将 KL 计算限制在最可能的 top-$k$ 个 token 上。虽然更轻量，但这通过截断支持域在梯度中引入了偏差，且实证结果表明，其性能提升相对于不稳定的基础 OPD 仅微乎其微。

核心挑战在于：在不牺牲单样本估计器的计算效率或不向目标函数引入偏差的情况下，稳定 OPD 训练。

2. 方法论：vOPD

作者提出了vOPD（带控制变量基线的同策略蒸馏），将 OPD 重新表述为策略梯度强化学习（RL）问题，并应用了一种标准的方差缩减技术：减去控制变量基线。

2.1 理论基础

在策略梯度 RL 中，从奖励 $r_t$ 中减去基线 $b_t(c_t)$ 会得到优势函数 $a_t = r_t - b_t$。关键在于，如果基线与采样的动作无关，则梯度保持无偏，但其方差会降低。基线的标准选择是价值函数 $V^{\pi}(c_t)$。

vOPD 的关键洞察在于，对于 OPD 而言，价值函数存在一个闭式解，无需额外的评论家模型或推理：
$$V^{\pi_\theta}(c_t) = \mathbb{E}_{y_t \sim \pi_\theta} [r_t(c_t, y_t)] = -D_{KL}(\pi_\theta(\cdot|c_t) \parallel \pi_T(\cdot|c_t))$$
此处，奖励定义为 $r_t = \log \pi_T - \log \pi_\theta$。在学生分布下的期望奖励， simply 就是该上下文下学生与教师之间负的反向 KL 散度。

2.2 算法实现

vOPD 梯度估计器表述为：
$$\nabla_\theta J_{vOPD} = \mathbb{E} \left[ \sum_{t} \left( r_t(c_t, y_t) + D_{KL}(\pi_\theta \parallel \pi_T) \right) \nabla_\theta \log \pi_\theta(y_t|c_t) \right]$$

• 无偏性： 基线（KL 项）是基于分布 $\pi_\theta$ 和 $\pi_T$ 计算的，但在关于采样 token $y_t$ 的梯度流中是断开连接的。因此，梯度保持无偏。
• 效率： KL 基线在前向传播过程中计算（这本身也是奖励计算所必需的）。反向传播仍然只触及单个采样的 token，保留了基础 OPD 的计算效率。
• 方差缩减机制： 基线充当正则化项。当学生和教师分布强烈不一致（高 KL）时，奖励 $r_t$ 为较大的负值。基线 $D_{KL}$ 为较大的正值，有效地抵消了负奖励，并抑制了导致不稳定的重尾梯度。

2.3 Top-k 近似（$vOPD_{top-k}$）

为了进一步降低计算全词表 KL 的前向传播成本，作者提出仅使用学生的 top-$k$ 个 token 来近似基线。

• 与使用 top-$k$ 支持域来替换损失目标（从而引入偏差）的 $OPD_{top-k}$ 不同，$vOPD_{top-k}$ 仅将 top-$k$ 近似用于基线。
• 由于基线与采样 token 断开连接，无论 $k$ 值如何，梯度均保持无偏。
• 实证表明，即使很小的 $k$（例如 $k=5$）也能提供足够的方差缩减以稳定训练。

3. 主要贡献

1. 闭式价值基线： 论文证明了 OPD 的价值函数恰好是负的反向 KL 散度，使其可以直接从前向传播中获得，无需额外模型。
2. 无偏稳定化： vOPD 通过减少梯度方差来稳定训练，同时保持单样本蒙特卡洛估计器的无偏性，这与使目标产生偏差的 top-k 变体不同。
3. 计算效率： vOPD 保留了基础 OPD 的单 token 反向传播。$vOPD_{top-k}$ 变体进一步降低了前向传播成本，与全词表方法相比，提供了更优的精度与计算权衡。
4. 理论分析： 作者提供了推导，证明方差缩减与 KL 散度的平方成正比，证实该方法专门针对导致不稳定的高不匹配 token。

4. 实验结果

作者在四个模型（Qwen3-1.7B、4B 和 Olmo-3-7B）上评估了 vOPD，涵盖了六个推理基准（MATH500、Minerva Math、AMC23、AIME24/25、SciKnowEval、GPQA-Diamond）。

• 性能提升： vOPD 始终优于基础 OPD。
  • 在 MATH500 上，vOPD 相比基础 OPD 实现了高达 +6.2% 的绝对增益。
  • 在所有基准测试中，vOPD 变体相比基础 OPD 平均提升了 +3%。
  • vOPD 的性能达到或略高于 $OPD_{full-V}$（最昂贵的方法），同时速度快得多。
• 与稳定化变体的比较：
  • $OPD_{top-k}$ 相比基础 OPD 仅产生微乎其微的增益（例如平均 +0.4%），证实了偏差问题。
  • vOPD 变体显著优于 $OPD_{top-k}$，并与 $OPD_{full-V}$ 相当。
• 效率：
  • 与 $OPD_{full-V}$ 相比，vOPD 将挂钟时间减少了高达 57.7%。
  • $vOPD_{top-k}$ 效率最高，提供了最佳的精度与计算权衡。
• 稳定性指标：
  • 梯度范数： vOPD 将梯度范数维持在比基础 OPD 低 1–2 个数量级的水平，证实了对噪声和不稳定梯度的抑制。
  • 超参数敏感性： 性能在不同 $k$ 值（5 到 100）下保持稳定，即使是粗略近似（$k=5$）也提供了足够的稳定性。

5. 意义与主张

论文声称，vOPD 通过提供一种** principled（有原则的）、高效的稳定同策略蒸馏方法**，弥合了强化学习与知识蒸馏之间的鸿沟。

• 机制： 它识别出单样本估计器的高梯度方差是 OPD 不稳定的根源，并利用源自问题自身结构（即 KL 散度）的控制变量基线解决了这一问题。
• 实际影响： 它提供了一种可即插即用的基础 OPD 替代方案，无需额外模型（评论家）或昂贵的反向传播，使其适用于计算效率至关重要的工业级后训练场景。
• 泛化性： 该方法被证明在不同模型规模、架构（Qwen、Olmo）和推理领域（数学和科学）中均具有鲁棒性。

作者总结道，vOPD 作为不稳定的奖励 token 上的有原则正则化项，将 OPD 从一种不稳定的启发式方法转变为一种可靠的训练范式，同时没有牺牲使其最初具有吸引力的效率。