💬 NLP

SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling

本文介绍了符号门控在策略蒸馏（Sign-Gated On-Policy Distillation, SG-OPD），该方法通过利用二进制验证器，通过分阶段采样和符号一致性检查来对教师信号进行门控，从而增强了在策略蒸馏，进而显著提升了在竞赛级数学推理基准测试上的性能。

原作者： Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名年轻的学徒（学生）如何解决复杂的数学谜题。你有一位精通答案的数学大师（老师），但学徒才刚刚起步，经常会迷失方向。

这篇论文介绍了一种新的教学方法，叫做 SG-OPD。为了理解为什么它如此特别，让我们来看看旧方法的缺陷以及 SG-OPD 是如何修复它们的。

问题：旧方法失败的两种方式

此前，研究人员尝试了两种主要的方法，但两者都隐藏着陷阱：

“幽灵”问题（轨迹不匹配）：
想象一下，学徒非常初级，以至于他们对解题的最初尝试完全是混乱且错误的。如果你强迫他们立即模仿大师完美的解法，那么大师的指令对学徒来说将毫无意义，因为他们的起点差异太大了。这就像试图通过展示一篇博士论文来教一个蹒跚学步的幼儿微积分。由于学生落后太多，来自老师的“信号”会被噪声淹没。
“坏建议”问题（Token 可靠性）：
即使学徒已经走上了正确的轨道，大师在每一步也不是完美的。有时，大师可能会偏好某个特定的词或数字，而这个词或数字实际上会将学生引向错误答案，即便最终结果看起来没错。如果学生盲目地模仿大师的每一个动作，他们可能会因为仅仅是因为大师这么说了就学会走弯路，直到后来才意识到那是一个死胡同。

解决方案：SG-OPD（聪明的教练）

作者提出了 SG-OPD，它像是一位聪明的教练，使用一个 二元验证器（一个简单的“正确/错误”检查器）来决定何时信任大师，以及何时忽略大师。这分为两个阶段：

1. 热身阶段：“安全网”（分阶段教师采样）

隐喻： 当学徒刚刚开始（“冷启动”）时，他们在黑暗中徘徊。教练会从大师的笔记本中引入一些经过验证的示例——仅限于那些检查器确认绝对正确的示例。
运作方式： 在开始阶段，学生通过学习这些安全的、经过验证的大师示例来站稳脚跟。随着学生变得越来越好，教练会逐渐停止向他们展示大师的笔记，并强迫他们进行自主练习。这弥合了学生早期混乱的尝试与大师完美逻辑之间的差距。

2. 逐步阶段：“信任信号”（符号一致性门控）

隐喻： 现在学生正在独立解决问题。教练会观察学生写的每一个词（token）。
- 场景 A（一致）： 学生写出了一个步骤，检查器说“做得好！”（正向信号），同时大师也说“做得好！”（正向信号）。
  - 行动： 教练大喊：“尽管去做吧！” 并告诉学生要进一步放大这一步的影响。这被称为外推（Extrapolation）。
- 场景 B（冲突）： 学生写出了一个步骤，检查器说“做得好！”（正向信号），但大师却说“我不喜欢这个词，改掉它”（负向信号）。
  - 行动： 教练说：“等等，别听大师的。” 学生忽略大师针对这一特定步骤的负面反馈，并保持检查器认可的方向。这被称为内插（Interpolation）。

为什么它效果更好

论文在困难的数学竞赛（如 AIME 和 HMMT）上测试了该方法。以下是研究发现：

更高的分数： SG-OPD 一致地优于标准方法。平均而言，与旧方法相比，它显著提高了“通过率”（至少得到一次正确答案的概率）。
稳定性： 当研究人员尝试让旧方法变得“更具侵略性”（推动学生学习得更快）时，旧方法崩溃并失败了。然而，SG-OPD 却保持了稳定并持续进步，因为它清楚地知道何时该信任大师，以及何时该忽略大师。
无“崩溃”现象： 在某些 AI 训练中，过度压榨会让模型停止探索，转而只是重复同样的枯燥答案。SG-OPD 在获得高分的同时，仍能保持学生思维过程的多样性和创造性。

总结

SG-OPD 是一种教学策略，它使用一个简单的“正确/错误”检查器来充当过滤器。它利用大师的知识让学生安全入门，但随后利用检查器来决定，在每一步中，大师的建议究竟是有帮助的，还是在误导学生。这使得学生能够比以前学得更快、更准确。

技术摘要：符号门控在策略蒸馏 (Sign-Gated On-Policy Distillation, SG-OPD)

1. 问题陈述

本文针对在策略蒸馏 (On-Policy Distillation, OPD) 的局限性进行了研究。OPD 是一种通过更强的教师模型为学生模型提供密集的逐 Token 监督，使其在其自身轨迹上进行训练的技术。虽然 OPD 通常优于离策略蒸馏和标准的强化学习 (RL)，但作者发现其有效性依赖于两个在实践中经常失效的隐性假设，特别是在强到弱的设置中（例如，将大型推理模型蒸馏到小型模型中）：

脆弱的轨迹级对齐 (Fragile Trajectory-Level Alignment)： 在冷启动场景下，弱学生模型的生成轨迹往往远离教师模型的轨迹支持集。因此，逆向 KL 散度（reverse-KL）信号会被噪声而非信息性监督所主导，导致训练初期不稳定。
非均匀的 Token 级可靠性 (Non-Uniform Token-Level Reliability)： 即使是在被外部验证器验证为正确的轨迹上，教师模型的逐 Token 偏好也可能与“验证器正确”的方向相矛盾。教师可能会降低某些在有效解路径中必不可少的 Token 的概率。盲目放大这些 Token 上的逆向 KL 梯度会惩罚有效的轨迹。

2. 方法论：SG-OPD

作者提出了符号门控在策略蒸馏 (Sign-Gated On-Policy Distillation, SG-OPD) 框架，该框架利用二元验证器作为教师模型在两个互补粒度上的信任信号：样本级 (sample level) 和 Token 级 (token level)。

A. 样本级：阶段性教师采样 (Phased Teacher Sampling, PTS)
为了解决冷启动时的轨迹级对齐失败问题，SG-OPD 引入了一个基于经验证的教师生成轨迹的辅助损失函数。

机制： 在训练早期阶段，将小批量数据进行拆分。一部分提示词（prompts）从教师模型 ( $\pi^*$ ) 中采样，并且仅保留被验证为正确的轨迹。这些轨迹通过交叉熵 (Cross-Entropy, CE) 损失作为“锚点” (anchor)。
退火 (Annealing)： 这种教师引导由一个三阶段余弦调度函数 ( $\alpha(t)$ ) 进行加权。它在冷启动期间权重较高，以弥合分布差距，并随时间衰减至零，从而确保渐近训练分布完全保持为在策略（由学生生成的）分布。

B. Token 级：符号一致性门控 (Sign-Consistency Gating)
为了解决 Token 级的可靠性失败问题，SG-OPD 根据验证器的结果信号与教师的偏好信号之间的协议情况来路由更新。

信号：
- $a_1(t)$ ：来自二元验证器（例如 GRPO 风格）的结果级优势函数，指示轨迹是否正确。
- $a_2(t)$ ：来自教师模型的逆向 KL 优势函数（OPD 信号）。
门控： 定义一个二元门控 $g_t = 1[a_1(t) \cdot a_2(t) > 0]$ $g_{t} = 1 [a_{1} (t) \cdot a_{2} (t) > 0]$ 。
- 共识 Token (Consensus Tokens, $g_t=1$ )： 验证器与教师在方向上达成一致。这些 Token 通过更高的外推强度 ( $\lambda_{high}$ ) 进行外推 (extrapolation)（放大更新）。
- 冲突 Token (Conflict Tokens, $g_t=0$ )： 信号不一致（例如，教师抑制了一个会导致正确答案的 Token）。这些 Token 进行内插 (interpolation)（软化更新）或被屏蔽，从而防止学生被推离已验证的解路径。
稳定性： 应用脱离梯度的裁剪权重 (detached clipping weight) 以防止巨大的离群优势值主导梯度。

最终的目标函数结合了 Token 级的门控策略梯度损失与阶段性样本级教师锚点损失。

3. 核心贡献

识别失效模式： 本文明确识别并分析了 OPD 的两个结构性局限：冷启动时轨迹级对齐的脆弱性，以及即使在正确轨迹上教师偏好也存在非均匀可靠性的问题。
SG-OPD 框架： 提出了一个将二元验证器视为信任信号的两粒度框架。它结合了用于稳定冷启动的阶段性教师采样 (PTS) 和用于选择性地根据信号一致性进行外推或内插 Token 更新的符号一致性门控 (Sign-Consistency Gating)。
实验验证： 在竞赛级数学推理基准测试上的广泛实验表明，SG-OPD 一致地优于标准 OPD 和外推变体 (ExOPD)，特别是在均匀外推会导致训练崩溃的场景下。

4. 实验结果

实验使用 Qwen3-1.7B 作为学生模型，Qwen3-4B-Non-Thinking-RL-Math (step 500) 作为教师模型，并在四个基准测试上进行了评估：AIME24, AIME25, HMMT25-Feb, 以及 HMMT25-Nov。

性能提升： SG-OPD 在所有指标上均取得了最高平均得分。
- avg@32： 29.53%（比 OPD 高出 +1.98，比 ExOPD 高出 +1.54）。
- pass@32： 59.17%（比 OPD 高出 +7.50，比 ExOPD 高出 +5.00）。
消融实验：
- 研究发现符号一致性门控扩大了外推强度的“安全范围”。虽然均匀外推 (ExOPD) 在高 $\lambda$ （如 $\lambda=1.8$ ）时会发生崩溃，但 SG-OPD 在相同的强度下仍能保持或提升性能。
- 仅使用 PTS 也能比 OPD 提升性能，但 PTS 与符号门控的结合产生了近乎叠加的增益，证实了它们的正交性。
训练动态： 与 OPD 和 ExOPD 相比，SG-OPD 实现了更高的训练奖励并保持了更高的策略熵，这表明门控机制在放大共识的同时并未导致探索崩溃。

5. 重要性与主张

本文声称，通过显式处理学生轨迹与教师偏好之间的失配，SG-OPD 为在策略蒸馏提供了一种更稳健、更稳定的方法。

信任信号： 它证明了二元验证器可以作为一个可靠的信任信号，允许模型在教师不可靠时“退后”（冲突 Token），并在两者一致时“前进”（共识 Token）。
稳定性： 该方法在会导致均匀外推方法发散的外推强度下依然保持稳定，有效地将“无法训练”的场景转化为高性能场景。
适用范围： 作者指出，目前的验证局限于带有二元验证器的数学推理任务。他们认为该方法可以推广到其他具有验证器风格的任务（如带有单元测试的代码），但也承认对于那些最终答案错误但中间步骤有用的任务，引入过程级证书（step-by-step verification）将是必要的扩展。

这项工作被视为对蒸馏流水线的方法论改进，为解决强到弱蒸馏设置中观察到的特定结构性失效模式提供了解决方案。