技术摘要：通过直接在策略蒸馏实现弱到强的泛化

1. 问题陈述

基于可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）推理能力的主流范式。然而，RLVR 的计算成本极高，因为每一次训练更新都需要目标模型生成采样（rollouts）、接收可验证分数并更新其策略。随着模型规模的增加，生成这些采样的成本也随之增长，使得为每一个新的、更强的模型重新运行 RLVR 成为一个显著的瓶颈。

本文解决了**弱到强泛化（Weak-to-Strong Generalization）**的挑战：能否利用在较小的、较弱的“教师”模型上通过 RL 训练出的模型，来提升一个较大的、更强的“学生”模型？

• 朴素蒸馏的局限性： 仅仅对后 RL 阶段的弱教师模型的最终策略进行蒸馏（即在策略蒸馏，On-Policy Distillation 或 OPD）是不够的。教师的最终策略将通过 RL 学到的有用改进与较小模型的固有容量限制纠缠在一起。如果学生本身已经比教师更强，模仿教师的最终分布会通过覆盖掉学生原有的优越行为而导致性能下降。
• 核心问题： 如何将由弱模型诱导出的 RL 改进信号 转移到强模型中，而不继承弱模型的容量上限？

2. 方法论：直接在策略蒸馏 (Direct-OPD)

作者提出了 Direct-OPD，这是一种转移由 RL 在弱模型上诱导出的 策略偏移（policy shift），而非教师最终策略本身的范式。

2.1 核心信号：作为隐式奖励的策略偏移

Direct-OPD 并非训练学生去匹配教师的输出分布 $\pi_T$，而是通过对比后 RL 阶段的教师 $\pi_T$ 与其前 RL 阶段的参考模型 $\pi_{Tref}$，来隔离由 RL 引起的改变。
策略偏移定义为：
$$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$$
在 KL 正则化 RL 的框架下，该对数比例在数学上等价于训练教师的隐式奖励信号（在经过缩放因子和常数处理后）。因此，这对检查点 $(\pi_{Tref}, \pi_T)$ 在策略空间中直接编码了奖励信号。

2.2 目标函数

Direct-OPD 将这种偏移信号应用于学生自身的在策略状态。令 $\pi_\theta$ 为从 $\pi_S$ 初始化的学生策略。该目标函数优化学生以遵循教师的偏移方向，同时防止其偏离自身初始化过于远：
$$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$$

• 稠密隐式奖励： 项 $\Delta_T$ 作为一个稠密的、逐 Token 的奖励。对于状态 $s_t$ 处的 Token $v$，其即时奖励为 $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$。
• 在策略采样： 学生采样其自身的轨迹。梯度是在学生访问的前缀上计算的，确保信号被应用到学生实际遇到的状态上。
• Top-K 近似： 为了提高训练效率，该方法在每一步都将奖励计算限制在学生的前 $k$ 个 Token 内，并使用 Rao-Blackwellized 估计量来降低方差。

2.3 自适应 KL 控制

隐式奖励 $\Delta_T$ 的大小取决于教师的训练超参数（特别是 KL 预算 $\beta$），而这些参数对学生来说是未知的。固定的 KL 系数 $\alpha$ 可能无法在不同的教师-学生对之间实现鲁棒缩放。
作者引入了一个轻量级的自适应 KL 控制器，它根据加权偏移信号的批次级均值来调整 $\alpha$。如果平均偏移为正（表明教师的 RL 普遍增加了保留 Token 的概率），则增加 $\alpha$ 以防止过度放大；如果为负，则减小 $\alpha$ 以允许学生远离被抑制的 Token。

3. 主要贡献

1. 一种新的弱到强范式： 本文将小模型的 RL 重新定义为不仅仅是产生一个最终策略的来源，而是作为一个廉价的隐式奖励信号的生成器。通过在学生自身的态上评估教师的策略偏移，Direct-OPD 转移的是改进的方向，而非教师的容量。
2. 跨规模的一致性收益： 该方法能持续提升更强的学生模型，即使是使用较弱的教师。值得注意的是，它提升了那些初始性能已经超过后 RL 教师的学生（例如 R1-Distill-7B, Qwen3-4B），而在这种情况下，标准的蒸馏会导致性能下降。
3. 计算高效性： Direct-OPD 比直接在大型模型上运行 RL 要便宜得多。它利用了小模型 RL 的稳定性和速度，并仅增加了一个简短且廉价的转移阶段。
4. 顺序组合性： 该方法允许对来自不同教师对的多个策略偏移进行顺序组合，从而使单个学生能够累积不同的推理能力。

4. 实验结果

作者在数学推理基准测试（AIME 2024 和 AIME 2025）上，使用各种模型家族（Qwen3, R1-Distill, Nemotron）对 Direct-OPD 进行了评估。

• 弱到强转移：
  • Qwen3-1.7B： 在仅使用 8 张 A100 GPU 运行 4 小时后，通过从 1.5B 教师模型转移偏移，在 AIME 2024 上从 48.3% 提升至 58.3%。
  • 更强的学生： 成功提升了 R1-Distill-7B（初始 56.7%）和 Qwen3-4B（初始 72.5%），这两者的初始准确率都高于后 RL 教师（51.3%）。在这些情况下，标准 OPD 反而降低了性能。
• 与直接 RL 的比较：
  • 在匹配步数预算的情况下，通过 Direct-OPD 转移 1.5B 模型 RL 结果的效果，在准确率和计算时间上都优于直接在 7B 模型上运行 RL。
  • 转移阶段增加的时间（约 4 小时）相对于运行大规模直接 RL 所需的数周时间而言可以忽略不计。
• 顺序组合：
  • 将两个不同的策略偏移（来自 JustRL 和 QuestA 教师）顺序应用于 Qwen3-1.7B，产生了累积收益，将 AIME 2024 的准确率从 48.3% 推升至 63.8%。
• 泛化特性：
  • Token 重叠： 与标准 OPD 不同，Direct-OPD 不需要教师和学生之间具有高度的 Top-k Token 重叠。即使学生的思维模式与教师显著不同，该方法依然有效。
  • 时界（Horizon）： 短时界训练（2k tokens）能有效地泛化到长 Rollout，捕捉到可转移的信号，而不会受到极长序列噪声的影响。

5. 重要性与主张

本文声称，RL 的结果可以作为隐式奖励信号被重用于不同规模的模型，而不仅仅是作为最终模型被模仿。

• 重构 RL： 这项工作将 RL 训练的视角从产生一个“最终模型”转变为产生一个编码了奖励景观的“策略偏移”。这种偏移是一种可转移的资产，独立于生成它的特定模型容量。
• 可扩展性： 通过将昂贵的 RL 搜索（在小模型上完成）与最终部署（在大型模型上完成）解耦，Direct-OPD 为后训练推理模型提供了一条可扩展的路径，无需为每一个新的、更大的架构重新运行 RL。
• 鲁棒性： 该方法对模型家族和初始能力的差异具有鲁棒性，只要 RL 诱导的偏移在学生访问的状态上是有意义的。

作者总结道，Direct-OPD 提供了一种实用、高效且具有理论依据的机制来实现弱到强泛化，使得在不同模型规模和架构之间复用 RL 监督信号成为可能。