🤖 machine learning

$\beta$ -OPSD: Deriving with Policy Optimization, Training with Self-Distillation

本文介绍了 $\beta$ -OPSD，这是一个将 KL 惩罚权重 $\beta$ 视为可调参数的原则性框架，通过对 logits 进行混合来近似参考模型与教师模型之间的最优策略插值，从而实现了高效训练，并显著提升了相比于原生 OPSD 的稳定性和推理性能。

原作者： Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人解决一道棘手的数学题。你有两种方法可以帮助它学习。第一种方法是让机器人尝试、失败，然后向它展示完美的解法，并要求它记住每一个步骤。这就像是一个学生在抄袭老师的作业。第二种方法是让机器人尝试，然后使用一位能看到答案解析的“超级教师”，对机器人写的每一个词进行即时反馈。这被称为“在策略自我蒸馏”（on-policy self-distillation）。这种方法非常强大，因为教师会针对机器人的具体错误做出反应。但问题在于，这种方法通常很脆弱。如果你过度逼迫机器人去模仿超级教师，它可能会感到困惑，忘记已有的知识，并开始胡乱猜测。这就像一个学生为了完美模仿天才而失去了自己的声音，不再独立思考。科学家们想知道：我们如何在不破坏学生自信心的前提下，获得超级教师带来的好处？

一篇新论文介绍了一个聪明的解决方法，称为 β-OPSD。研究人员意识到，使用超级教师的标准方式实际上只是一个更大范畴方法中的一个极端设置。他们发现了一个控制变量（称为 β），这个变量控制着机器人应该在多大程度上听从超级教师，以及在多大程度上坚持自己的现有风格。他们并没有强迫机器人直接跳跃到教师的水平，而是发现了一种方法，可以在机器人的现状与超级教师之间建立一条平滑的路径。他们还解决了第二个问题：当机器人在句子中间犯错时，这会影响后面所有的词。旧的方法只关注眼前的错误，但新方法则会观察整个过程，根据早期词汇如何塑造了最终结果来给予奖励（或惩罚）。通过结合平滑的学习路径和“前瞻性”信用分配系统，机器人学习得更加稳健，解决数学问题的能力也比以前更强。

问题所在：“太难”的老师

在人工智能领域，让模型变得更聪明通常涉及到一个过程，叫做在策略自我蒸馏。想象一下一个学生（AI 模型）正在写故事或解决数学题。当它书写时，一位“特权教师”（一个更聪明或者拥有答案解析的模型）会在一旁观察并说：“不，这个词应该是那个。”然后学生会尝试模仿教师的选择。

问题在于，这位老师太好了。如果学生试图立即模仿教师的完美答案，这就像是在学会走路之前就尝试跑马拉松。学生会被压垮，学习过程变得不稳定，机器人可能会开始做出奇怪、随机的错误。研究人员发现，标准的方法本质上是在强迫学生从一开始就完全匹配教师，这是一种非常脆弱的学习方式。

解决方案：一条平滑的学习曲线

来自马里兰大学的 Jiawei Xu、Minghui Liu 及其团队提出了一个新的思考方式。他们意识到，标准的方法只是更广泛学习策略中的一个特定设置。他们引入了一个变量 β (beta)，它就像是一个调节教师指导强度的音量旋钮。

当 β 较低（或为 1）时： 学生尝试完全复制教师。这是旧的、脆弱的方式。
当 β 较高时： 学生被允许更接近于自己当前的风格，只是缓慢地向教师的风格漂移。

论文表明，完美的学习方式并不是直接跳向教师。相反，最好的路径是几何插值。想象一下这就像是一个 GPS 路线。旧的方法试图将学生直接传送（teleport）到教师的位置。而新方法 β-OPSD 则在学生当前的位置和教师的位置之间画出了一条平滑的道路。

随着训练的进行，研究人员会对 β 的值进行“调度”。他们从一个非常接近学生的目标开始（安全且容易），然后逐渐将目标转向更像教师（具有挑战性且聪明）。这就像是一个视频游戏，从“简单”模式开始，然后逐渐提升到“困难”模式，而不是在第一天就把玩家扔进最高难度关卡。

秘诀：向前看

这里还有一个谜题的碎片。在旧的方法中，当学生在句子的第一个词上犯错时，系统只会责怪那个特定的词。但在语言中，第一个词会改变后续所有词的语境。如果你以“The cat”（那只猫）开头，下一个词很可能是“sat”（坐下）或“ran”（跑），而不是“pizza”（披萨）。

研究人员意识到，旧的方法是“近视”的（myopical）。它没有意识到早期的错误可能会毁掉整个句子。为了解决这个问题，他们加入了回报增量信用分配（return-to-go credit assignment）。

想象你在玩国际象棋。如果你在第 3 步走了一步烂棋，你可能直到第 20 步才会输掉比赛。旧的方法只会责怪第 20 步。而新方法会回溯并说：“嘿，第 3 步才是真正的问题，因为它导致了这场灾难。”通过根据早期词汇如何影响最终结果来给予信用（或惩罚），模型学会了从第一个词开始就更加谨慎。

研究发现

团队在数学推理基准测试（这相当于 AI 的数学奥林匹克）上测试了这种新的 β-OPSD 方法。他们使用的模型规模从小型（17 亿参数）到大型（80 亿参数）不等。

结果非常理想。在 Qwen3-1.7B 模型上，与旧方法相比，新方法在 AIME 2024 数学竞赛中的平均得分提高了 9.16 个百分点。它在 AIME 2025 和 HMMT 2025 等其他高难度测试上也看到了进步。即使在较大的模型上，新方法也始终优于旧的方法，这表明平滑的学习路径和“前瞻性”信用分配系统无论模型大小都同样有效。

研究人员指出，这种方法提供了一条从简单模仿到复杂优化的“原则性路径”。它不需要昂贵、缓慢的强化学习技巧；相反，它利用了策略优化的智能数学逻辑，创造了一种更好、更便宜且更稳定的方式，来教导 AI 模型如何进行推理。通过将一个僵化、脆弱的过程转变为一段平滑、受引导的旅程，他们让机器人成为了一个更好的学生。

技术摘要： $\beta$ -OPSD

1. 问题陈述

在策略内自蒸馏（on-policy self-distillation, OPSD）已成为提升大语言模型（LLM）推理能力的一种极具前景的技术。在标准的 OPSD 中，学生模型从其自身采样的轨迹中学习，同时接受来自“特权教师”（具有访问地面真值解或验证轨迹权限的同架构模型）的监督，该教师仅在训练期间可用。

然而，作者指出，原生的 OPSD 在实践中往往表现得较为脆弱，需要大量的工程努力才能可靠运行。核心问题在于，标准 OPSD 将教师视为唯一的优化目标，这隐式地固定了将学生锚定在其初始或参考策略上的正则化强度。这种僵化的公式缺乏一种机制来控制学生偏离其参考策略并向教师靠近的激进程度，从而经常导致不稳定或次优收敛。

2. 方法论

本文提出了 $\beta$ -OPSD，这是一个将策略内自蒸馏重新定义为更广泛的 KL 正则化策略优化问题家族的框架。该方法分为三个主要阶段进行：推导理论目标、将其转换为实际的蒸馏目标，以及优化信用分配（credit assignment）。

2.1. 理论推导：作为策略优化的 $\beta$ -OPSD

作者证明了原生的 OPSD 正是 KL 正则化策略优化家族中 $\beta = 1$ 的成员。他们定义了目标函数 $J_\beta(\theta)$ 为：
$J_\beta(\theta) = \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{p_T(y|x,c)}{\pi_{\text{ref}}(y|x)} \right] - \beta D_{KL}(\pi_\theta(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x))$
其中：

$\pi_\theta$ ：学生策略。
$p_T$ ：特权教师策略（以问题 $x$ 和特权信息 $c$ 为条件）。
$\pi_{\text{ref}}$ ：参考策略（例如初始学生模型）。
$\beta$ ：可控的正则化参数。

核心洞察： 当 $\beta=1$ 时，参考项会相互抵消，恢复出向教师进行的标准逆向 KL 极小化。对于 $\beta > 1$ ，目标函数变得更加保守，更严厉地惩罚对参考策略的偏离。

2.2. 最优策略与几何插值

作者推导出了该目标函数的闭式最优策略 $\pi^\star_\beta$ ：
$\pi^\star_\beta(y|x,c) = \frac{\pi_{\text{ref}}(y|x)^{1-1/\beta} p_T(y|x,c)^{1/\beta}}{Z_\beta(x,c)}$
该解代表了参考策略与特权教师之间的几何插值。参数 $\beta$ （特别是其倒数 $1/\beta$ ）作为一个权重，决定了在该路径上的位置。

$\beta = 1 \implies$ 目标是教师。
$\beta \to \infty \implies$ 目标趋近于参考策略。

2.3. 实际训练：调度 Logit 插值

由于序列级归一化因子 $Z_\beta$ 是难以计算的，且梯度方差较高，直接优化 RL 目标在计算上非常昂贵。因此， $\beta$ -OPSD 将理论解转换为高效的蒸馏目标。

局部近似： 由于序列级归一化因子难以处理，该方法通过线性插值参考和教师的 Logits，在每个解码前缀 $h_t$ 处近似最优策略：
$\tilde{p}_{\beta_k}(\cdot | h_t, c) = \text{softmax}\left( \left(1 - \frac{1}{\beta_k}\right) z_{\text{ref}} + \frac{1}{\beta_k} z_T \right)$
课程调度（Curriculum Scheduling）： 该方法并未固定 $\beta$ ，而是采用了一种调度方案，使教师权重 $w_k = 1/\beta_k$ 在训练步骤中从 $w_{\text{start}}$ 线性增加到 $w_{\text{end}}$ 。这创建了一个平滑的课程，从接近学生的分布开始，逐渐引入更强的教师引导。

2.4. 回报归因（Return-to-Go Credit Assignment）

标准的 Token 级 OPSD 更新是“短视”的，它将每个 token 的损失独立对待。这忽略了早期 token 的选择如何影响未来的前缀以及随后的不匹配。
为了解决这个问题， $\beta$ -OPSD 引入了 回报归因（return-to-go, RTG）。Token $t$ 的损失由沿轨迹的累积未来不匹配（折扣回报）进行加权：
$G_{t, \gamma} = \sum_{s=t}^{T} \gamma^{s-t} \rho_s$
其中 $\rho_s$ 是第 $s$ 步的对数比例不匹配。这确保了早期 token 能够为它们在序列后期引发的分布不匹配承担（或获得）信用，从而使 token 级的更新与序列级目标保持一致。

3. 核心贡献

理论统一： 本文确立了原生 OPSD 是更广泛的 KL 正则化策略优化家族中 $\beta=1$ 的特例，使隐式的正则化选择变得显式且可控。
$\beta$ -OPSD 框架： 它引入了一个广义目标，其中最优策略是参考策略与教师之间的几何插值，并通过调度的 Logit 插值在实践中实现。
高效训练算法： 作者提出了一种使用廉价的 token 级蒸馏来近似昂贵的 RL 派生解的方法，避免了使用复杂的 RL 机制（如优势估计）。
序列级对齐： 通过引入回报归因（return-to-go），纠正了标准 token-KL 更新的短视特性，为序列级目标提供了一个无偏估计量。

4. 实验结果

该方法在数学推理基准测试（AIME 2024, AIME 2025, HMMT 2025）上进行了评估，使用了参数规模从 1.7B 到 8B 不等的 Qwen3 模型。

性能提升： $\beta$ $β$ -OPSD 一致性地优于原生的 OPSD、SFT 和 GRPO 基线。
- 在 Qwen3-1.7B 上， $\beta$ -OPSD 比原生 OPSD 在平均性能（avg@12）上提升了 5.74 个百分点，其中在 AIME 2024 上的提升达到了 9.16 点。
- 在更大的模型（4B 和 8B）上，它保持了竞争性或更优的性能，分别提升了 1.76 和 1.66 个百分点。
消融研究：
- 目标分布： 使用调度的 Logit 插值目标取代固定的教师目标带来了显著收益（例如，在 AIME 2024 上提升了 +6.03 点），证实了平滑过渡的益处。
- 信用分配： 使用回报归因（return-to-go）权重而非局部 token 梯度提高了性能（例如，在 AIME 2025 上提升了 +5.55 点），验证了具备未来感知能力的更新的重要性。
- 参考构造： 使用动态学生（当前模型）和固定教师（特权教师）取得了最佳性能，这表明在追踪不断演进的学生分布的同时保持稳定的监督锚点是最优的选择。

5. 意义与主张

本文声称提供了一条“从自蒸馏到策略优化再回到自蒸馏的原则性路径”。其主要意义在于：

稳定性： 通过将 $\beta$ 作为可控参数，该方法解决了原生 OPSD 的脆弱性，允许进行更平滑的优化，在靠近参考策略与接受教师引导之间进行权衡。
高效性： 它实现了策略优化的收益（序列级目标、KL 正则化），而无需承担完整 RL 的计算成本，保留了标准蒸馏的高效性。
泛化性： 该方法提供了一种缩小学生与教师之间分布差距的机制，这对于分布差距较大的较小模型特别有益。

作者总结道，平滑的目标路径和轨迹级信用分配是有效的策略内蒸馏原则，为直接模仿教师提供了一种鲁棒的替代方案。