🤖 machine learning

Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe

本文介绍了 Uni-OPD，这是一个统一的对策略蒸馏框架，它通过双视角策略解决了状态探索和教师监督中的瓶颈问题，并通过大量实验证明了其在多种大语言模型和多模态大语言模型场景下的有效性。

原作者： Wenjin Hou, Shangpin Peng, Weinong Wang, Zheng Ruan, Yue Zhang, Zhenglin Zhou, Mingqi Gao, Yifei Chen, Kaiqi Wang, Hongming Yang, Chengquan Zhang, Zhuotao Tian, Han Hu, Yi Yang, Fei Wu, Hehe Fan

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenjin Hou, Shangpin Peng, Weinong Wang, Zheng Ruan, Yue Zhang, Zhenglin Zhou, Mingqi Gao, Yifei Chen, Kaiqi Wang, Hongming Yang, Chengquan Zhang, Zhuotao Tian, Han Hu, Yi Yang, Fei Wu, Hehe Fan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位才华横溢但缺乏经验的学徒（即学生）如何解决复杂的谜题，例如数学问题或编写计算机代码。你拥有一位完全知晓答案的导师（即教师）。

过去，标准的教导方式是让学徒观察导师解决几个问题，然后尝试模仿。但这存在一个缺陷：学徒只会学习导师所走的“安全”路径。如果学徒陷入困境或走错方向，他们便不知道如何脱困，因为他们从未练习过如何在迷路后找到回来的路。

最近，一种名为**在线策略蒸馏（On-Policy Distillation, OPD）**的新方法被发明出来。学徒不再仅仅是模仿，而是尝试自己解决问题，导师则在一旁观察并对每一步提供反馈。这要好得多，但该论文的 authors 发现，这种方法仍存在两个主要的“故障”，阻碍了学徒变得真正卓越。

以下是他们如何通过新方法Uni-OPD修复这些故障的故事。

旧系统中的两个故障

1. “舒适区”问题（探索不足）
想象学徒正在练习数学。如果他们只练习自己已经擅长的题目，就会感到无聊且学不到东西；如果只练习不可能完成的题目，就会感到沮丧并放弃。
旧方法往往让学徒陷入“舒适区”，在那里他们要么只看到简单的题目，要么只看到完全失败的题目。他们没有去探索“金发姑娘区”（Goldilocks zone）——即那些棘手、有趣、真正发生学习的难题。

2. “困惑教练”问题（不可靠的监督）
想象导师正在提供反馈。通常他们会说：“这一步做得好！”或“那一步做得不好。”但有时，导师也会感到困惑。

情景 A： 学徒犯了一个错误，但导师不小心说了“做得好！”，因为该错误在另一种上下文中看起来像是一个正确的步骤。
情景 B： 学徒走在正确的轨道上，但导师却说“做得不好！”，因为该路径与导师惯用的风格略有不同。

当导师的反馈与最终结果相矛盾时（答案错了，但反馈却是积极的），学徒就会感到困惑并学到错误的教训。

Uni-OPD 解决方案：双重视角配方

作者创建了Uni-OPD，这是一个新的教学框架，通过从两个角度审视情况——学生的视角和导师的视角——来解决这两个问题。

视角一：帮助学生（“均衡饮食”策略）

为了解决“舒适区”问题，Uni-OPD 充当了学徒训练数据的严格营养师。

修复方案： 系统不再让学徒随意练习出现的任何题目，而是精心策划练习题目。它确保完美的混合：一些简单的题目，一些困难的题目，以及大量“中等难度”的题目，这些题目处于学徒能力的边缘。
类比： 这就像电子游戏。如果你只玩已经通关的关卡，你就无法进步；如果你只玩最终 Boss，你会瞬间死亡。Uni-OPD 确保你玩平衡混合的关卡，从而学会应对任何情况。它还确保在每一次练习中，学徒都能获得成功与失败的混合体验，从而学会如何从错误中恢复。

视角二：校准导师（“真理锚点”策略）

为了解决“困惑教练”问题，Uni-OPD 引入了一个“真理锚点”。

修复方案： 系统将导师的反馈与最终结果进行核对。如果导师说某一步“好”，但最终答案是错的，系统就会意识到导师感到困惑。随后，系统会在数学上“微调”反馈，使其与真理保持一致。
类比： 想象导师在迷雾森林中指引方向。有时他们会指错方向。Uni-OPD 就像一个知道目的地的 GPS。如果导师说“向北走”，但目的地在南边，GPS 会在学徒听到指令之前，温和地将导师的指令修正为“向南走”。这确保了学徒始终从可靠的信号中学习。

结果：学习的杰作

作者在 16 项不同的挑战中测试了这一新方法，范围从解决高级数学方程到编写代码和理解复杂图表。

结果： 接受 Uni-OPD 训练的学徒不仅学得更快，而且学得更好。他们正确解决的问题数量超过了接受旧方法训练的学徒。
通用性： 无论导师是单个专家还是专家团队，也无论任务是纯文本还是涉及图像和图表，该方法都有效。
“强到弱”的奇迹： 即使导师是庞大且超级聪明的模型，而学生是微小且简单的模型，Uni-OPD 也能帮助这个微小的学生比以往更有效地吸收大模型的脑力。

nutshell（一句话总结）

Uni-OPD就像升级了一个训练营。它通过提供完美的练习题目混合，防止学生感到无聊或不堪重负。同时，它充当导师的质量控制过滤器，确保给出的每一条建议都是真实且有益的。其结果是一个学得更快、犯错更少，并在数学、编程和逻辑领域成为真正专家的学生。

技术摘要：Uni-OPD

问题陈述

同策略蒸馏（OPD）已成为一种有前景的后训练范式，它通过结合同策略采样与 token 级监督，将多个专用专家模型的能力整合到单一学生模型中。然而，尽管取得了实证成功，可靠 OPD 改进所需的条件仍知之甚少。作者指出了限制有效 OPD 的两个根本瓶颈：

探索不足：学生模型往往无法探索具有信息量的状态，特别是多样化且难度适中的自生成轨迹。
教师监督不可靠：来自教师的 token 级指导在学生 rollout 中可能不可靠。具体而言，聚合的 token 级指导可能无法保持与结果奖励的顺序一致性（即正确的轨迹不一定获得比错误轨迹更高的聚合分数）。这种不一致可能由分布外（OOD）退化、对错误轨迹的过度估计或对正确轨迹的估计不足引起。

现有的 OPD 研究主要局限于大语言模型（LLM）或多模态大语言模型（MLLM）的有限子集，缺乏一个能够跨模态泛化并解决这些可靠性问题的统一框架。

方法论：Uni-OPD

作者提出了 Uni-OPD，这是一个专为 LLM 和 MLLM 设计的统一 OPD 框架。该框架采用双视角优化策略，分别针对学生的探索和教师监督的可靠性。

1. 学生视角：用于探索的数据平衡

为解决探索不足的问题，Uni-OPD 引入了两种互补的数据平衡策略：

离线难度感知数据平衡：不同于强化学习中常见的激进过滤“简单”（始终正确）或“困难”（始终错误）样本的做法（这会降低多样性），作者观察到训练数据通常遵循镜像的 J 形或 U 形难度分布。Uni-OPD 选择性地上采样中等难度样本（即在多次 rollout 中仅部分正确的样本）。这重塑了分布，使其更加均匀，保留了平衡的难度谱系，并确保学生接触到多样化的解决路径。
在线正确性感知数据平衡：为防止模型在 rollout 组缺乏结果多样性（例如所有轨迹均错误）时陷入局部最优，该方法在训练期间强制每个 rollout 组内包含正确和错误轨迹的平衡组成。这确保学生持续接收到有意义的对比信号。

2. 教师视角：结果引导的边界校准

为解决监督不可靠的问题，Uni-OPD 引入了一种机制，以恢复 token 级指导与结果奖励之间的顺序一致性。

轨迹级蒸馏回报：该方法定义轨迹级回报（ $G_{OPD}$ ）为教师与学生之间平均对数概率的差距。
顺序一致性准则：可靠的教师应为正确轨迹（ $S^+$ ）分配比错误轨迹（ $S^-$ ）更高的回报。作者将提示级边界 $m(q)$ 定义为正确轨迹的最小回报与错误轨迹的最大回报之差。
校准机制：如果边界 $m(q)$ $m (q)$ 低于安全阈值 $\delta$ $δ$ ，系统将应用以下两种策略之一：
- 边界掩码：丢弃顺序被违反的提示组（或贪婪地移除最具对抗性的轨迹），以确保训练仅在可靠的信号上进行。
- 边界偏移：对轨迹回报应用最小的加法修正，以将边界恢复至 $\delta$ 。具体而言，它将正确轨迹的回报向上偏移（或将错误轨迹的回报向下偏移），以强制执行顺序约束，而无需丢弃数据。

主要贡献

瓶颈识别：本文指出了当前 OPD 的核心局限性，即对信息量状态的探索不足，以及教师监督的不可靠性（特别是缺乏与结果奖励的顺序一致性）。
双视角优化方案：作者提出了一个统一框架，通过离线/在线数据平衡共同改善学生探索，并通过结果引导的边界校准改善教师监督。
全面验证：该方法在 5 个领域和 16 个基准测试中得到了验证，涵盖：
- 单教师和多教师蒸馏。
- LLM 与 MLLM 之间的蒸馏。
- 强到弱蒸馏（将能力从大模型转移到小模型）。
- 跨模态蒸馏（统一文本和多模态能力）。

实验结果

在 Qwen3 系列模型（LLM 和 MLLM）上进行的广泛实验证明了 Uni-OPD 的有效性：

性能提升：Uni-OPD 在数学推理、代码生成、逻辑推理和文档理解方面，始终优于标准 OPD 及其他基线方法（SFT、ExPO、ExOPD）。例如，在 LLM 的多教师蒸馏中，与标准 OPD 相比，Uni-OPD 将数学推理分数提高了 1.5%，代码生成提高了 3.4%。
强到弱蒸馏：Uni-OPD 有效地弥合了能力差距，使较小的学生模型（例如 1.7B 和 4B）能够吸收较大教师模型（例如 30B）的复杂推理行为，其表现显著优于标准 OPD。
跨模态能力：在跨模态设置中，Uni-OPD 成功地将仅文本和多模态教师的能力统一到一个单一的 MLLM 学生模型中，同时提升了文本代码生成和多模态数学推理能力。
效率：与强化学习（RL）基线相比，Uni-OPD 以更少的优化步数实现了更优越的性能，收敛更快，同时保持了高水平的推理能力。
消融研究：移除数据平衡策略或边界校准机制中的任一项都会导致性能下降，这证实了学生探索和教师可靠性都是成功的关键驱动因素。

意义与主张

本文主张 Uni-OPD 为可靠且可扩展的蒸馏提供了实践基础。其意义在于：

泛化性：它提供了一个统一的方案，适用于不同的模型规模（强到弱）、模态（文本和视觉）以及教师配置（单教师和多教师）。
可靠性：通过明确解决 token 级信号与结果奖励之间的顺序一致性问题，该方法稳定了训练过程，并防止了朴素 OPD 中常见的退化现象。
模态无关的推理：结果表明，通过 OPD 蒸馏的推理能力在很大程度上独立于模态，从而能够将专用专家高效地合并为单一的多功能推理器。

作者总结道，他们的工作为可靠 OPD 的机制提供了实践见解，并为未来在可扩展能力合并和智能体规划方面的研究开辟了途径。