🤖 machine learning

DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models

本文提出了 DreOPD，一种针对流匹配模型的创新在策略蒸馏方法，该方法将隐式奖励外推转换为闭式速度回归，并利用退化参考来实现稳定且高性能的后训练，其表现优于标准的在策略蒸馏和多任务强化学习基线。

原作者： Mingfeng Lin, Chengfei Cai, Lin Xu, Yuxiang Wei, Liang Han

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingfeng Lin, Chengfei Cai, Lin Xu, Yuxiang Wei, Liang Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机正在学习绘画、写作和做梦的世界。长期以来，科学家们一直通过一种被称为“流匹配”（Flow-Matching）的方法来教导这些机器。你可以把它想象成一位雕塑家从一块充满噪声和静电感的大理石块开始，通过一点点凿去混沌，直到一尊完美的雕像显现出来。计算机学习在每一步中精确地预测如何去除噪声，从而根据文本描述创造出一幅美丽的图像。但问题在于：虽然这些数字雕塑家擅长做出“某些东西”，但它们并不总是擅长做出你“想要的东西”。它们可能在遵循复杂指令、在图片中写出正确的文字或让场景看起来具有美感方面表现挣扎。

为了解决这个问题，研究人员通常会尝试两种主要技巧。第一种是“强化学习”（Reinforcement Learning），这就像雇佣了一位严厉的艺术评论家，在每一次尝试后给计算机打分。计算机不断尝试，希望能获得更高的分数。问题是，这是一个混乱的过程。计算机可能会被反馈搞糊涂，或者如果你要求它同时学习三种不同的技能（比如写字、画动物和变得好看），这些指令就会发生冲突，导致计算机陷入停滞。第二种技巧是“蒸馏”（Distillation），这就像是一位大师级画家（老师）站在学生身边说：“完全照着我做。”这种方法稳定且安全，但学生永远无法超越老师；他们仅仅成为了一个副本。大问题在于：科学家们在问——我们能否教会一个学生不仅去模仿大师，而且去超越他们，尤其是当我们拥有多个不同专长的老师时？

这篇论文介绍了一种名为 DreOPD（退化参考外推式在策略蒸馏，Degraded-reference Extrapolative On-policy Distillation）的巧妙新方法来解决这个谜题。研究人员发现了一种结合了“模仿老师的稳定性”与“超越老师的野心”的方法。DreOPD 不仅仅是告诉学生去模仿老师的笔触，而是给了学生一个略微“不完美”或“退化”的老师版本进行对比。想象一下，一名学生在观察大师画作的同时，也在观察那幅画的一份略微模糊、低质量的复印件。通过测量模糊副本与清晰原件之间的差异，学生可以弄清楚应该向哪个方向推动自己的绘画，使其甚至比原作还要更好。

论文指出，通过使用这种“退化参考”，计算机可以计算出一条精确的数学路径，从而超越老师的能力。这就像拥有一个 GPS，它不仅告诉你老师在哪里，还指向远离老师“糟糕版本”的方向，引导学生直接走向一个新的、更优的目标。研究人员在强大的图像生成器（SD3.5-M）上测试了该方法，发现他们的算法使学生模型在大多数领域都超越了专门化的老师。例如，在正确计数物体（GenEval）或在图像中书写文本（OCR）等任务中，DreOPD 学生模型的得分高于其训练所用的专家模型。

论文明确排除了“仅仅复制老师就足以获得最佳结果”这一观点，同时也论证了标准的强化学习在尝试同时学习多种技能时往往过于不稳定且容易出错。相反，作者建议他们的“外推”方法——即利用优秀的老师与稍差的参考版本之间的差距——才是关键。他们通过具体的数值衡量了这一点：例如，在文本渲染测试中，他们的方法将得分从 0.9239 提升到了 0.9364，击败了老师。他们还展示了如果“退化参考”太弱，学生就得不到足够的推动；但如果太乱，学生就会感到困惑。他们发现，其中的平衡点在于轻微的退化，比如对老师输出进行 8 位量化（8-bit quantization），这提供了恰到好处的对比度，引导学生攀登新的高度。

简而言之，DreOPD 是一种全新的 AI 艺术家训练方式，它将“模仿”的概念转化为了“超越”。通过将一个略有瑕疵的老师版本作为跳板，学生学会了比老师跳得更远，创造出的图像不仅是优秀的，而且比其组成部分的总和更加出色。作者认为，这可能会成为让 AI 变得更可靠、更善于遵循指令以及创造更美艺术的变革性技术，且无需承受传统训练方法的混乱不稳定性。

技术摘要：DreOPD

问题陈述

流匹配（Flow-matching）模型已成为文本生成图像领域的主流范式。然而，将这些模型适配到多样化的下游目标（如提示词遵循、文本渲染、美学及人类偏好）通常需要进行后训练（post-training）。这种适配面临两个主要挑战：

目标冲突（Conflict of Objectives）： 特定任务的优化目标往往存在隐性冲突，使得单个模型难以同时提升多种能力。
现有后训练方法的局限性：
- 强化学习 (RL)： 虽然 RL 能够直接优化特定任务的奖励并实现超越现有模型的潜力，但轨迹级（trajectory-level）优化往往面临梯度方差高、奖励过度利用（reward exploitation）以及异构目标间相互干扰的问题。
- 在策略蒸馏 (On-Policy Distillation, OPD)： OPD 通过将学生模型的输出（rollouts）与教师模型的预测进行匹配，提供了密集且稳定的监督。然而，传统的 OPD 是基于模仿的；学生模型是在不同专业化教师之间进行插值，而非系统性地超越它们。

一个实际的问题在于：学生模型如何整合多个强大的教师模型，利用易于获取的较弱模型（例如早期检查点或退化版本），并实现超越教师本身的表现？

方法论：DreOPD

作者提出了 DreOPD（退化参考外推在策略蒸馏，Degraded-reference extrapolative On-Policy Distillation），该方法弥合了流匹配模型中稳定模仿与奖励外推之间的差距。

1. 从隐性奖励外推到闭式速度目标

其核心理论贡献是将奖励外推的分布级原理（此前已在自回归语言模型中建立）转化为流匹配原生的速度回归目标。

理论推导： 在共享协方差高斯转移的假设下，作者推导出了条件转移目标的闭式优化器。
目标值： 在学生访问的状态下，最优速度目标 $v^\star_\lambda$ $v_{λ}^{⋆}$ 由下式给出：
$v^\star_\lambda = v_T + (\lambda - 1)(v_T - v_{ref})$
其中 $v_T$ $v_{T}$ 是教师速度， $v_{ref}$ $v_{r e f}$ 是参考速度， $\lambda \ge 1$ $λ \geq 1$ 是外推强度。
- 当 $\lambda = 1$ 时，目标退化为教师模仿（ $v_T$ ）。
- 当 $\lambda > 1$ 时，目标沿着由教师-参考对比所定义的方向，移动到教师之外。
训练： 学生模型通过在策略回归进行训练，最小化其预测速度与该外推目标 $v^\star_\lambda$ 之间的距离，该过程基于其自身生成的轨迹。

2. 奖励解释与条件

论文阐述了在这种几何外推与奖励最大化保持一致的条件。

奖励倾斜假设（Reward-Tilt Assumption）： 如果教师是 KL 正则化奖励优化问题的解（即 $p_T \propto p_{ref} \exp(r/\beta)$ ），则教师-参考对数密度比可以恢复奖励信号。
单调性： 在此假设下，只要奖励是非恒定的，外推分布的期望奖励会随 $\lambda$ 的增加而单调递增。这证明了超越教师进行外推的正当性。

3. 利用退化参考放大外推效应

外推的幅度由向量 $(v_T - v_{ref})$ 决定。若参考值接近教师，则信号较弱。

策略： 作者引入了一个轻微退化的参考模型（ $v_{deg}$ ），以扩大教师-参考之间的对比度，同时保留生成器的结构完整性。
实现： 退化是通过受控的破坏实现的，例如权重量化（如 8-bit）或向基础模型的速度输出中注入轻微噪声。
理论依据： 命题 3 表明，在奖励对齐模型内，使用具有较低奖励对齐度（ $\rho_d < \rho_n < 1$ ）的参考模型，可以在不改变奖励方向的情况下，增加有效的奖励倾斜系数和局部奖励变化率。

4. 训练流程

训练循环（算法 1）针对任务进行迭代：

为特定任务采样提示词。
运行当前学生模型生成轨迹。
在访问的状态下查询特定任务的教师模型和共享的退化参考模型。
计算闭式外推目标 $v^\star_\lambda$ 。
通过向该目标回归来更新学生模型。

核心贡献

闭式目标推导： 作者推导出了一个闭式速度目标，将基于流的 OPD 从简单的教师模仿扩展到了奖励外推。
对比度表征： 他们表征了教师-参考对比度与奖励对齐相关的条件，并引入了受控的参考退化以增强这种对比度。
经验优越性： 在单教师和多教师设置下，DreOPD 在所有基准测试中均取得了最佳的平均性能，并超越了大多数专门化的教师模型。

实验结果

实验使用 SD3.5-M 在三个任务上进行：GenEval（组合提示词遵循）、OCR（文本渲染）和 Aesthetics（人类偏好）。

单教师蒸馏

DreOPD 优于标准的 OPD 基准（Flow-OPD, DiffusionOPD）以及专门化的教师模型本身。
指标： 它将 GenEval 从 0.9470（教师）提升至 0.9710，将 OCR 从 0.9239 提升至 0.9364，并将 HPSv2.1 从 0.3460 提升至 0.3497。
使用退化参考的模型相比非退化变体表现出持续的增益。

多教师蒸馏

在整合三个专业化教师的设置中，DreOPD 取得了最高的平均得分（0.9939），优于多任务 RL 基准（Flow-GRPO, GRPO-Guard, DiffusionNFT）和其他 OPD 方法。
它在 GenEval、OCR、HPSv2.1、Aesthetic 指标上超越了相应的教师模型，同时在 PickScore 和 ClipScore 上保持或匹配了性能。
消融实验证实，外推强度 $\lambda = 1.25$ 提供了最佳的跨任务平衡，且 8-bit 速度量化是最有效的退化策略。

意义与主张

本文声称 DreOPD 建立了将专门化流模型进行整合的有效奖励外推框架。通过将隐性奖励外推转化为闭式速度回归，该方法在保留在策略蒸馏稳定性的同时，实现了学生模型系统性地超越其教师。引入退化参考被强调为一种实用的机制，用于在不破坏生成结构的前提下增强外推信号。结果表明，单个模型可以通过训练在多个维度上表现出色，从而克服了典型的多任务 RL 或简单教师插值中所存在的权衡问题。