💻 computer science

STEP-OPD: Rethinking Output Targets and Internal Dynamics in On-Policy Distillation for Diffusion Models

STEP-OPD 是一种针对扩散模型的创新型在策略（on-policy）蒸馏框架，它通过利用速度外推将输出目标扩展至教师模型之外，并显式对齐内部表示的演化过程来增强学生模型的学习，从而使统一的学生模型能够在组合对齐、文本渲染和人类偏好指标方面超越单任务教师模型。

原作者： Qingyan Wei, Guangzhao Li, Xiaobing Tu, Yinggui Wang, Xiantao Zhang, Jinkui Ren, Xiaohong Liu, Linfeng Zhang

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qingyan Wei, Guangzhao Li, Xiaobing Tu, Yinggui Wang, Xiantao Zhang, Jinkui Ren, Xiaohong Liu, Linfeng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何绘画。你不仅仅想让它模仿单一的杰作；你希望它学会绘制任何东西——风景、肖像、文字和复杂的场景——通过学习一支专家艺术家团队。这就是**扩散模型（diffusion models）**的世界，这是一种通过将随机的静态噪声缓慢转化为清晰图像来创建图像的人工智能，就像雕塑家通过凿去石头来揭示雕像一样。

为了让这些机器人变得更好，科学家们使用了**蒸馏（distillation）**技术。你可以将其想象成一种师徒关系。“老师”是一个经过高度训练、能够完美完成特定任务的 AI（例如绘制完美的文字或遵循复杂的指令）。“学生”是一个新的、统一的 AI，它试图向老师学习。在过去，标准的教学方式是告诉学生：“完全复制老师的做法。”如果老师画了一个蓝色的天空，学生也必须画一个蓝色的天空。如果老师以某种方式移动画笔，学生也必须模仿那个精确的动作。这虽然有效，但存在一个天花板：学生永远无法超越老师，因为它只被允许去复制，而不是去改进。

现在，想象一下如果老师可以这样说：“这是我绘画的方式，但我认为如果你在那个方向上再多推一把，你可能会做得更好。”这正是这篇论文所探讨的核心问题：我们能否教会一个 AI 学生不仅是模仿它的老师，而是超越它？ 这篇论文的作者提出了 STEP-OPD，他们认为答案是肯定的，但前提是我们必须改变教学的方式。他们认为，仅仅复制最后的笔触是不够的；学生还需要理解老师在思考绘画时，其“大脑”（或内部层）是如何变化的。

问题所在：“复读机”的天花板

论文首先指出了当前“在策略蒸馏”（On-Policy Distillation, OPD）方法的缺陷。在这些方法中，学生 AI 生成一条图像路径（轨迹），然后询问老师：“你下一步会怎么做？”随后，学生尝试完美地匹配老师的答案。

作者将这比作一个学生试图通过抄袭老师的答案卷来学习数学。如果老师写下“5”，学生也写下“5”。问题在于，学生永远不会理解为什么答案是 5，他们也无法得知自己是否可以更快或更优雅地解决问题。老师成为了“上限”。即使学生表现完美，他们也永远无法超越老师，因为目标仅仅是与之匹配。

此外，论文指出，仅观察最终答案（图像）就像是仅凭汤的味道来评判一位厨师，而不去看他们是如何切菜或搅拌锅里的。这种做法忽略了“内部动态”——即 AI 在其大脑内部逐层处理信息的方式。学生可能会偶然得到正确的图像，或者通过用一个部分的错误来补偿另一个部分的错误来达到结果，而没有真正学习到老师处理视觉信息的结构化方式。

解决方案：STEP-OPD

为了解决这个问题，作者提出了 STEP-OPD，这是一个通过两项巧妙手段来打破“复读机天花板”的新框架。

1. “推力”（输出外推法/Output Extrapolation）
作者并没有告诉学生：“就在老师停止的地方停下。”相反，他们告诉学生去观察老师与一个基础的、未经训练的“基础模型”之间的差异。

类比： 想象基础模型是一个站立不动的人。老师是同一个人的进化版，已经学会了奔跑。老师与基础模型之间的差异就是“奔跑的动作”。
诀窍： 标准方法说：“像老师那样奔跑。”STEP-OPD 则说：“看老师比站立不动的人快了多少。现在，把那份额外的速度拿出来，再多加一点点。”
他们称之为输出外推法（Output Extrapolation）。他们提取老师的“速度”（图像变化的快慢及方向），并加上一个比例缩放后的、老师与基础模型之间的差异。这创造了一个位于老师“之外”的新目标。这就像是在告诉学生：“老师很棒，但如果你朝着他们前进的方向再多推进一步，你可能会获得更好的结果。”

2. “大脑对齐”（表示变化对齐/Representation Change Alignment）
第二部分侧重于 AI 内部的“切菜与搅拌”。

类比： 想象 AI 是一个拥有许多流水线（层）的工厂。最终产品是图像。标准方法只检查最终产品。STEP-OPD 则检查层与层之间的传送带。
诀窍： 他们观察老师的内部“想法”（表示）在从一层网络移动到下一层时是如何变化的。然后，他们强迫学生不仅要匹配这种变化的方向，还要匹配其幅度（即变化的大小）。
这确保了学生学习的是转化的过程，而不仅仅是最终结果。这就像不仅教学生画一个圆，还要让他们理解完成那条平滑且连贯的线条所需的具体手腕动作。

研究发现

作者在三种截然不同的技能上测试了这种新方法：

组合对齐（Compositional Alignment）： AI 能否将多个物体放在正确的位置（例如，“一只猫在蓝色沙发上”）？
文本渲染（Text Rendering）： AI 能否在图像中正确地书写文字？
人类偏好（Human Preference）： 人类是否更喜欢这些图像？

结果令人印象深刻。当他们将 STEP-OPD 应用于名为 DiffusionOPD 的标准方法时，学生的表现大幅提升：

组合对齐得分（GenEval）从 0.927 跃升至 0.961。
文本渲染得分（OCR）从 0.941 提升至 0.946。
人类偏好得分在各个领域也都有所提高。

最重要的是，使用 STEP-OPD 训练的统一学生模型不仅击败了旧的方法，而且在每一个类别中都超越了单一任务的老师。这个学生在画猫、写字以及取悦人类方面的表现，都比它所模仿的那些特定专家还要出色。

为什么这很重要

论文表明，通过将老师视为一个跳板而非终点，并通过关注内部的“思考”过程，我们可以创造出比其组成部分更强大的 AI 模型。

他们还发现，这种“推力”（外推）需要仔细调整。如果你推得太猛，学生会感到困惑。例如，对于复杂的物体放置，一个微小的推力（0.01）效果最好；而对于让图像看起来更美观，一个较大的推力（0.20）则更为有效。这表明不同的技能需要不同程度的“额外奖励”。

简而言之，STEP-OPD 证明了 AI 学生可以通过不仅模仿老师的步伐，还要理解老师的动量和内部机制，从而实现从模仿到超越，最终实现跨越式进步，达到新的创意高度。

技术摘要：STEP-OPD

问题陈述

在-线策略蒸馏（On-policy Distillation, OPD）已成为将多个任务专用图像生成模型整合到单个学生模型中的可行方法，其通过监督学生自身的去噪轨迹来实现。然而，现有的 OPD 方法存在两个主要局限性：

教师匹配天花板（Teacher-Matching Ceiling）： 当前的方法仅优化学生以匹配教师在已访问状态下的输出速度。这将教师视为优化目标的绝对上限。正如论文所述，标准的平方速度匹配损失在学生预测等于教师预测时达到最小；任何试图“超越”教师的尝试都会增加损失，从而阻止学生获得优于教师的能力。
内部动力学约束不足（Under-Constrained Internal Dynamics）： 输出层级的速度监督仅提供了一个终点信号。由于最终的速度聚合了来自所有网络块的效果，不同层之间表示更新的偏差可能会在最终预测中相互抵消。因此，学生可以通过补偿机制实现较低的输出损失，而无法忠实地学习教师对视觉标记（visual tokens）和条件信息的结构化处理过程。这削弱了需要跨层逐步发展的能力的迁移，例如属性绑定、空间构图和文本渲染。

方法论：STEP-OPD

作者提出了 STEP-OPD（逐步输出外推与表示变化对齐，Step-wise Output Extrapolation and Representation Change Alignment），该框架将学生的学习目标扩展到了教师之外，并引入了对内部表示演化的显式约束。该方法由两个核心部分组成：

1. 任务特定输出外推（Task-Specific Output Extrapolation）

STEP-OPD 并非使用教师的速度 ( $v_{T_k}$ ) 作为最终目标，而是利用特定任务教师与共享基础模型 ( $v_B$ ) 之间的速度差作为进一步学习的方向。

机制： 通过在教师速度中加入一个缩放后的“教师-基础模型”差异项来构建外推目标速度 $\hat{v}_{k,i}$ ：
$\hat{v}_{k,i} = v_{T_k,i} + \alpha_k (v_{T_k,i} - v_{B,i})$
其中 $\alpha_k \geq 0$ 是任务特定的外推系数。
效果： 当 $\alpha_k > 0$ 时，学习目标会沿着由后训练（post-training）引入的改进方向，移动到教师之外。这使教师从一个固定的终点转变为进一步优化的方向性引导。
训练策略： 为了防止不稳定，系数 $\alpha_k$ 在预热期内从 0 逐渐激活至最大值。

2. 中间表示变化对齐（Intermediate Representation Change Alignment, RCA）

为了解决内部动力学约束不足的问题，STEP-OPD 使学生与教师在网络块之间的隐藏状态演化保持一致。

机制： 该方法并非匹配绝对的隐藏状态，而是对齐相邻 Transformer 块之间隐藏表示变化的方向和幅度。对于一个块对 $p=(l_0, l_1)$ ，其变化定义为 $\Delta h^p_{M,i} = h^{l_1}_{M,i} - h^{l_0}_{M,i}$ 。
损失函数： 对齐损失包含两部分：
1. 方向损失（Direction Loss）： 最小化学生与教师在经过 Token 级 RMS 归一化后的变化之间的 MSE。
2. 幅度损失（Magnitude Loss）： 最小化经过对数缩放后的 RMS 幅度差异的平方。
集成： 这种内部监督直接应用于教师的变化（而非外推后的变化），确保学生学习教师特定的变换动力学，同时允许输出目标超越教师。

最终训练目标结合了外推输出损失 ( $L_{out}$ ) 和隐藏状态变化损失 ( $L_{hidden}$ )：
$L = L_{out} + \lambda_h L_{hidden}$

核心贡献

框架提议： 引入了 STEP-OPD，这是一个能够实现“超越教师”学习并迁移内部表示动力学的在-线策略蒸馏框架。
输出外推： 一种通过利用基础模型与特定任务教师之间的速度差来构建超越教师的学习目标的新技术。
表示变化对齐： 一种通过匹配层间表示更新的方向和幅度来监督学生内部计算的方法，解决了仅靠输出监督的局限性。
实证验证： 通过全面的实验证明，统一的学生模型超越了标准的 OPD 基线以及相应的单任务教师。

实验结果

实验在 Stable Diffusion 3.5 Medium 上针对三个能力组进行了：组合对齐（GenEval）、文本渲染（OCR）和人类偏好（PickScore, Aesthetic, HPSv2.1, ImageReward）。

性能提升： 应用于 DiffusionOPD 时，STEP-OPD 将 GenEval 总分从 0.927 提高到 0.961，将 OCR 分数从 0.941 提高到 0.946。它还提升了所有人类偏好指标。
超越教师： 统一的 STEP-OPD 学生在所有三个能力类别中都表现优于相应的单任务教师（例如，在 GenEval 上为 0.961 vs 0.935），证明了有效的能力整合和超越教师的表现。
消融研究：
- 表示变化对齐 (RCA)： 单独使用 RCA 时，GenEval 从 0.927 提升至 0.959，OCR 从 0.941 提升至 0.944，证实了内部监督对于组合和文本任务至关重要。
- 输出外推 (OE)： 单独使用 OE 时，在基于偏好的指标上提供了显著收益，并进一步提升了 GenEval/OCR，验证了“超越教师”的假设。
- 结合使用： 两者的结合产生了最强的效果。
定性分析： 视觉对比显示，与基线相比，STEP-OPD 生成了更准确的提示词遵循度、更好的文本渲染和更高的视觉质量。具体而言，RCA 减少了伪造的内部结构，而 OE 增强了细粒度的细节和材质纹理。

意义与主张

论文声称 STEP-OPD 从根本上改变了在-线策略蒸馏的范式，即从教师匹配转向教师引导的外推。通过将输出目标与教师的精确速度解耦，并显式监督内部变换动力学，该方法使单个学生模型能够整合多种专业化能力，并超过生成训练数据的单个教师的性能。作者断言，这种方法解决了仅输出监督的局限性，并为迁移复杂的、依赖层的生成能力提供了一种鲁棒的机制。