🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

本文识别了在采用无分类器指导的在策略扩散蒸馏中存在的一种被称为“负向分支不对称性”的失效模式，其中朴素的速度匹配会导致对抗性分支误差，并提出了“正向匹配”作为一种分支感知目标，以实现鲁棒的知识迁移。

原作者： Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人艺术家如何画出一幅杰作。在现代人工智能的世界里，这些“机器人”被称为扩散模型（diffusion models）。它们的工作方式有点像雕塑家从一块大理石中凿去多余的部分：它们从一个嘈杂、混乱的像素云开始，慢慢将其精炼成一张清晰的图像。为了确保机器人能画出你想要的东西（比如“戴着帽子的猫”），我们会使用一种特殊的技巧，叫做无分类器指导（Classifier-Free Guidance, CFG）。把 CFG 想象成一位严厉的艺术老师，他同时给机器人两个指令：一个说“画一只戴着帽子的猫”（正向指令），另一个说“画不出具体的东西”（负向指令）。机器人随后将这两个想法混合在一起，并使用一个叫做**指导缩放系数（guidance scale）**的旋钮来决定给严格指令多少权重，给模糊指令多少权重。

伟大的混淆：当模仿出错时

这篇论文的作者发现，学生模仿使用 CFG 的老师的标准方式其实是一个陷阱。他们将这种标准方法称为“天真型 CFG 基 OPD（Naive CFG-Based OPD）”。问题在于：当老师混合“正向”和“负向”指令来给出最终答案时，学生只能看到那个最终混合后的答案。学生试图匹配老师的最终混合结果，但他们并不知道老师是如何得到那个结果的。

想象一下，老师正在制作一种奶昔。他们混合了 70% 的草莓（正向）和 30% 的香蕉（负向）来得到一杯完美的粉色饮料。学生品尝了这杯粉色饮料，并试图复制它。但因为学生不知道确切的配方，他们可能会不小心混合了 40% 的草莓和 60% 的香蕉，并且依然能得到一杯看起来足够粉红、足以在特定时刻欺骗老师的饮料。这就是论文中所说的分支歧义（branch ambiguity）。学生找到了一个“退化解（degenerate solution）”——一种通过错误的原因得到正确答案的诡计。

论文表明，如果老师和学生都使用完全相同的“负向”成分（例如都使用纯水作为基底），那么这种做法就没问题。在这种情况下，学生和老师共同进步，一切都很顺利。

然而，论文发现了一个主要的失效模式，称为负向分支不对称（Negative Branch Asymmetry, NBA）。当老师的负向分支中有一个学生所没有的“秘密配料”时，就会发生这种情况。例如，也许老师在进行“负向”思考过程时是在参考一张照片，但学生对那张照片是“盲目”的。在这种情况下，学生试图模仿最终的粉色奶昔，但为了做到这一点，他们必须搞砸自己的配方。他们可能把草莓部分（正向部分）做得完美无缺，但为了补偿，他们必须把香蕉部分（负向部分）做得一团糟。

论文证明，在这些条件下，学生的学习变成了一场拉锯战。随着他们画好猫（减少正向误差），他们对“无”的理解就会变差（增加负向误差）。两者的误差在最终的混合中相互抵消，因此老师认为学生做得很好。但这是一种谎言。

后果：毁灭之旋钮

真正的麻烦始于当你转动旋钮时。“指导缩放系数”是一个你在训练完成后可以更改的设置。如果你在训练学生时将旋钮设定在特定的数值，他们就学会了利用那个特定的混合比例来作弊。但如果你在稍后阶段（如实际使用时）将旋钮调到另一个数值，平衡就会发生偏移。学生那种“作弊”的配方不再奏效了。论文显示，使用天真型方法训练的学生在训练设置下表现出色，但一旦改变指导缩放系数，就会彻底崩溃，产生扭曲的图像或丢失他们本应学习的风格。这就是作者警告的“过度退化（excess degradation）”——不仅仅是机器人变差了，而是由于错误的训练方法，它变得比预期的要糟糕得多。

解决方案：“正向方向”修正

为了解决这个问题，作者提出了一种新方法，叫做正向方向匹配（Positive-Direction Matching, PDM）。与其仅仅要求学生模仿最终混合后的奶昔，PDM 强制学生学习两件独立的事情：

正向预测：“向我展示你究竟是如何画这只猫的。”
CFG 方向：“向我展示你的‘猫’的想法与你的‘无’的想法之间的差异。”

通过分别检查这两点，老师可以发现学生是否在作弊。如果学生试图通过搞砸负向部分来修正正向部分，老师会立即发现，因为那个“差异”（方向）将无法匹配。这迫使学生学习真正的配方，而不是诡计。

论文在**从稠密到稀疏的视频控制（dense-to-sparse video control）**任务上测试了这一点，其中老师看到了一个人的完整动作视频（稠密控制），并试图教导一个只能看到几个关键帧的学生（稀疏控制）。结果非常明确：

天真型学生对指导缩放系数非常敏感。当缩放系数改变时，他们的视频控制就会崩溃，在某些情况下，FID（衡量图像质量的指标）会从 13.49 跳升到 78.20。
PDM 学生保持稳定。即使指导缩放系数发生变化，他们也能持续生成高质量的视频，其 FID 保持在 13–15 左右。

作者还将 PDM 与另一种称为**独立分支匹配（Independent Branch Matching, IBM）**的方法进行了比较，后者只是简单地告诉学生分别模仿正向分支和负向分支，而不看“方向”。PDM 和 IBM 都比天真型方法更好，但 PDM 在不同类型的视频任务（如姿态、深度和涂鸦控制）中提供了最一致的控制保真度。

总结

论文得出结论：虽然旧的模仿方式（天-真型 OPD）在训练期间看起来有效，但它实际上是在搭建一座纸牌屋，一旦改变设置，整座建筑就会坍塌。通过使用正向方向匹配，我们可以构建出一个真正理解老师逻辑的学生，无论你稍后如何调整指导旋钮，它都能保持稳健可靠。这提醒我们，在人工智能领域，仅仅得到正确答案是不够的；你必须学会如何得到它，尤其是当老师手里还握着某种秘密配料时。

技术摘要：重新思考在策略扩散蒸馏中的无分类器指导

问题陈述

在策略蒸馏（On-Policy Distillation, OPD）通过训练学生模型来匹配教师模型沿其自身生成轨迹的局部速度预测，从而实现扩散模型的适配。虽然现代扩散系统普遍采用无分类器指导（Classifier-Free Guidance, CFG）来提升生成质量，但 CFG 与 OPD 之间的相互作用仍未得到充分理解。

标准的 CFG 从两个独立的支路组合出一个引导的速度预测（ $v_{cfg}$ ）：一个正向支路（ $v_+$ ，基于目标提示词）和一个负向支路（ $v_-$ ，基于空提示或负向提示）。引导速度定义为 $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ ，其中 $\gamma$ 是指导缩放系数。

现有的 OPD 方法通常将速度匹配扩展到这种组合预测上，最小化损失 $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ 。作者指出这种方法存在一个关键缺陷：分支级欠定（branch-level under-identification）。由于损失函数仅约束两个支路的线性组合，正向和负向支路的误差（ $e_+$ 和 $e_-$ ）可以相互补偿。具体而言，条件 $\gamma e_+ + (1-\gamma)e_- = 0$ 允许存在无数个非零误差对。

这种歧义导致了一种被称为**负向支路不对称（Negative Branch Asymmetry, NBA）**的失效模式。在教师模型在其负向支路中拥有“特权信息”（例如参考图像或稠密控制信号）而学生模型缺乏这些信息的场景下，朴素的组合目标会诱发对抗性动力学：训练过程在减小正向支路误差的同时，反而增加了负向支路的误差。虽然这种补偿在训练指导缩放比例下可能产生较低的损失，但当在不同的推理指导缩放比例下进行评估时，会导致学生模型发生显著漂移，因为学习到的误差补偿不再成立。

方法论

为了解决分支歧义并防止误差补偿，作者提出了正向方向匹配（Positive–Direction Matching, PDM），一种分支感知的 OPD 目标。

1. 正向方向匹配 (PDM)

PDM 不再匹配组合后的引导速度，而是分别约束：

正向预测： 直接匹配正向支路速度（ $v_+$ ）。
CFG 条件方向： 匹配差异向量 $d = v_+ - v_-$ 。

损失函数公式化为：
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
其中 $\lambda > 0$ 控制方向匹配的强度。PDM 中的零损失强制要求 $e_+$ 和 $e_-$ 同时为零，从而消除了误差相互抵消的可能性。

2. 独立分支匹配 (IBM)

作为一种基准，用于隔离分支级监督相对于 PDM 特定设计的收益，作者引入了 IBM。该方法直接匹配正向和负向支路，权重源自扩展后的朴素目标：
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
与 PDM 不同，IBM 没有显式地强制执行条件方向，但它移除了存在于朴素组合损失中的跨分支交互项。

3. 视频的高效监督

针对从稠密到稀疏的视频控制应用，作者建议仅监督学生去噪轨迹的前 $K$ 个状态，而非完整轨迹。这降低了教师模型评估的计算成本，同时保持了性能。

核心贡献

识别分支歧义： 本文证明了 CFG 组合的 OPD 在分支层面是欠定的。研究表明，在共享负向条件（即教师和学生共享相同的空条件）的情况下，这种歧义是良性的；但在特权负向条件下，这种歧义会变得有害，从而导致 NBA。
负向支路不对称 (NBA)： 作者将 NBA 定义为一种失效模式，即朴素匹配以牺牲负向支路误差为代价来减小正向支路误差，从而导致对推理指导缩放比例的过度敏感。
正向方向匹配 (PDM)： 一种新型的分支感知目标，它分别监督正向预测和 CFG 条件方向。这防止了跨分支误差补偿，并恢复了可识别的监督。
实证验证： 研究在图像和视频领域提供了定量证据，表明分支感知监督提高了鲁棒性和知识迁移能力，特别是在教师拥有学生无法获取的信息的设置中。

实验结果

图像领域诊断

作者进行了两组受控实验以诊断分支误差动力学：

文本渲染蒸馏（共享条件）： 教师和学生共享相同的负向条件。在此情况下，朴素匹配和 PDM 都会导致正向和负向支路误差的共同减少。学生能够追踪教师的内在 CFG 敏感度，证实了在这种机制下歧义是良性的。
参考条件蒸馏（特权条件）： 教师在其负向支路中接收参考图像，而学生则没有。
- 朴素匹配： 表现出对抗性动力学，即在减小 $e_+$ 的同时增加 $e_-$ 。
- PDM： 成功减小 $e_+$ 的同时防止了 $e_-$ 的增长。
- 指导敏感度： 在推理时，在 $\gamma=2$ 下训练的朴素学生在测试 $\gamma=1$ 时性能显著下降（表现出风格漂移和畸变），而 PDM 学生在不同缩放比例下保持稳定，并能紧密跟随教师的行为。

稠密到稀疏视频控制

该方法被应用于 Wan-VACE 基准测试，其中教师观察稠密的逐帧控制（姿态、深度、涂鸦），而学生仅接收稀疏的关键帧。

控制保真度： 在训练指导缩放比例（ $\gamma=5$ ）下，PDM 在所有模态（姿态、深度、涂鸦）的指标（如 MPJPE、PCK 和 FVD）上均优于朴素 OPD、SFT 和离策略（off-policy）蒸馏。
指导缩放泛化性： 当在不同于训练的推理缩放比例（如 $\gamma=1$ 或 $\gamma=3$ ）下进行测试时，朴素 OPD 的性能急剧下降。相比之下，PDM 和 IBM 保持稳定，证明了分支感知监督减轻了由组合匹配引起的过度敏感性。
效率： 仅监督轨迹的前 $K=8$ 个状态提供了控制保真度与训练成本之间的最佳平衡，实现了与全轨迹监督相当的结果，同时显著降低了计算量。

意义与主张

本文声称，在当教师和学生对负向支路的信息访问不对称时，在进行在策略蒸馏中匹配 CFG 组合预测的标准做法存在根本缺陷。作者认为，负向支路不对称是一种独特的失效模式，表现为对指导缩放变化的过度敏感。

这项工作的意义在于：

修正理论盲点： 它指出，当底层分支未受到对称约束时，“匹配引导输出”是不够的。
鲁棒的知识迁移： 通过实施分支级约束（通过 PDM），学生学习到了更忠实于教师条件逻辑的表示，从而在多变的推理条件下实现鲁棒性能。
实际应用价值： 所提方法可直接应用于复杂的生成任务，如视频控制，其中教师通常拥有学生必须从稀疏输入中近似学习的特权上下文（稠密帧）。

作者谦虚地指出，虽然 PDM 在经验上优于 IBM，但 PDM 相对于其他分支感知公式（如 IBM）的具体优势在理论上仍是一个有待未来研究的开放性问题。其主要贡献在于识别了该失效模式，并证明了分离正向支路和条件方向的监督可以解决该问题。