🤖 AI

DUET: A Diversity-Quality Duet of Distillation Experts for Two-Step Video Generation

本文介绍了 DUET，这是一个通过采用由独立训练的专家组成的噪声水平二重奏（即用于高噪声结构多样性的 sCM 专家和用于低噪声外观精细化的 DMD 专家）来调和质量-多样性权衡的两步视频生成框架，并通过 DUET+ 通过强化学习引导的自适应进一步增强，以实现卓越的性能。

原作者： Zian Li, Litong Gong, Borui Liao, Pengfei Liu, Xinyu Wang, Xinyuan Wei, Yifan Gao, Tiezheng Ge, Muhan Zhang

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zian Li, Litong Gong, Borui Liao, Pengfei Liu, Xinyu Wang, Xinyuan Wei, Yifan Gao, Tiezheng Ge, Muhan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人画出一幅杰作。在人工智能的世界里，存在着一些特殊的“扩散模型”（diffusion models），它们就像这些机器人一样。它们从充满静态噪声的画布开始——就像没有信号的电视屏幕——然后通过一步步地抹去噪声，逐渐显现出一幅清晰的图像或视频。问题在于，这个过程极其缓慢。为了得到一张完美的图像，机器人可能需要进行数百个细微且谨慎的步骤，这在强大的计算机上可能需要几分钟甚至几小时。这对于制作实时电影或游戏来说太慢了。

为了解决这个问题，科学家们一直试图教这些机器人学会“走捷径”。他们不想让机器人走完整个漫长的路径，而是希望它能通过几次巨大的跨越直接跳到终点。然而，这里有一个陷阱：当你强迫机器人走捷径时，它通常必须在两件事之间做出选择：是让画面看起来非常出色（锐利且富有细节），还是确保每次你要求的画面都看起来各不相同（多样且富有创意）。通常，如果你得到一张超清晰的图片，它每次看起来都会很像；如果你得到一张超有创意的图片，它可能会看起来有点模糊或杂乱。这就像一位厨师，他要么能每次都做出完美且一模一样的牛排，要么能做出极其丰富多变的独特佳肴，但很难两者兼得。

正是这个谜题催生了名为“DUET”的新论文。研究人员在使用一款名为 Wan2.1 的视频生成器时，想要看看能否实现这种“鱼与熊掌兼得”的目标：即仅用两步就生成一段既晶莹剔透又极具创意的视频。他们发现，试图在一个锅里把这两种烹饪风格混合在一起只会弄得一团糟。相反，他们组建了一支由两名专家组成的团队，他们像接力赛一样协同工作。

两步走的接力赛

这篇论文介绍了一种名为 DUET（多样性-质量专家协作，Diversity–Quality Expert Tandem）的方法。把视频生成过程想象成一段漫长的旅程，从一个雾气缭绕、混乱的世界（噪声）走向一个晴朗明媚的世界（最终视频）。研究人员意识到，这段旅程的不同阶段需要不同类型的帮助。

在旅程的开始阶段，当图像仍然非常模糊时，最重要的任务是决定“大局”：狗在哪里？它是在奔跑还是在睡觉？是夕阳西下还是旭日东升？这是视频的“结构”。论文发现，一种被称为 sCM 的快捷方式方法在处理这方面表现卓越。它就像一位速写画家，可以快速绘制出许多不同且富有创意的布局。它擅长多样性，但有时会显得有些模糊。

在旅程的后半段，当图像已经基本清晰时，最重要的任务是处理“细节”：毛发的纹理、眼睛里的倒影、叶片的清晰度。这是视频的“质量”。另一种快捷方式方法，称为 DMD，则是这方面的专家。它像是一位高度专注的编辑，让一切看起来锐利且完美，但往往会让所有东西看起来都大同小异，从而失去了创意的多样性。

之前的尝试试图强迫一个机器人同时胜任这两项工作，或者将这两种方法混合在一起。论文指出，这样做效果并不好，因为这两种方法的需求是截然相反的。因此，DUET 将工作进行了拆分。它使用 sCM 专家 处理第一步（高噪声部分），以奠定多样且富有创意的结构。然后，它将接力棒交给 DMD 专家 处理第二步（低噪声部分），以强化细节并使其看起来专业。

接力赛与教练

论文表明，这种简单的“接力”效果出奇地好。通过让 sCM 专家处理混乱的开端，让 DMD 专家处理整洁的结尾，他们获得的视频比仅追求锐利的方案多样性高出约两倍，同时保持了几乎相同的质量。这就像拥有一位构思奇特的创意总监，随后又有一位追求完美的编辑来进行润色，而两人从未发生争执。

然而，研究人员注意到即使是这个团队也不完美。有时，两位专家之间的交接会显得有些笨拙，而且创意专家并不总是能选出最好的创意。为了解决这个问题，他们引入了一位“教练”，使用了 RL 引导的专家适配技术（这创造了一个名为 DUET+ 的版本）。

这位教练使用一套奖励机制（类似于通过视觉效果获得积分的游戏）来教导 sCM 专家，使其瞄准更优、更令人愉悦的结构。它还帮助 DMD 专家适应 sCM 专家所发送的特定风格的草图。其结果是，DUET+ 变得更加出色：它保留了巨大的多样性优势，同时将质量提升到了与最锐利的算法方法相媲美的水平。

论文说了什么，以及没说什么

作者非常明确地阐述了他们的发现以及未涉及的内容。他们明确反对仅仅在单一训练过程中混合这两种方法的观点。他们展示了尝试合并“损失函数”（即机器人遵循的数学规则）会导致一种折中方案，即你会失去一部分质量，同时也失去一部分多样性，而不是两者兼得。他们还排除了仅仅通过一个好的草图进行优化（一种被称为“先初始化后 DMD”的常用方法）是否足够的想法，因为这种方法往往会迅速扼杀多样性。

论文证明了他们的“噪声水平专家对（noise-level expert duet）”在特定的模型 Wan2.1-T2V-1.3B 上表现出色。他们用数据进行了衡量：他们的法在保持质量得分几乎不变的情况下，多样性得分比仅追求锐利的方案高出约 109%。他们相信这种方法解决了两步生成视频中的权衡问题。不过，他们也承认目前仅在这一种规模的模型上进行了测试，并建议在更大的模型上进行测试是未来的工作。他们并未声称这是所有 AI 视频生成的终极答案，但他们展示了通过“噪声水平”来拆分任务是一种简单且有效的方法，可以同时获得美感与多样性。

技术摘要：DUET —— 用于两步视频生成的多样性–质量双专家蒸馏方案

1. 问题陈述

扩散模型的最新进展实现了高质量的视频生成，但其对迭代采样的依赖导致了极高的计算成本，阻碍了实际部署。少步数蒸馏（Few-step distillation）通过将生成轨迹压缩到极少的网络评估次数（NFE，通常为两步）来解决这一问题。然而，现有的蒸馏范式面临着根本性的质量–多样性权衡（quality–diversity trade-off）：

轨迹级蒸馏（例如 sCM）： 保留了教师模型的样本多样性和结构布局，但由于其“均值寻求（mean-seeking）”的特性，往往产生保守且模糊的输出。
分布级蒸馏（例如 DMD）： 通过匹配教师模型的分布来产生锐利、高保真度的细节，但存在严重的多样性崩溃（模式寻求/mode-seeking行为），即概率质量集中在较少的模式上。

试图通过将这两个目标结合到单个损失函数中（例如 rCM）来解决这些问题的常见尝试，通常只能得到一种折中方案而非真正的解决方案，由于存在冲突的梯度，这会引入优化难题，并且无法充分继承任何一种范式的优势。

2. 方法论

作者提出了 DUET（Diversity–qUality Expert Tandem，多样性–质量专家串联），这是一个通过**噪声水平专家专业化（noise-level expert specialization）**而非损失水平结合来调和这两种范式的框架。

核心架构：噪声水平专家双奏（Noise-Level Expert Duet）

DUET 根据采样调度中的噪声水平，为两个独立训练的专家分配了不同的角色：

高噪声区间（ $t \in [1, \tau]$ ）： 分配给 sCM 专家。这一阶段决定了粗粒度的变量，如物体身份、布局、构图和运动模式。sCM 专家使用其原生的一致性目标进行训练，以确保样本空间的广泛覆盖。
低噪声区间（ $t \in [\tau, 0]$ ）： 分配给 DMD 专家。这一阶段细化视觉细节、纹理和外观。DMD 专家使用其原生的分布匹配目标进行训练，以确保高保真度和锐利度。

推理过程：
两个专家在单次两步生成过程中以接力方式运行：

sCM 专家从初始噪声（ $x_1$ ）预测一个干净的终点。
该预测使用重加噪算子（re-noising operator）被重新加噪至切换时间 $\tau$ 。
DMD 专家接收在 $\tau$ 时刻重加噪后的潜变量，并执行最后一步以生成干净的视频潜变量（ $\hat{x}_0$ ）。
切换时间 $\tau$ 通过分析教师模型流匹配（flow-matching）ODE 轨迹的曲率来确定；实验证明，选择 $\tau = 0.8$ 作为轨迹从快速结构形成转向缓慢细节细化的转换点。

DUET+: RL 引导的专家适配

为了解决剩余的瓶颈——特别是 sCM 专家的输出与 DMD 专家训练分布之间的分布差距，以及 sCM 专家的容量限制——作者引入了 DUET+。这涉及一种角色感知适配策略：

sCM 专家适配： 使用 GRPO（Group Relative Policy Optimization，组相对策略优化）对 sCM 专家进行微调。这能引导 sCM 专家的多样化输出向更高奖励的结构靠拢（基于 HPSv3 等人类偏好评分），同时保留其覆盖行为。
DMD 专家适配： DMD 专家继续使用其原生损失进行训练，但使用推理过程中由适配后的 sCM 专家产生的实际中间潜变量，而非教师模型的原生后向模拟。这使 DMD 专家能够与真实的接力接口对齐。

3. 主要贡献

目标级诊断： 本文指出，质量–多样性权衡源于轨迹级目标与分布级目标之间的内在冲突，这两者诱导了截然不同的噪声–数据映射。强行让一组参数同时满足这两个目标会导致优化困难。
噪声水平专家双奏 (DUET)： 一种新颖的架构，通过将不同目标分配给特定的噪声区间来实现解耦。这规避了梯度冲突和损失权重调优问题，使模型能够同时实现多样性和高质量。
角色感知适配 (DUET+)： 一种轻量级的 RL 引导适配，利用 sCM 专家的多样性进行偏好优化，并修复了 DMD 专家的接力接口，在不牺牲多样性的情况下进一步提升了整体质量。
实证验证： 证明了在极端的两步生成范式下，可以接近 DMD 的质量水平，同时保留几乎所有的 sCM 结构多样性。

4. 实验结果

实验使用 Wan2.1-T2V-1.3B 作为文本生成视频的骨干网络，分辨率为 832 $\times$ 480。

质量 vs. 多样性：
- sCM： 实现了最高的多样性（ViCLIP 平均值：0.1865）但质量较低（VBench 平均值：81.51）。
- DMD： 实现了高质量（VBench 平均值：84.38）但多样性较低（ViCLIP 平均值：0.0727）。
- rCM (基准)： 显示出一种权衡；即使经过调优，其多样性仍显著低于 sCM。
- DUET： 实现了 83.96 的质量得分（接近 DMD），同时保持了 0.1512 的多样性得分（比 DMD 提升了 108.0%，并保留了大部分 sCM 的结构多样性）。
- DUET+： 将质量进一步提升至 84.40，同时保持了多样性优势（ViCLIP: 0.1521）。
定性分析：
- DUET 在锐化细节（来自 DMD）的同时，保留了多样化的布局和姿态（来自 sCM）。
- 在特定风格的提示词下（如像素艺术），DUET 保留了 DMD 经常会坍缩为平滑、通用模式的低概率风格。
- 与基础接力相比，DUET+ 生成的帧更加清晰、连贯，伪影更少。
消融实验：
- 切换时间 ( $\tau$ )： 发现 $\tau=0.8$ 是最优的。较低的值会使 sCM 专家负担过重（导致结果模糊），而较高的值则会让 DMD 专家缺乏足够的细化空间。
- 奖励函数： 选择 HPSv3 作为 sCM 适配的奖励函数，在一致性和审美质量方面表现出优于 SFS-Nature 或 TA 的性能。
- 初始化： 与“先初始化后 DMD”（init-then-DMD）方法（即先用几步生成器初始化 DMD，然后再训练）不同，DUET+ 保持了明确的专家角色。而“先初始化后 DMD”会迅速坍缩掉继承的多样性，DUET+ 则能保留它。

5. 意义与主张

本文声称，噪声水平专家专业化是一种简单且有效的范式，用于调和少步数视频生成中的多样性与质量。通过将结构多样性和视觉保真度的优化解耦到操作于不同噪声水平的独立专家中，DUET 避免了损失函数组合中固有的“妥协”。

作者强调，他们的结果建立了一个新的两步生成标准，表明如果将蒸馏过程构建为利用不同目标的互补优势，那么高质与多样性并非互斥。虽然目前的评估局限于 Wan2.1-1.3B 模型，但作者指出，DUET 的底层属性并不依赖于特定的骨干网络，这表明该方法未来有潜力扩展到更大的模型。