💻 computer science

Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation

本文介绍了数据强制蒸馏（Data-Forcing Distillation, DFD），这是一个简单的训练后框架，通过利用教师模型的得分差异来引导学生模型趋向真实数据分布，从而解决了少步数视频生成中的多样性损失和过度饱和伪影问题，有效地恢复了保真度，甚至在极少微调的情况下超越了教师模型的性能。

原作者： Siyi Chen, Shaowei Liu, Yixuan Jia, Zian Wang, Huan Ling, Qing Qu, Jun Gao

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siyi Chen, Shaowei Liu, Yixuan Jia, Zian Wang, Huan Ling, Qing Qu, Jun Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一位才华横溢但动作缓慢的大厨（老师）如何在仅用一两个步骤的情况下，而不是通常的二十个步骤，做出完美的佳肴。你希望有一位学生厨师（学生）能够瞬间做出同样美味、高质量的菜肴。

在 AI 视频生成的领域中，这正是研究人员正在尝试做的事情：将一个强大的、缓慢的 AI 转化为一个快速的、仅需极少数步骤的版本。

问题所在：“模仿者”陷阱

以往教授这位学生厨师的方法虽然效果不错，但有两个主要的缺陷，就像一个只通过品尝自己做的菜来学习的学生：

单调的菜单（模式崩塌/Mode Collapse）： 学生厨师陷入了重复制作那几种固定菜肴的困境。如果老师能做 100 种不同类型的蛋糕，学生可能只学会了做那一种味道最好的“巧克力蛋糕”。他们失去了所有的多样性。
过度的调味（过度饱和/Over-Saturation）： 学生为了做出那个“完美版本”的蛋糕，拼命堆砌糖分和糖霜，导致看起来既假又不自然。视频变得过于明亮、色彩过于鲜艳，失去了现实生活的真实感。

论文解释说，这是因为旧的教学方法依赖于一种“反向”逻辑。它问学生：“你的烹饪与你刚刚做出的东西相比如何？”这让学生陷入了一个循环，即他们只在改进自己的错误，而忽略了现实世界的广阔多样性。

解决方案：“数据强迫”（真正的品鉴菜单）

作者提出了一种名为 数据强迫蒸馏（Data-Forcing Distillation, DFD） 的新方法。

想象一下，老师不再要求学生将自己的烹饪与自己的烹饪进行比较。相反，老师从市场里抓取了一件新鲜的真实食材（来自互联网的真实视频），然后说：

“看这个真实的苹果。现在，看你刚刚画的那个苹果。你的画太红、太亮了。回去修改它，让它看起来更像这个真实的苹果。”

在技术层面，论文引入了一个简单的技巧：仅仅一行代码的改动。

旧方法： AI 将其生成的视频与其对自身生成视频的预测进行比较。
新方法 (DFD)： AI 将其生成的视频与老师对一段真实的、实际的视频的预测进行比较。

这就像是一个“磁铁”，将学生拉向真实世界。

如果学生缺少某种类型的视频（比如特定的摄像机角度），真实的数据会将他们拉向那里，从而恢复多样性。
如果学生做出的东西太亮或太奇怪（过度饱和），真实的数据会将他们从那个“问题区域”拉开，从而恢复保真度（真实感）。

结果：快速、多样且真实

研究人员在两种不同的视频生成 AI 模型（一个用于文本生成视频，一个用于图像生成视频）上测试了该方法。他们发现，只需极少量的额外训练（大约 100 到 300 步，这在 AI 领域是非常快的速度）：

视频看起来更好了： 它们不再看起来过于明亮或具有“塑料感”。
视频更加多样化： AI 现在可以生成许多不同类型的场景，而不仅仅是重复的一种风格。
它超越了老师： 在某些情况下，这个快速的学生模型实际上比缓慢的原型大师模型制作出了更好的视频，尤其是在动作平滑度和物理真实感方面（例如，物体不会凭空消失或出现）。

局限性

论文也承认了一个局限性：如果你尝试在两步或更少的步骤内生成视频，这种魔力就会开始消退。视频可能仍然会变得模糊，或者快速移动的物体可能会出现扭曲。这就像要求学生厨师在 10 秒钟内做出一顿美食；他们能做到，但细节可能会变得有些模糊。

总结

简而言之，论文指出：“要让 AI 视频在不损失质量或多样性的情况下实现快速化，不要让 AI 进行自我教学。要在训练期间强迫它观察真实的视频。这是一个微小的改变，它修复了以往方法中存在的‘单调’和‘看起来虚假’的问题。”

技术摘要：数据强制蒸馏 (Data-Forcing Distillation, DFD)

问题陈述

近期，视频生成领域的进展使得通过大规模扩散模型和流匹配模型实现高保真合成成为可能。然而，这些模型通常需要大量的去噪步骤，导致推理延迟较高，阻碍了实时或交互式部署。为了解决这一问题，研究人员开发了蒸馏方法，用于训练高效的“少步数”学生模型。

虽然分布匹配蒸馏 (Distribution Matching Distillation, DMD) 及其继任者 DMD2 在实现强有力的少步数质量和快速收敛方面取得了进展，但当应用于大规模视频生成时，它们表现出两个关键的失效模式：

模式崩塌 (Mode Collapse)： 与教师模型相比，样本多样性大幅下降。
过度饱和 (Over-Saturation)： 输出结果呈现明显的过度饱和现象，偏离了真实视频的外观。

作者认为，这些失败的根本原因是 DMD 中使用的反向 KL 散度 (Reverse Kullback–Leibler, KL) 目标函数。该目标函数本质上是“模式寻求型 (mode-seeking)”的：学生模型根据其自身生成的分布进行优化。如果学生模型遗漏了真实数据中存在的某个模式，损失函数在该区域不会产生惩罚，从而无法提供恢复缺失模式的梯度信号。相反，它也无法惩罚学生模型生成的那些在真实数据分布中并不存在的模式（例如过度饱和的伪影）。

方法论：数据强制蒸馏 (DFD)

作者提出了数据强制蒸馏 (Data-Forcing Distillation, DFD)，这是一个旨在恢复基于 DMD 蒸馏过程中的多样性和保真度的后训练框架。其核心创新在于将真实的视频数据显式地引入蒸馏目标函数中，而不是仅仅依赖于学生模型的自生成样本或来自判别器的隐式信号。

理论框架

DFD 通过引入教师得分差异 (teacher score discrepancy) 项来修改标准的 DMD 梯度。梯度更新公式如下：
$g_{DFD}(\theta) = g_{DMD}(\theta) - \mathbb{E}_{\mathbf{x} \sim p_{real}, \mathbf{z}} \left[ \Delta_{p_{real}, \mathbf{x}, G_\theta(\mathbf{z})} \nabla_\theta G_\theta(\mathbf{z}, c) \right]$

其中：

$g_{DMD}(\theta)$ 是原始的 DMD 梯度。
$\Delta_{p_{real}, \mathbf{x}, G_\theta(\mathbf{z})} = \nabla_x \log p_{real}(\mathbf{x}) - \nabla_x \log p_{real}(G_\theta(\mathbf{z}, c))$ 是教师得分差异。
$\mathbf{x}$ 是从数据分布 $p_{real}$ 中抽取的真实视频样本。
$G_\theta(\mathbf{z}, c)$ 是学生的生成样本。

机制：
该差异项衡量了教师得分场在真实样本与学生生成样本之间的差距。通过最小化这种差异，学生模型被显式地拉向真实数据分布中多样且高质量的模式（缓解模式崩塌），并被推离学生生成过程中存在的、但在真实数据中不存在的问题模式（如过度饱和）。

实际实现

DFD 的实现非常简单，仅需对现有的 DMD2 流水线进行单行代码级的修改：

在原始 DMD 中，“真实”得分 $\nabla_x \log p_{real}$ 是在学生自身的生成输出 $G_\theta(\mathbf{z}, c)$ 处进行评估的。
在 DFD 中，“真实”得分是在从数据集中抽取的真实数据样本 $\mathbf{x}$ 处进行评估，而学生生成仍用于计算“伪造”得分。

作者通过一种随机采样策略来实现这一点：在每一步训练中，以概率 $w$ （默认 $w=0.5$ ）在标准 DMD 梯度和 DFD 梯度之间进行切换。

关键假设与条件：
理论分析表明，为了使 DFD 使训练稳定，学生的生成必须已经接近真实数据分布。具体而言，正则项的方差取决于真实样本与生成样本之间的平方间距 ( $\|\mathbf{x} - G_\theta(\mathbf{z}, c)\|^2$ )。因此，DFD 被作为一种后训练阶段 (post-training stage) 应用于已经在 DMD2 上预训练好的模型之上，以确保满足有效性条件。

数据策展：
为了确保“强制”数据的高质量，作者从 ViPE-Wild-1M 集合中策划了一个数据集。他们对 100 万个视频进行了聚类，并手动选择了具有清晰语义、时间连贯性和多样化动态特征的簇，最终得到了一个包含 2 万个动画视频的集合和一个包含 3 万个混合风格视频的集合。

核心贡献

识别失效模式： 本文明确将 DMD2 中的模式崩塌和过度饱和归因于反向 KL 目标的模式寻求特性。
DFD 框架： 提出了一种简单有效的后训练框架，通过教师得分差异将真实数据直接注入分布匹配梯度。
实现简单性： 与 DMD2 相比，该方法仅需单行代码修改，并且无需使用 DMD2 中用于隐式处理真实数据的辅助 GAN 判别器，从而消除了训练不稳定性。
理论分析： 作者为该正则项提供了理论证明，证明了当学生模型完美时其均值为零，并推导出了梯度方差保持有界的条件。

实验结果

作者在三个任务上使用不同的预训练模型对 DFD 进行了评估：

文本生成视频 (T2V)： 蒸馏 Wan2.1-1.3B 模型。
图像生成视频 (I2V)： 蒸馏 Cosmos-Predict2.5-2B 模型。
自回归视频生成： 在 Self Forcing 框架内应用 DFD。

定量发现：

多样性： DFD 在视觉多样性指标（CLIP/DINO 相似度）和相机姿态多样性方面显著优于 DMD2 和多样性保持 DMD (DP-DMD) 基线。
质量： DFD 在 VBench 上实现了更高的美学质量和运动平滑度分数。在 I2V 任务中，DFD 在多个指标上甚至超越了教师模型，特别是在主体和背景一致性方面。
保真度： 该方法有效地解决了基线模型中观察到的过度饱和伪影和幻觉问题（例如多出物体或车厢断开等结构异常）。

定性发现：
视觉对比显示，与 DMD2 和 DP-DMD 相比，DFD 生成的视频具有更好的时间连贯性、物理合理性（例如：一致的物体计数、真实的运动）以及更细腻的细节（例如：纹理保持）。

消融实验：

GAN 损失： 移除 DMD2 所依赖的 GAN 损失并未降低性能；事实上，它提升了动态程度和成像质量，证实了 DFD 能够在没有对抗训练的情况下提供显式的真实数据引导。
预训练： 从零开始应用 DFD（不经过 DMD2 预训练）会导致无法收敛，这验证了有效性条件的必要性（即学生模型必须接近真实数据）。
批大小 (Batch Size)： 将批大小从 16 扩展到 128 进一步提升了时间稳定性和物理合理性。

意义与局限性

意义：
本文声称 DFD 成功解决了视频生成中基于分布蒸馏的持久性失效模式。通过显式引导学生模型趋向真实数据分布，DFD 在不引入 GAN 的复杂性或轨迹法导致的质量下降的情况下，恢复了多样性和保真度。该方法被呈现为一种鲁棒、高效且易于采用的方案，用于加速高质量视频生成。

局限性：
作者承认，虽然 DFD 改进了少步数生成，但在极端受限的预算下（例如 2 步或更少步数）性能仍然有限。在如此激进的条件下，模型在处理快速移动物体（模糊）、精细细节（保真度丢失）时仍会遇到困难，并可能退化为静态视频。

社会影响：
论文指出，虽然 DFD 通过降低计算成本使高保真视频生成变得更加普及，但也加速了生成式模型相关的风险，如深度伪造和虚假信息。作者强调需要将这些蒸馏模型与安全过滤器、溯源追踪和水印技术相结合。