想象一下，你有一位主厨（教师模型），能烹制出一道完美且复杂的 10 秒视频菜肴。问题在于，这位主厨极其缓慢。为了把菜做好，他们要品尝、调整、再品尝、再调整，反复 50 次才端上桌。如果你希望每天都能得到一道菜，这个过程将耗时无穷，并耗尽你厨房的所有电力（计算能力）。
本文介绍了DOLLAR，一种训练学生主厨的新方法，使其能在仅4 步（甚至 1 步）内烹制出完全相同的美味菜肴，且不损失任何风味或质量。
以下是他们通过三个简单技巧实现这一目标的方法：
1. “试味”与“一致性”训练
通常，当你试图教导学生快速烹饪时，会遇到两个问题：
- 问题 A（“乏味”的学生）： 如果你只是让学生模仿主厨的最终菜肴，他们可能能掌握味道，但每次都会做出完全相同的菜肴（缺乏多样性）。
- 问题 B（“混乱”的学生）： 如果你让他们发挥创意并加快速度，菜肴可能看起来不错，但味道糟糕或不一致。
作者通过结合两种训练方法解决了这个问题：
- 变分分数蒸馏（VSD）： 这就像学生品尝主厨的菜肴，并尝试完美匹配其风味特征。它确保视频具有高质量。
- 一致性蒸馏（CD）： 这就像一种训练，让学生练习直线烹饪。它确保无论他们如何开始烹饪，最终都能得到一致的结果。这保持了视频的多样性，防止它们变成“乏味”的复制品。
通过混合这两种方法，学生学会了既高质量又多样化，但速度快得多。
2. “秘制酱汁”（潜在奖励优化）
即使有了快速的学生，有时视频也不完全符合你的要求。也许你希望它看起来更“电影化”或拥有更好的光线。通常，要解决这个问题，你必须将视频发送给一位巨大而缓慢的“美食评论家”（奖励模型），由他检查每一个像素。这很慢，并且需要巨大的厨房（计算机内存）。
作者发明了一种潜在奖励模型（LRM）。
- 类比： 他们不是将成品（且沉重）的视频送给评论家，而是训练一个微小的、口袋大小的“迷你评论家”，在视频完全烹制之前就对其食材（潜在空间）进行评判。
- 优势： 这个迷你评论家微小、快速，且无需看到整个视频即可提供反馈。它会告诉学生主厨：“你的光线有点偏差”，学生随即立即调整。这使得学生能够超越主厨原有的技能，特别是在美学或文本对齐等方面，而无需超级计算机。
3. 结果：超快厨房
论文声称，使用这种方法：
- 速度： 他们可以在4 步内生成 10 秒视频，而不是 50 步。这比原始方法快高达278 倍。这几乎就像实时生成一样。
- 质量： 学生视频在标准测试（称为VBench）中的得分高于原始主厨，以及其他顶级竞争对手如 Gen-3 和 Kling。
- 效率： 由于他们使用“迷你评论家”（潜在奖励模型）而不是巨大的那个，他们节省了海量的计算机内存。你不需要超级计算机来运行它；它可以在标准的高端 GPU 上运行。
总结
将DOLLAR视为一个训练项目，它将一个缓慢、追求完美的视频生成器转变为一位闪电般的艺术家。它通过以下方式实现：
- 教导艺术家同时做到准确和富有创意。
- 为他们配备一个微小、智能的助手，提供即时质量反馈，因此他们无需等待缓慢的巨型计算机来检查他们的工作。
其结果是一个系统，能在几秒钟内而非几分钟内创建高质量、多样化的视频，使“实时”视频生成成为现实。
技术摘要：DOLLAR（蒸馏与潜在奖励优化）
问题陈述
扩散概率模型在文本到视频（T2V）生成领域已取得显著突破；然而，其实际应用受限于计算效率低下。标准扩散模型需要数百次迭代采样步骤才能生成高质量视频，使得实时或近实时生成不可行。虽然减少采样步数（少步生成）提高了效率，但通常会导致权衡：视频质量显著下降、多样性丧失（模式崩溃），或无法与特定用户偏好对齐。此外，现有的蒸馏方法往往难以超越教师模型的性能，或在不进行昂贵重新训练的情况下适应特定的下游需求。
方法论
作者提出了DOLLAR，这是一个结合蒸馏与潜在奖励优化的框架，旨在实现高质量、多样化且少步的视频生成。该方法论包含三个核心组件：
1. 混合蒸馏策略（VSD + CD）
为了解决现有蒸馏方法的局限性，DOLLAR 集成了变分分数蒸馏（VSD）和一致性蒸馏（CD）：
- 变分分数蒸馏（VSD）： 通过最小化 Kullback-Leibler (KL) 散度，使学生的样本分布与教师模型对齐。虽然 VSD 在质量方面有效，但单独使用可能导致模式崩溃（多样性降低）。
- 一致性蒸馏（CD）： 确保沿扩散轨迹的样本预测保持一致，从而促进多样性。然而，单独使用 CD 可能会降低样本保真度并产生过度平滑的输出。
- 整合： 作者结合这些损失函数，以利用 VSD 的高保真度和 CD 的多样性。他们采用广义 CD方法，使用多步教师去噪函数（Denoisem）而非单步近似，从而提高了生成质量。学生模型从教师模型初始化，并使用共轭速度预测目标进行训练。
2. 潜在奖励模型（LRM）微调
为了进一步提升性能，超越教师模型的能力并与特定指标（如美学、文本对齐）对齐，作者引入了潜在奖励模型（LRM）：
- 机制： 不同于通过大型像素空间奖励模型和解码器进行反向传播梯度（这既占用内存又需要可微奖励），DOLLAR 直接在潜在空间中训练一个紧凑的、可微的奖励模型。
- 训练： LRM 被训练以利用生成的潜在样本来近似预训练像素空间奖励模型（如 HPSv2、PickScore）的分数。
- 优化： 扩散学生模型利用来自 LRM 的梯度进行微调。这种方法支持不可微的奖励指标，显著减少了内存使用（通过绕过解码器和大型奖励模型），并允许高效优化。
3. 多目标训练
最终的训练目标结合了蒸馏损失和奖励微调损失：
L(θ)=LVSD(θ)+βCDLCD(θ)+βFTLFT(θ;ϕ)
其中 LFT 是来自 LRM 的负期望奖励。这使得模型能够同时优化分布匹配、一致性和特定奖励指标。
主要贡献
- 高效少步蒸馏： 提出了一种结合 VSD 和 CD 损失的蒸馏方法，能够在仅需 4 步的情况下生成高质量、多样化的 10 秒视频（128 帧）。
- 广义一致性蒸馏： 通过利用多步教师去噪函数改进了标准 CD，增强了蒸馏过程的有效性。
- 潜在奖励优化： 一种新颖且内存高效的微调方法，使用紧凑的潜在奖励模型。该方法消除了对可微奖励模型的要求，并无需通过大型像素空间模型和解码器进行反向传播，使得基于奖励的微调对大型视频模型变得可行。
实验结果
该方法在大规模 T2V 设置（128 帧，12 FPS，192x320 分辨率）下，使用VBench基准和人类评估进行了评估。
- 性能与基线对比： 蒸馏后的 4 步学生模型实现了82.57 的 VBench 总分（使用 HPSv2 奖励），超越了教师模型（80.25）以及包括 Gen-3（82.32）、Kling（81.85）和 T2V-Turbo（81.01）在内的最先进基线。
- 质量与多样性： 学生在 16 项 VBench 指标中的 9 项上优于教师模型。CD 与 LRM 的结合成功缓解了纯 VSD 蒸馏中常见的模式崩溃问题，保持了高样本多样性（通过 Vendi 分数衡量）。
- 效率： 与 50 步教师模型相比，4 步学生模型实现了15.6 倍的加速。1 步配置实现了高达278.6 倍的加速，实现了近实时生成。
- 人类评估： 在成对比较中，**51.1%**的人类评估者更偏好 DOLLAR 模型（4 步）而非教师模型（50 步 DDIM），用于一般偏好，且显示出显著更高的视觉质量评分。
- 奖励微调： 使用 LRM 进行微调成功改善了特定指标（如文本 - 视频对齐、光照），而无需像 ReFL 或 DRaFT 等直接奖励梯度方法那样产生 prohibitive 的内存成本。
意义与主张
该论文声称，DOLLAR 通过解决生成效率与质量之间的权衡，显著推动了视频生成领域的技术进步。通过结合蒸馏与潜在奖励优化，该方法实现了：
- 实时潜力： 将扩散采样加速高达 278 倍，为实时视频生成应用铺平了道路。
- 超越教师模型： 证明了蒸馏后的学生模型可以超越其教师模型的性能，挑战了学生性能严格受限于教师模型上限的观念。
- 可扩展的微调： 提供了一种实用的解决方案，用于将视频生成模型与多样化的不可微奖励指标对齐，而无需承担像素空间反向传播的计算负担。
作者指出，虽然该方法取得了实质性改进，但仍面临提示长度偏差（模型在长描述性提示上表现更好）以及奖励过度优化的潜在风险，如果过于激进地追求特定指标，可能会降低整体视觉质量。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。