💻 computer science

End-to-End Training for Autoregressive Video Diffusion via Self-Resampling

本文介绍了重采样强制（Resampling Forcing），这是一种用于自回归视频扩散模型的无教师、端到端训练框架，该框架利用自重采样来缓解曝光偏差，并利用历史路由来实现高效且时间一致的长程生成。

原作者： Yuwei Guo, Ceyuan Yang, Hao He, Yang Zhao, Meng Wei, Zhenheng Yang, Weilin Huang, Dahua Lin

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuwei Guo, Ceyuan Yang, Hao He, Yang Zhao, Meng Wei, Zhenheng Yang, Weilin Huang, Dahua Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教导电影制作者如何应对错误

想象一下，你正在训练一个机器人，让它一帧一帧地制作电影。机器人观察前一个场景，构思接下来的画面，然后画出那一帧新的画面。它不断重复这个过程，从而创作出一段长视频。

这里的问题在于曝光偏差（Exposure Bias）。

训练期间： 老师向机器人展示的是完美的前序帧（就像给学生看标准答案）。机器人基于这种完美状态来学习如何绘制下一帧。
制作电影时（推理阶段）： 机器人必须根据自己画出的前序帧来绘制下一帧。由于机器人的绘画并不完美，微小的错误会随之产生。因为机器人只在完美状态下接受过训练，它不知道如何处理这些微小的误差。错误会像滚雪球一样越滚越大，直到整个视频崩溃成一团乱码。

之前的解决方案试图通过雇佣一位“超级老师”（一个庞大、复杂的模型）在事后纠正机器人的错误，或者使用一个“裁判”（判别器）来评判作品。这些方法既昂贵又缓慢，且需要额外的模型。

本论文提出了一种新方法： 我们不再雇佣超级老师，而是从第一天起就教机器人如何在不完美的条件下进行练习。

核心创新：“自重采样”（“模糊镜头”类比）

作者将他们的方法称为重采样强迫（Resampling Forcing）。以下是其工作原理的拆解：

1. “模糊镜头”训练（模拟错误）

在传统的训练中，机器人看到的是清晰透彻的历史记录。在这种新方法中，训练过程会在机器人尝试预测下一帧之前，特意将历史记录“模糊化”。

类比： 想象一位正在学习画风景画的画家。通常情况下，他们会看着一张完美的山脉照片。而在这种新方法中，老师拿走那张完美的照片，用手指将其稍微抹糊（模拟一个错误），然后要求画家基于这张模糊的照片来完成绘画。
原理： 计算机获取“完美”的前序帧，加入一点数字噪声（损坏），然后利用机器人当前的“大脑”将其进行适度的“修复”，从而生成一个略微不完美的版本。随后，机器人必须基于这个略微不完美的版本来预测下一帧。
结果： 机器人学会了变得更具鲁棒性（稳健性）。它明白了：“嘿，过去的情况可能看起来有点奇怪，但我仍然可以推断出接下来会发生什么。”这阻止了错误像雪球一样失控增长。

2. “智能图书管理员”（历史路由）

随着视频变长，机器人需要记忆越来越多的帧。如果它试图查看每一个之前的帧来决定画什么，它会被压垮（就像为了写一句话而去阅读图书馆里的每一本书一样）。这既缓慢又耗费内存。

类比： 想象一位图书管理员需要根据过去 1,000 本书的内容来写一个故事。他不需要读完所有 1,000 本书，而是拥有一张神奇的索引卡。当被要求写下一章时，这张卡片会立即指向过去最相关的前 5 本书。
原理： 论文引入了一个“历史路由（History Routing）”系统。机器人不再观察整个历史，而是动态地挑选出最重要的前几帧（例如前 5 帧）进行重点关注。
结果： 即使在制作非常长的视频时，机器人也能保持高效运行且不会耗尽内存，同时不会失去维持故事连贯性的能力。

为什么这种方法更好（“原生训练”优势）

许多其他方法试图在模型训练之后解决问题（后训练/Post-training）。它们先训练一个模型，然后尝试将知识从一个巨大的、完美的模型中“蒸馏（压缩）”到较小的模型中。

论文观点： 这就像是通过让学生观看专业驾驶员来教他们开车，然后再把方向盘交给他们。这种技能转移很难做到完美。
新方法： 本文使用“模糊镜头”法从**零开始（端到端）**训练模型。模型在学习绘画的同时，就在学习如何处理错误。
结果： 最终生成的模型能创造出比“蒸馏”模型更长、更稳定的视频。它不需要预先存在一个巨大的老师模型，因此训练成本更低，也更容易实现。

实验结果总结

长视频： 该模型可以生成 15 秒（甚至可能更长）的视频而不会出现质量崩塌，而其他方法在几秒钟后就会开始变得模糊或怪异。
物理规律： 视频更好地遵循物理定律。例如，如果一个杯子正在注水，水位会持续上升。其他方法可能会让水位忽升忽降，因为它们失去了对“因果关系”的追踪。
效率： 通过仅观察“前 5 帧”（而不是全部历史帧），该模型运行速度更快，占用的计算内存更少，且几乎没有损失质量。

简而言之

这篇论文教会了视频 AI 如何具备韧性。与其在训练期间对错误避而不谈，不如故意给它混乱、不完美的历史记录进行练习。这样，当它制作真正的电影时，它知道如何处理自己的微小错误，而不至于让整个视频崩溃。此外，它还利用“智能图书管理员”的小技巧，即使在电影变得很长时也能保持高效。

技术摘要：用于自回归视频扩散模型的重采样强迫（Resampling Forcing）

问题陈述

自回归（AR）视频扩散模型为世界模拟提供了一种极具前景的范式，通过以过去观测为条件来预测未来帧，从而严格遵循物理动力学的因果性。然而，这些模型深受曝光偏差（exposure bias）的影响。在训练期间，模型通常依赖“教师强迫（teacher forcing）”，即以真实的地面真值（ground-truth）历史帧作为条件。但在推理阶段，它们必须以自身生成的（且不完美的）输出作为条件。这种训练与测试之间的不匹配导致了误差累积，即早期预测中的微小伪影会在自回归展开过程中被放大，往往导致长时程生成中出现灾难性的视频崩溃。

现有的缓解这种不匹配的方案通常依赖于需要辅助模型的后训练策略：

基于蒸馏的方法（例如 Self Forcing）： 先训练一个双向教师模型，然后将其蒸馏到因果学生模型中。这引入了对非因果教师模型的依赖，而后者会泄露未来信息，从而破坏严格的时刻因果性。
对抗方法（例如 AAPT）： 联合优化生成器和判别器。这需要复杂的在线判别器训练，并限制了可扩展性。

此外，将自回归生成扩展到长视频会加剧注意力机制的复杂度，因为历史上下文会无限增长，从而为训练和推理都造成计算瓶颈。

方法论：重采样强迫

作者提出了重采样强迫（Resampling Forcing），这是一个端到端的、无需教师的框架，旨在从头开始训练自回归视频扩散模型。其核心理念是在保持清晰预测目标的同时，训练模型对输入扰动（模拟误差）具有鲁棒性。

1. 自重采样机制

为了在训练期间模拟推理时的模型误差，该方法引入了一种**自重采样（self-resampling）**方案：

过程： 模型不再以干净的地面真值历史为条件，而是以“退化的”历史帧为条件。
实现：
1. 地面真值帧被破坏至一个采样的时间步 $t_s$ （引入噪声）。
2. 使用在线模型本身（带有当前权重）进行自回归，完成从 $t_s$ 到 0 的剩余去噪步骤，生成一个退化的、无噪声的帧 $\tilde{x}$ 。
3. 这个包含模型诱导误差的退化帧 $\tilde{x}$ ，随后被用作预测下一帧的条件。
关键设计： 梯度从该重采样过程中分离（detached），以防止“捷径学习”（即模型学会忽略输入而非纠正输入）。这迫使模型学会纠正自身的缺陷。
时间步采样： 破坏时间步 $t_s$ 从对数正态分布中采样，并通过参数 $s$ 进行偏移，以平衡历史忠实度与误差纠正的灵活性。在切换到重采样强迫之前，首先采用使用标准教师强迫的预热阶段。

2. 用于高效注意力的历史路由

为了解决在长时程生成中关注不断增长的历史所带来的计算成本问题，作者引入了一种**无参数的历史路由（history routing）**机制：

动态检索： 模型不再是对所有先前帧进行注意力计算（密集因果注意力）或使用固定滑动窗口，而是针对每个查询标记（query token）动态检索最相关的 top- $k$ 个历史帧。
选择指标： 相关性由查询标记与历史帧键（keys）的平均池化描述符之间的点积决定。
复杂度： 这将注意力复杂度从随视频长度 $L$ 呈线性变化的 $O(L)$ 降低到了常数级的 $O(k)$ ，同时通过允许多样化的上下文组合，保持了比固定窗口更大的感受野。

3. 训练目标

模型使用**稀疏因果掩码（sparse causal mask）**进行训练，该掩码强制执行时间因果性（帧仅能关注过去的帧），同时通过逐帧扩散损失实现并行训练。损失是在模型预测值与地面真值干净帧之间计算的，并以退化的（重采样的）历史为条件。

核心贡献

无需教师的端到端训练： 首个无需依赖双向教师或判别器即可从头开始训练自回归视频扩散模型的框架，避免了未来信息的泄露。
重采样强迫算法： 一种新颖的自重采样策略，通过在训练期间模拟推理时的误差，有效地缓解了误差累积并稳定了长时程生成。
无参数的历史路由： 一种动态机制，能够选择相关的历史上下文，实现高效的长视频生成，具有近乎常数的注意力复杂度和相对于密集注意力的极低质量损失。
原生长视频训练： 具备在长序列（如 15 秒）上进行原生训练的能力，而非依赖于从短片段进行的蒸馏，从而实现了卓越的时间一致性。

实验结果

该方法在 Wan2.1-1.3B 架构上进行了评估，并在 5 秒和 15 秒视频上进行了训练。

定性性能：
- 稳定性： 与基线模型（如 Pyramid Flow, CausVid）在时间推移过程中表现出的颜色和纹理逐渐退化不同，重采样强迫在 15 秒视频中保持了稳定的视觉质量。
- 因果性： 在物理模拟（如倒牛奶）中，该模型严格遵守因果律（液体液位单调上升），而基于蒸馏的基线（如 LongLive）由于其教师存在未来信息泄露，往往会违反因果律。
定量性能 (VBench)：
- 该方法在 0–5s、5–10s 和 10–15s 段上的时域和视觉质量得分，达到了与最先进的蒸馏基线（Self Forcing, CausVid）相当或更好的水平。
- 由于采用了原生长度训练，该方法在长视频的时间一致性方面优于基线模型。
效率：
- 历史路由机制实现了 75% 的注意力稀疏性（从 20 帧中选出 top-5），且与密集注意力相比质量下降微乎其微。
- 它消除了对竞争对手蒸馏方法所需的 14B 参数双向教师模型的依赖。

意义与主张

论文声称，重采样强迫通过无需辅助模型解决了根本的曝光偏差问题，提升了自回归视频世界模型的可扩展性。通过在训练期间模拟误差，模型学会了纠正自身的漂移，从而实现了稳定的长时程生成。集成动态历史路由进一步解决了长上下文注意力的内存和计算瓶颈。作者将这项工作定位为一种训练鲁棒、严格因果的视频模型的可行路径，为那些为了质量而牺牲时间因果性的蒸馏管线提供了一个实用的替代方案。