Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers

这是一份关于论文 《Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers》 (LDF-VFI) 的详细技术总结。

1. 研究背景与问题 (Problem)

现有的视频帧插值（VFI）方法主要存在以下两个核心局限性：

• 以帧为中心的范式导致时序不一致： 传统方法（包括基于光流和基于扩散模型的方法）通常将视频视为独立的短片段（如三元组），仅根据相邻帧合成中间帧。这种“以帧为中心”（Frame-centric）的处理方式忽略了插值帧之间的时序依赖关系，导致在长序列或大运动场景下出现时序不一致（Temporal Inconsistency）和运动伪影。
• 计算复杂度高与分辨率扩展性差： 现有的扩散 Transformer（DiT）架构通常采用全注意力机制，其计算复杂度随序列长度和分辨率呈二次方增长，难以处理高分辨率（如 4K）视频。此外，直接对整段视频进行单次推理在计算上是不可行的，而简单的分块处理又难以保证块间的长期一致性。
• 自回归生成的误差累积： 虽然自回归（Auto-regressive, AR）生成可以处理长序列，但传统的因果推理（Causal Inference）会导致“暴露偏差”（Exposure Bias），即模型基于自身不完美的输出进行条件生成，导致误差随时间步累积，视频质量逐渐下降。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 LDF-VFI（Local Diffusion Forcing for Video Frame Interpolation），这是一个基于自回归扩散 Transformer 的以视频为中心（Video-centric）的全局建模框架。

核心架构与组件：

1. 以视频为中心的全局建模：

   • 不再单独预测每一帧，而是将输入视频分解为固定长度的时间块（Chunks）。
   • 在每个块内，模型通过单次推理同时合成该块内的所有帧，确保块内的时序一致性。
   • 通过自回归方式连接所有块，实现长距离的块间一致性。

2. 跳接 - 拼接采样策略 (Skip-Concatenate Sampling)：

   • 这是解决自回归误差累积的关键创新。
   • Skip Chunk（跳接块）： 模型定期生成一个独立于最近上下文（即不依赖前一个生成的块）的块。这相当于“重置”了生成状态，切断了误差传播链。
   • Concatenate Chunk（拼接块）： 随后生成一个条件块，该块同时基于新的 Skip Chunk 和之前的上下文进行生成，从而无缝填补时间间隙。
   • 这种策略在保持长序列时序稳定性的同时，有效抑制了误差累积。

3. 高效的空间 - 时间注意力机制：

   • 稀疏局部注意力 (Sparse Local Attention)： 在空间维度上采用基于分块的滑动窗口注意力（局部），避免全注意力的二次方复杂度；在时间维度上采用全注意力（密集），以捕捉复杂的非局部运动模式。
   • 平铺 VAE 编码 (Tiled VAE Encoding)： 将视频帧在空间上分割为重叠的图块进行独立编码，并在潜在空间进行平滑混合。这使得模型能够处理任意分辨率（如 4K）的视频而无需重新训练，且显存占用恒定。

4. 条件 VAE 解码器 (Conditional VAE Decoder)：

   • 为了提升重建保真度，设计了一个增强的条件解码器。
   • 利用 ControlNet 的思想，从低帧率输入视频中提取多尺度特征，并通过零初始化卷积层注入到解码器的各个层级。
   • 这提供了细粒度的上下文指导，显著提升了生成帧的清晰度和对原始场景的忠实度。

5. 扩散强迫训练 (Diffusion Forcing Training)：

   • 在时间块级别应用扩散强迫策略。对每个块的不同潜在变量采样独立的噪声水平，使模型能够学习在不同噪声水平下基于其他块（包括清洗过的生成块）预测速度场，从而支持自回归推理。

3. 关键贡献 (Key Contributions)

1. 范式转变： 提出了首个基于自回归扩散 Transformer 的以视频为中心的 VFI 框架，从“独立帧合成”转向“全局时序建模”，显著提升了长序列和大运动场景下的时序一致性。
2. 误差抑制机制： 创新性地提出了 Skip-Concatenate 采样策略，有效解决了自回归生成中的暴露偏差和误差累积问题，实现了任意长度视频的时序稳定生成。
3. 高分辨率扩展性： 结合稀疏局部注意力和平铺 VAE 编码，实现了在无需重新训练的情况下对 4K 等超高分辨率视频的高效推理。
4. 新基准测试： 针对现有基准仅评估独立帧对的问题，构建了 SNU-FILM-entire 和 X4K-entire 两个以完整视频为评估对象的新基准，更全面地衡量 VFI 性能。

4. 实验结果 (Results)

在多个具有挑战性的基准测试中，LDF-VFI 取得了最先进（SOTA）的性能：

• 定量指标：
  • 在 SNU-FILM (4x, 8x, 16x) 和 X4K-entire (16x) 基准上，LDF-VFI 在衡量时序一致性的关键指标 FVD (Fréchet Video Distance) 上均取得了最佳成绩，显著优于 RIFE、AMT、EDEN 等现有方法。
  • 在感知质量指标 LPIPS 和运动感知指标 VFIPS、FloLPIPS 上也表现出极强的竞争力，特别是在大运动场景下。
• 定性分析：
  • 在快速运动（如鸟翼扇动、人腿快速移动）场景中，LDF-VFI 生成的中间帧比基线方法更清晰、更连贯，有效避免了模糊和运动伪影。
  • 时序切片分析显示，Skip-Concatenate 策略成功消除了块边界处的时序不连续跳变。
• 效率与扩展性：
  • 利用稀疏注意力和 Ulysses 序列并行（USP），模型能够在 4K 分辨率下高效推理。
  • 消融实验证明，Skip-Concatenate 策略和条件 VAE 解码器分别显著提升了时序稳定性和空间重建质量。

5. 意义与影响 (Significance)

• 理论意义： 该工作证明了在视频生成任务中，从“帧级”向“视频级”建模转变的必要性，并展示了自回归扩散模型在长序列视频处理中的巨大潜力。
• 技术突破： 提出的 Skip-Concatenate 采样策略为自回归生成任务中的误差累积问题提供了一种新颖且有效的解决方案，不仅适用于 VFI，也可能对视频生成、长序列建模等其他领域具有借鉴意义。
• 应用价值： 能够处理 4K 分辨率和大运动场景，使得该技术在实际应用（如高帧率视频生成、慢动作处理、视频修复）中具有更高的实用价值。
• 社区贡献： 开源了代码和新构建的“以视频为中心”的基准测试，推动了 VFI 领域从局部评估向全局评估的标准化发展。

总结： LDF-VFI 通过结合自回归扩散 Transformer、创新的采样策略以及高效的注意力机制，成功解决了视频帧插值中长期存在的时序不一致和高分辨率处理难题，代表了该领域向更高质量、更长序列、更高分辨率方向发展的新里程碑。