技术摘要：TeDiO——用于免训练连贯视频扩散的时序对角优化

1. 问题陈述

尽管文本到视频扩散 Transformer（如 Wan2.1、CogVideoX）取得了快速进展，但当前最先进的模型在时序连贯性方面仍面临困难。虽然单个帧通常具有视觉吸引力，但生成的视频经常存在以下问题：

• 闪烁与漂移：纹理和物体在帧与帧之间发生不可预测的偏移。
• 运动不一致：全局运动缺乏连续性，导致物理上不可信的动力学表现。
• 伪影：主体重复、物体融合以及“抖动”运动等问题破坏了真实感的幻觉。

针对这些问题的现有解决方案通常涉及：

1. 重新训练：修改架构或使用显式的运动一致性监督来训练模型，这需要大规模数据集且计算成本高昂。
2. 外部监督：在推理过程中使用光流网络或多 GPU 流水线等辅助组件，这降低了实用性和通用性。

本文提出了一个根本性问题：能否仅利用扩散模型内部的信号，在不重新训练、无需外部监督或架构改变的情况下，高效地提升时序连贯性？

2. 关键观察

作者发现模型内部的时序自注意力与生成运动的质量之间存在直接且可测量的联系：

• 不连贯运动：在注意力图的时序对角线上产生不规则、破碎且锯齿状的图案。
• 连贯运动：对应于这些图中平滑、清晰、带状的对角线图案，表明帧与帧之间的对齐稳定。

这一观察揭示，运动稳定性在 Transformer 的注意力机制内部留下了“足迹”，提供了一种可在推理过程中利用的自诊断信号。

3. 方法论：TeDiO（时序对角优化）

TeDiO 是一种免训练、推理时的方法，通过正则化自注意力图中的时序对角线来增强运动连贯性。它作为即插即用的增强模块，适用于现有的视频扩散 Transformer。

核心机制

1. 重参数化：在采样过程中，来自冻结扩散 Transformer（DiT）特定块的查询（$Q$）和键（$K$）被重塑以隔离时序交互。该方法不再使用展平的时空轴，而是将空间位置和注意力头进行分组，同时保持时序维度（$F$）显式存在。
2. 对角线分析：对于每个空间 - 头（spatial-head）图块，计算时序注意力图。该方法聚焦于主对角线（$b=0$）及其紧邻邻居（$b=\pm1$），它们分别代表自一致性和连续帧之间的运动连续性。
3. 变异性评分：为每个图块计算对角线变异性分数（$S(p)$）。该分数测量对角线带沿线的局部波动（梯度）。高分表示“生硬”的时序行为（注意力突变），而低分表示运动稳定。
4. 选择性优化：
   • TeDiO 识别变异性分数最高的前 $k$ 个图块（即最不稳定区域）。
   • 它基于这些分数的总和定义损失函数（$L_{TeDiO}$）。
   • 在扩散早期时间步（全局运动轨迹在此阶段形成），通过少量梯度步骤更新潜在表示（$z_t$）：$z_t \leftarrow z_t - \eta \nabla_{z_t} L_{TeDiO}$。
   • 此更新促使注意力图采用更平滑的带状对角线模式。

操作特性

• 免训练：无需修改模型权重（$\theta$）。
• 无外部监督：不依赖光流估计器、判别器或其他外部模型。
• 高效性：在单张 GPU 上运行，计算开销可忽略不计（相比基线约增加 1.1 倍运行时间）。
• 时机：仅在前几个扩散步骤（$\tau_1, \dots, \tau_\ell$）中应用，以播种可贯穿整个生成过程的连贯性。

4. 实验结果

该方法在两个最先进的开源模型上进行了评估：Wan2.1-1.3B（流匹配）和CogVideoX-5B（去噪）。

基准测试

• VBench：评估标准提示下的感知质量和时序质量。
• VideoJAM-Bench：使用 128 个旨在暴露时序不稳定性和复杂交互的挑战性提示。

定量发现

TeDiO 在两个模型和基准测试中一致地改善了关键指标：

• 运动平滑度：显著提升（例如，Wan2.1 在 VBench 上的得分从 98.32 提升至 98.78）。
• 时序闪烁：减少了静态提示中的闪烁现象。
• 主体与背景一致性：连续帧之间的相似度更高。
• 感知质量：美学质量和成像质量得分得到改善。
• 动态程度：观察到轻微下降，作者将其归因于高频时序噪声（抖动）的去除，而非有意运动的丢失。生成的运动轮廓与真实世界视频数据集（WebVid、UCF-101）高度吻合。

与 SOTA 的比较

与相关的推理时优化方法FlowMo [42] 相比：

• 性能：TeDiO 在运动平滑度（+0.62 对比 +0.06）和主体一致性（+1.68 对比 -0.69）方面取得了更大的提升。
• 效率：TeDiO 在1 张 GPU上运行，运行时间开销为1.1 倍；而 FlowMo 需要2 张 GPU，且由于全反向传播，运行时间开销高达2.39 倍。

用户研究

在使用 VideoJAM-Bench 提示的 10 名参与者的感知研究中，TeDiO 生成的视频因其卓越的时序连贯性而受到强烈青睐，优于基础模型。

5. 主要贡献

1. 结构联系的发现：本文揭示了时序注意力对角线与运动稳定性之间的可量化关系，为分析视频扩散 Transformer 提供了新视角。
2. TeDiO 框架：提出了一种免训练、推理时的方法，通过正则化时序注意力中的对角线变异性来优化输入潜在变量。它无需权重更新或外部监督。
3. 实证验证：证明了在多个扩散骨干网络（Wan2.1、CogVideoX）和基准测试中，时序平滑度、感知稳定性和视频真实感均有一致的提升。

6. 意义与主张

本文认为，动态真实感的显著提升并不一定需要扩大模型规模或训练数据。相反，利用扩散 Transformer 内部已编码的时序结构提供了一条高效的前进路径。

TeDiO 代表了向推理时优化的转变，其特点包括：

• 模型无关：适用于各种架构（流匹配或去噪）和规模。
• 实用：消除了对昂贵重新训练或复杂多 GPU 设置的需求。
• 可解释：利用内部注意力信号作为直接的诊断和优化工具。

局限性

作者谦逊地指出，TeDiO：

• 无法纠正基础模型固有的语义错误或提示对齐问题。
• 对于极长视频或复杂场景转换，其收益可能会递减。
• 对于本质上难以处理的运动（如需要底层模型未很好表征的精确长程协调的杂技动作），效果较差。
• 需要访问中间注意力图，这在闭源实现中可能无法获取。