技术摘要：TokenTrim

问题陈述

自回归视频生成已成为合成长视频的主流范式，通过将新生成的帧批次迭代地以先前生成的内容为条件进行生成。然而，这种方法存在**时间漂移（temporal drift）**问题，即早期帧中引入的微小误差和不一致性会在长时程中累积并放大。这种累积会导致身份变化、结构退化、全局相干性丧失以及语义崩溃。

近期缓解漂移的尝试集中在加强长程条件控制（例如：时间性的键值（Key-Value）缓存、锚点标记）或修改训练过程（例如：带有随机梯度截断的自强制学习）。作者假设这些方法仍然脆弱，因为它们未能解决推理阶段误差传播的根本原因：对受损潜变量条件标记（latent conditioning tokens）的失控复用。一旦某个区域的潜状态发生损坏，它就会在随后的自回归步骤中被反复复用，从而主导注意力机制并向前传播误差。目前的系统缺乏一种评估哪些缓存的潜变量标记是可靠的方法。

方法论：TokenTrim

作者提出了 TokenTrim，这是一种完全在推理阶段运行的方法，旨在识别并在不稳定潜变量标记被用于条件化之前将其移除。TokenTrim 完全在潜空间内运行，不需要架构更改，无需重新训练，且引入的计算开销极小。

该方法由以下核心组件组成：

1. 运动稳定初始化

为了减少早期阶段的损坏，第一批帧使用 FlowMo 生成，这是一种引入了运动感知方差引导的推理阶段正则化技术。这产生了一个稳定的潜变量锚点。随后的批次则使用基础自回归模型生成。

2. 潜变量摘要构建

在每个自回归步骤 $t$，该方法将前一个生成的批次 ($X_{t-1}$) 和候选当前批次 ($X_t$) 编码为潜变量标记。为了实现直接比较，它通过在每个批次的各个帧（时间维度）上对空间潜变量标记进行平均，来构建潜变量摘要 ($Z_{t-1}$ 和 $Z_t$)。

3. 每标记漂移估计

该方法通过测量当前摘要与前一摘要之间在空间标记索引 $i$ 处的欧几里得距离，来计算每个空间标记索引 $i$ 的漂移得分 ($d_i$)：
$$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$$
高漂移得分表示特定标记位置可能存在损坏或语义偏差。

4. 自适应触发与严重程度评估

TokenTrim 并非无条件地进行剪枝，而是评估当前批次是否表现出异常漂移。

• 它识别出具有最高漂移得分的前 $p \cdot N$ 个标记（其中 $p$ 是剪枝比例，$N$ 是总标记数）。
• 它计算这些前列标记的平均漂移作为漂移严重程度得分 ($D_t$)。
• 它维护来自先前被接受批次的漂移严重程度的运行统计数据（均值 $\mu_t$ 和标准差 $\sigma_t$）。
• 仅当 $D_t > \mu_t + \lambda\sigma_t$ 时，才会触发剪枝干预，其中 $\lambda$ 是敏感度超参数。初始阶段使用预热期 ($T_{warm}$) 来积累可靠的统计数据。

5. 硬剪枝与再生

当超过漂移准则时：

• 对时间性的键值（KV）缓存应用空间剪枝掩码，移除对应于不稳定标记位置的键（Keys）和值（Values）。
• 当前批次会被再生一次，并以这个被剪枝后的缓存为条件。
• 如果再生的批次仍然违反漂移准则，则直接接受该批次以防止出现无限循环。
• 如果未超过漂枝准则，则在不作修改的情况下接受该批次。

TokenTrim 与利用带有 KV 缓存的自注意力机制的自回归框架兼容，特别是在 Self Forcing 和 Rolling Forcing 上得到了验证。

核心贡献

1. 推理阶段漂移检测： 本文引入了一种在推理过程中显式检测不稳定潜变量标记的机制，将研究重点从模型容量转向信息传播控制。
2. 潜变量标记硬剪枝： 不同于修改整个空间区域或模型参数的方法，TokenTrim 选择性地从自回归上下文中移除特定的损坏标记，防止不可靠的信息影响后续步骤。
3. 无需训练的集成： 该方法无需修改模型权重、训练程序或离开潜空间，因此能够兼容现有的最先进视频生成框架。
4. 运动稳定初始化： 集成 FlowMo 用于初始批次提供了一个稳定的锚点，补充了剪枝机制。

实验结果

作者在采用 Rolling Forcing 和 Self Forcing 策略的 Wan2.1-1.3B 文本生成视频模型上评估了 TokenTrim。

• 定量性能 (VBench)：
  • 在 Rolling Forcing 上，TokenTrim 将最终得分从 75.12% 提升至 79.67%（+4.55%），在质量（Quality）和语义（Semantic）得分方面有显著增益（分别提升 +5.58% 和 +3.53%）。
  • 在 Self Forcing 上，最终得分从 75.93% 增加到 81.84%（+5.91%）。
  • TokenTrim 在所有聚合指标上均一致优于 FlowMo（一种推理阶段运动引导方法）和基准自回归方法。
• 人类偏好研究 (VideoJAM-Bench)：
  • 在头对头比较中，TokenTrim 在减少时间漂移方面显著优于基准模型和 FlowMo（对于 Rolling Forcing 基准为 41.7% vs 15.2%；对于 Self Forcing 为 49.7% vs 10.2% vs FlowMo）。
  • 它在运动连贯性和审美质量方面也表现出卓越的性能，同时保持了文本-视频的一致性。
• 效率： 与基准相比，TokenTrim 仅增加了 1.08倍 的实际运行时间，而适配了 FlowMo 的设置则产生了 2.18倍 的减速。
• 消融实验：
  • 激进的剪枝（20%）会导致性能严重下降，而适度的剪枝（10%）效果最佳。
  • 去除 FlowMo 初始化会降低性能，证实了稳定起始点的补充效益。

意义与主张

本文声称，时间漂移不仅是一个建模或数据问题，更是一个推理阶段的信息传播问题。通过将 KV 缓存视为一个主动的、自我修正的记忆机制而非被动的历史日志，TokenTrim 证明了仅通过在推理时控制条件上下文，就能显著减少时间漂移。

作者总结道，未来无限视频合成的进展可能不仅取决于模型能记住多少上下文，还取决于其选择性丢弃威胁到现实完整性的噪声的能力。他们将 TokenTrim 定位为一种独特的、尚未被充分探索的机制，能够在不进行重训或架构修改的计算成本下，提高长时程的时间一致性。