🤖 machine learning

LVSA: Training-Free Sparse Attention for Long Video Diffusion

LVSA 是一种无需训练、与模型无关的块稀疏注意力机制，它通过将结构化窗口与旋转全局锚点相结合，在显著加速长视频扩散推理并扩展生成视野的同时，保持或提升了视频质量，并随之引入了用于更准确质量评估的 VQeval。

原作者： Gael Glorian, Ioannis Lamprou, Zhen Zhang, Yujie Yuan, Hongsheng Liu

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Gael Glorian, Ioannis Lamprou, Zhen Zhang, Yujie Yuan, Hongsheng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图指导一部电影，而你的助手是一个非常聪明但有点不知所措的 AI。这个助手制作短片非常厉害，但当你要求它制作一部长电影（长达数百帧）时，它就开始陷入恐慌。

以下是这篇论文解决的问题，通过几个简单的故事来解释：

1. 问题所在：“不堪重负的图书管理员”

目前的视频 AI 模型就像一个必须在回答一个问题时，检查书架上每一本书的图书管理员。

成本： 如果你有 100 帧视频，图书管理员就要读 100 本书。如果你有 1,000 帧，他们就要读 1,000 本书。但关键在于：为了建立良好的联系，他们必须将每一本书与其它所有书进行比较。工作量不仅仅是翻倍，而是呈爆炸式增长（二次方关系）。这使得生成长视频变得极其缓慢且昂贵。
“冻结”故障： 当图书管理员太累时（因为视频太长），他们会停止创造性思考。他们只是开始一遍又一遍地重复同一页内容。在视频术语中，这意味着角色停止移动，背景停止变化，视频变成了一个“冻结”或“循环”的混乱状态。

2. 解决方案：LVSA（“聪明的导游”）

作者引入了 LVSA（长视频稀疏注意力机制）。你可以把它想象成用一位聪明的导游取代了那位不堪重负的图书管理员。

导游不再阅读图书馆里的每一本书，而是使用了一种聪明的策略：

局部窗口（The Local Window）： 对于当前的场景，导游只观察紧邻的周围环境（“局部窗口”）。这保持了细节的锐利和动作的流畅。
全局锚点（The Global Anchors）： 为了记住大局，导游会在电影中散布一些“地标”（全局锚点）。他们会定期检查这些地标，以确保故事没有偏离轨道。
旋转偏移（The Rotating Shift）： 这是神奇的魔术。在旧方法中，导游总是检查相同的地标。这导致了“冻结”故障，因为导游会对这些特定的地点感到厌倦。LVSA 会旋转这些地标。某一时刻，它检查电影的开头；下一时刻，它检查稍后一点的位置。这让导游保持新鲜感，并确保整个电影感觉是鲜活的，而不是静态的循环。

最棒的是： 导游不需要重新训练。你只需将这种新策略交给现有的 AI，它就能立即生效。

3. 结果：更快、更长、更好

团队在三种不同的强大 AI 模型（Wan 和 HunyuanVideo）上测试了这个“聪明的导游”，并发现：

速度： 它让生成长视频的速度比旧方法快了 3 倍（有时甚至更多）。
- 类比： 如果旧方法制作一段长片段需要 50 分钟，新方法大约只需要 16 分钟。
可行性： 此前有些视频根本无法制作，因为它们需要过多的计算内存（“图书管理员”用光了办公桌的空间）。LVSA 大幅缩小了所需的内存，使得这些长视频现在可以在单个标准计算机芯片上制作。
质量： 视频更加动态。角色动作自然，而不是冻结。
- “冻结”测试： 作者创建了一个新的评分工具叫做 VQeval。旧的评分工具就像一个老师，因为学生只是盯着墙壁看（表现得非常“一致”）就给出一个“A+”。VQeval 则是一个更严格的老师，它会给冻结的视频打“F”，给有真实动作的视频打“A”。LVSA 获得了“A”。

4. 现实世界测试

团队不仅在一种类型的计算机上进行了测试。他们展示了它在以下设备上的有效性：

GPU： 用于 AI 的标准强大芯片。
NPU： 一些新型设备中发现的专用芯片，证明了这种方法在不同硬件上的灵活性。

总结

LVSA 是一个免费的、即插即用的视频 AI 升级方案。它阻止了 AI 在制作长视频时变得“疲劳”并发生冻结。它通过让 AI 专注于眼前的动作，同时偶尔检查旋转的“地标”来推动故事发展来实现这一点。其结果是：视频制作更快，能适配更小的计算机，并且看起来真的是在移动的图像，而不是静态的幻灯片。

技术摘要：LVSA：用于长视频扩散的免训练稀疏注意力机制

1. 问题陈述

视频扩散 Transformer（DiTs），如 Wan 和 HunyuanVideo，在生成长视频时面临两个关键瓶颈：

计算成本： 标准的密集自注意力机制（Dense Self-Attention）随序列长度（帧数）呈二次方级（ $O(N^2)$ ）增长。这使得长视频的推理成本极其高昂。
质量退化： 当超出训练步长（例如 Wan 为 81 帧，HunyuanVideo 为 129 帧）时，密集注意力会导致模型收敛至近乎静态、"冻结"或循环的输出。这会导致运动感和时间变化性的丧失，从而使视频质量低下。

现有的解决方案并不充分：一些方案需要昂贵的重新训练，而另一些（如滑动窗口或径向注意力）则无法消除长程时间重复伪影。相反，能够保持质量的外推方法（如 RIFLEx、UltraViCo）往往无法降低计算成本，因为它们仍然依赖于密集的注意力矩阵。

2. 方法论：长视频稀疏注意力 (LVSA)

作者提出了 LVSA，一种免训练、与模型无关的块稀疏（Block-Sparse）注意力机制，旨在平衡计算效率与时间连贯性。

核心机制

LVSA 限制了查询帧 $t$ 所能关注的帧集合 $A(t)$ ，将全集 $\{0, \dots, T-1\}$ 替换为两个组件的并集：
$A(t) = G \cup W(t)$

旋转全局锚点 ( $G$ )：
- LVSA 没有采用会导致中间帧仅被局部观察到的固定网格全局帧，而是采用了旋转周期性全局帧。
- 在每个去噪步骤 $s$ ，全局帧集合 $G_s$ 会根据 $s \pmod{T_{per}}$ 进行偏移。
- 在连续的 $T_{per}$ 个步骤中，每一帧都会恰好担任一次全局锚点。这消除了固定网格偏差，并防止了中间帧表示的系统性贫乏，从而减少了诸如重复和身份漂移等长程时间伪影。
扩展自适应窗口 ( $W(t)$ )：
- 每一帧都会关注一个大小为 $W$ 的局部时间窗口。
- 为了确保每个查询帧拥有恒定的注意力预算，作者引入了扩展窗口边界。如果局部窗口与全局帧重叠，窗口将动态扩展以进行补偿，从而确保所有帧的 $|A(t)| \approx C$ （目标预算）。
- 目标预算 $C$ 通常设置为模型的训练步长（例如 Wan 2.1 1.3B 为 21 帧），以确保推理成本与训练成本匹配。

复杂度

通过将关注的帧数固定为 $C$ ，每个查询帧的注意力复杂度变为 $O(C \cdot P \cdot d)$ ，从而导致总复杂度为 $O(T \cdot C \cdot P^2 \cdot d)$ 。这在时间维度上实现了对帧数 $T$ 的渐近线性缩放，从而实现了长视频生成的规模化。

评估基准：VQeval

作者引入了 VQeval，这是一个专门设计的自定义评估工具，旨在正确地为“循环”或静态失败案例评分。不同于 VBench-Long 等先进评估器（它们会奖励帧间相似性，从而在无意中为静态视频打高分），VQeval 通过其“动态质量”和“循环质量”维度，明确惩罚缺乏运动和循环伪影的行为。

3. 核心贡献

LVSA 算法： 一种结合了旋转全局锚点和扩展自适应窗口的新颖、免训练的稀疏注意力模式，用于消除固定网格偏差并降低计算量。
VQeval 基准： 一个专门校准用于检测并惩罚长视频外推中常见的静态/循环失效模式的新指标，解决了现有指标的缺陷。
跨架构验证： 在三种不同的 DiT 架构（Wan 2.1 1.3B、Wan 2.1 14B 和 HunyuanVideo 1.5）以及硬件平台（GPU 和 NPU）上证明了其有效性。
开源实现： 该方法作为插件发布在流行的开源平台上。

4. 实验结果

计算效率

加速比： 在 80GB GPU 上，结合 FlashInfer 内核，LVSA 与密集注意力相比实现了显著加速：
- 3.17× (Wan 2.1 1.3B, 6倍步长)。
- 2.98× (Wan 2.1 14B, 6倍步长)。
- 3.33× (HunyuanVideo 1.5, 1.5倍步长)。
显存可行性： LVSA 使生成在密集注意力因显存溢出（OOM）而失败的步长下成为可能。例如，在单张 80GB GPU 上，使用密集注意力无法完成 HunyuanVideo 1.5 的 2倍步长（257 帧）生成，但使用 LVSA 可以成功运行（峰值显存约 60 GB）。
NPU 性能： 在 NPU 上，LVSA 在 6倍步长下实现了 2.71× (Wan 2.2 A14B) 和 3.24× (Wan 2.1 1.3B) 的加速。

视频质量

训练步长： 在原生训练步长（1×）下，LVSA 在所有指标上与密集注意力相比在质量上保持一致（质量中性）。
扩展步长： 在超出训练步长后，LVSA 的表现显著优于密集注意力。
- 在 Wan 2.1 1.3B（6倍步长）上，相比于趋于近乎静态输出的密集注意力，LVSA-FI 在 VQeval 综合得分上提升了 +12.1。
- VBench-Long vs. VQeval： 虽然 VBench-Long 的得分在扩展步长下往往会上升（由于其对静态一致性的偏好），但 VQeval 正确地识别出这是质量失效。LVSA 保持了真实的运动，从而获得了更高的 VQeval 分数。
与 SOTA 对比： LVSA 在计算和质量方面均优于 RIFLEx 和 UltraViCo：
- 速度： 在 Wan 2.1 1.3B 上，LVSA 比 UltraViCo 快达 3.27×，比 RIFLEx 快 2.41×。
- 质量： LVSA 在所有测试步长下均获得了最高的 VQeval 综合得分；而 RIFLEx 在质量崩溃方面的表现与密集注意力统计学上无异，UltraViCo 则带来了高延迟成本。

5. 意义与主张

本文声称 LVSA 成功地利用了长视频扩散中计算与质量之间的权衡。通过消除固有于静态稀疏模式中的固定网格偏差，并利用旋转全局锚点策略，LVSA 防止了困扰长时生成过程中的“冻结”视频伪影。

作者强调，他们的方法是免训练且与模型无关的，这使得它可以直接应用于现有的 DiT 架构而无需重新训练。此外，VQeval 的引入凸显了当前评估标准的关键缺陷，即奖励静态一致性的指标对于长视频生成而言具有误导性。该工作证明，通过实现线性缩放，可以在单 GPU 和 NPU 上生成高质量、长时长的视频，从而克服了密集注意力的二次方显存和计算障碍。