🤖 machine learning

Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation

该论文提出了名为"Sparse Forcing"的自回归视频扩散模型训练与推理新范式，通过引入可学习的原生稀疏机制及高效的 GPU 内核（PBSA），在显著降低显存占用和推理延迟的同时，有效提升了长时序视频生成的视觉质量。

原作者： Boxun Xu, Yuming Du, Zichang Liu, Siyu Yang, Ziyang Jiang, Siqi Yan, Rajasi Saha, Albert Pumarola, Wenchen Wang, Peng Li

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Boxun Xu, Yuming Du, Zichang Liu, Siyu Yang, Ziyang Jiang, Siqi Yan, Rajasi Saha, Albert Pumarola, Wenchen Wang, Peng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为**“稀疏强制”（Sparse Forcing）的新技术，旨在让 AI 生成视频变得更快、更清晰、更稳定**，尤其是当我们要生成很长的视频（比如 1 分钟甚至更久）时。

为了让你轻松理解，我们可以把 AI 生成视频的过程想象成一位正在写长篇小说的作家，而“稀疏强制”就是这位作家新学会的**“高效记忆与写作技巧”**。

1. 以前的痛点：记性太好，反而写不动

在传统的 AI 视频生成（特别是“自回归”模式，即一帧一帧往后画）中，AI 就像一位强迫症作家：

全量记忆（全注意力机制）： 每写一个新的句子（生成新的一帧），他都要把之前写过的每一个字都重新读一遍，仔细回忆每一个细节。
后果：
- 太慢： 随着故事变长（视频变长），要读的内容呈爆炸式增长，写得很慢。
- 容易跑题（误差累积）： 因为要处理的信息太多，作家容易看花眼，导致后面的故事和前面的人设、场景对不上（比如主角突然换了衣服，或者背景里的树变成了花）。

2. 核心发现：人类其实只记得“高光时刻”

作者观察发现，其实 AI 在生成视频时，大脑（注意力机制）并不是真的在平等地关注每一帧。

现象： AI 会自然地死死盯住几个关键的“高光时刻”（比如主角的脸、场景的大致布局），而对中间那些过渡的、重复的帧，其实看得很模糊，甚至可以直接忽略。
比喻： 就像你回忆昨天的一天，你记得住“早上喝咖啡”和“下午开会”这两个关键节点，但中间“走路去公司”、“等电梯”这些琐碎过程，你其实记不住，也不需要记。

3. 解决方案：稀疏强制（Sparse Forcing）

基于这个发现，作者给 AI 装上了一个**“智能记忆管家”**，这就是“稀疏强制”。它做了两件事：

A. 建立“永久记忆库”（Persistent Memory）

做法： AI 不再死记硬背每一帧，而是把那些最关键的、能代表故事核心的帧（比如主角的脸、场景的基调）提取出来，存进一个**“永久记忆胶囊”**里。
比喻： 就像作家在笔记本的首页贴了一张**“角色设定卡”和“场景地图”**。写后面的章节时，他只需要看一眼这张卡片，就能保证主角没变、场景没乱，而不需要把前面几千页书都翻一遍。
效果： 无论故事写多长，这个“记忆胶囊”的大小是固定的，所以内存占用不会爆炸。

B. 开启“局部聚焦模式”（Local Block-Sparse Attention）

做法： 对于刚刚写过的几页（最近的几帧），AI 不需要全看，它只挑选最相关的几个片段来参考。
比喻： 作家在写下一段时，只回头看最近几行，并且只关注其中最关键的几个词，忽略那些废话。
效果： 大大减少了计算量，速度飞快。

4. 为什么叫“强制”（Forcing）？

因为这种“只记重点、忽略细节”的模式，如果让 AI 自己瞎猜，它可能会把重要的东西也忘了。所以，作者在训练 AI 时，强制它学会这种“抓重点”的能力，并专门设计了一套训练方法，让 AI 在“只记重点”的情况下，依然能写出高质量的故事。

5. 成果如何？（用数据说话）

这项技术带来了立竿见影的效果：

画质更好（更稳）： 在生成 1 分钟的长视频时，画面不再像以前那样“漂移”或“崩坏”，人物和场景的一致性大幅提升（就像作家写长篇小说，前后逻辑依然严密）。
速度更快： 生成速度提升了 1.1 到 1.27 倍。
更省内存： 显存占用降低了 42%。这意味着以前需要昂贵的大显卡才能跑的视频，现在普通一点的显卡也能跑了。

总结

“稀疏强制”就像是给 AI 视频生成装上了一个“聪明的索引系统”。
它不再试图记住视频里的每一粒灰尘，而是聪明地记住**“谁在什么场景下做了什么”（关键记忆），并只关注当下最相关的细节**（局部聚焦）。

这让 AI 既能写长篇小说（生成长视频），又能保持逻辑连贯（画质稳定），还能写得飞快（低延迟）。对于未来我们想要用 AI 生成电影、长动画或实时互动视频来说，这是一个非常重要的进步。

1. 研究背景与问题 (Problem)

核心挑战：
随着视频生成模型向长序列（长视频）发展，现有的自回归扩散模型（Autoregressive Diffusion Models）面临两大瓶颈：

推理延迟与显存爆炸： 传统的自回归扩散模型（如 Self-Forcing）通常使用全量 KV Cache（键值缓存）来存储历史帧信息。随着视频时长增加，KV Cache 的显存占用呈线性甚至二次方增长，导致长视频生成时的显存开销巨大，推理延迟高，难以实现实时生成。
误差累积与质量下降： 在自回归推理过程中，模型需要基于自身生成的（不完美的）历史帧进行预测。全量注意力机制允许早期的预测误差通过密集的注意力路径传播到后续所有帧，导致“误差累积”（Compounding Errors），表现为长视频生成中的内容漂移（Drift）、颜色失真和结构崩塌。

现有方法的局限：
现有的稀疏注意力方法多针对大语言模型（LLM）设计，或采用静态的稀疏模式（如仅保留最近 N 帧），缺乏对视频生成中时空持久性（Spatiotemporal Persistency） 的自适应学习，且往往无法在训练和推理阶段同时兼顾效率与质量。

2. 核心方法论 (Methodology)

作者提出了 Sparse Forcing，一种专为自回归视频扩散模型设计的可训练原生稀疏注意力范式。其核心思想基于两个关键观察：

持久锚点（Persistent Anchors）： 在长序列生成中，注意力会高度集中在少数几个关键的“持久性”视觉块上（如主体身份、场景布局），形成隐式的时空记忆。
局部块稀疏性（Local Block Sparsity）： 在局部时间窗口内，注意力分布呈现结构化的对角块稀疏模式，而非全连接。

2.1 架构设计：结构化记忆分解

Sparse Forcing 将 KV Cache 分解为两部分：

持久记忆 ( $P_t$ )： 一个容量受限（Capacity $C$ ）的集合，包含从历史中筛选出的关键“持久块”（Persistent Blocks）和“汇点块”（Sink Blocks，即全局锚点）。这些块在扩散步之间共享，提供长程语义稳定性。
局部窗口 ( $L_t$ )： 一个滑动窗口，包含最近生成的时空连续块，用于捕捉细节。

2.2 核心机制：持久块稀疏注意力 (PBSA)

为了在训练和推理中高效实现上述机制，作者设计了 Persistent Block-Sparse Attention (PBSA)：

块化压缩 (Blockified Compression)： 将潜在空间（Latent Space）划分为时空块（Spatiotemporal Blocks），并计算每个块的压缩代表向量（Block Representatives）。
粗粒度评分与更新 (Coarse Scoring & Update)：
- 利用压缩代表向量计算块级别的注意力分数。
- 通过 Top-C 策略动态更新持久记忆 $P_t$ ：保留得分最高的历史块，淘汰低分块，同时保留 Sink Blocks 作为全局锚点。
细粒度注意力 (Fine-grained Attention)：
- 持久部分： 查询（Query）对所有持久块进行全连接注意力，确保长程依赖。
- 局部部分： 在局部窗口 $L_t$ 内，仅对通过 Top-K 筛选出的局部块进行注意力计算（块稀疏），大幅减少计算量。
掩码机制： 结合持久记忆的全可见性和局部窗口的稀疏性，构建混合掩码，既保证关键信息不丢失，又剔除冗余计算。

2.3 训练策略

为了消除训练（通常使用全量或固定缓存）与推理（动态稀疏缓存）之间的分布不匹配（Train-Test Mismatch）：

作者在训练阶段也启用了动态更新的缓存和自适应局部注意力。
使用分布匹配蒸馏（Distribution Matching Distillation, DMD）损失，将预训练的双向视频扩散模型蒸馏为少步数的因果自回归生成器。
这使得模型在训练过程中就能学会如何在稀疏约束下稳定地更新记忆，从而在长序列推理中减少误差累积。

2.4 系统实现：自定义 GPU 内核

针对现有的稀疏注意力内核（如 FlashAttention）无法支持“持久记忆跨步携带”和“动态块选择”的问题，作者基于 ThunderKittens 开发了专用的 PBSA GPU 内核。该内核支持：

持久块的跨步携带（Persistent-block carry-over）。
非持久区域的动态块选择。
高效的粗/细两阶段注意力计算，显著降低了端到端延迟。

3. 主要贡献 (Key Contributions)

实证发现： 揭示了自回归视频扩散模型在长序列生成中存在的“块状持久性”和“局部对角块稀疏”现象，证明了仅保留关键持久锚点即可维持长程稳定性。
Sparse Forcing 范式： 提出了一种可训练的、原生的稀疏注意力机制。它通过压缩、保留和更新持久块，同时限制局部计算，实现了长视频生成质量与推理效率的双重提升。
高效内核 (PBSA)： 开发了专用的 GPU 内核，解决了动态稀疏模式下的显存管理和计算加速问题，使得该方法在大规模训练和推理中切实可行。

4. 实验结果 (Results)

实验基于 Wan2.1-1.3B 模型，在 5 秒、20 秒和 1 分钟的视频生成任务上与 Self-Forcing 等基线进行了对比。

短视频 (5 秒)：
- 质量： VBench 总分提升 +0.26。
- 效率： 解码速度提升 1.11–1.17 倍，KV Cache 峰值显存占用降低 42%。
长视频 (20 秒 & 1 分钟)：
- 质量： 随着序列长度增加，优势更加明显。在 20 秒生成中 VBench 提升 +0.68，在 1 分钟生成中提升 +2.74。
- 效率： 20 秒生成速度提升 1.22 倍，1 分钟生成速度提升 1.27 倍。
- 稳定性： 显著减少了长序列中的颜色漂移和几何失真，保持了主体一致性和场景连贯性。
内核性能：
- PBSA 内核相比 FlashAttention-2 (FA2) 实现了 1.16x 到 11.11x 的端到端加速，具体取决于稀疏度（Top-K）和序列长度。在稀疏度较高（Top-K=6.25%）时加速效果最显著。

5. 意义与影响 (Significance)

突破长视频生成瓶颈： Sparse Forcing 证明了通过结构化稀疏注意力，可以在不牺牲（甚至提升）生成质量的前提下，显著降低长视频生成的显存需求和推理延迟，使分钟级实时视频生成成为可能。
重新定义误差传播： 该工作指出，稀疏性不仅仅是计算优化，更是控制预测误差传播拓扑结构的手段。通过限制不确定 Token 对后续帧的影响范围，有效抑制了自回归过程中的误差累积。
可训练原生稀疏性： 不同于传统的静态稀疏或推理时剪枝，Sparse Forcing 将稀疏机制作为模型的一部分进行端到端训练，使其能够自适应地学习哪些信息是“持久”的，哪些是“冗余”的。
系统级优化： 通过定制化的 PBSA 内核，展示了算法创新与系统实现（Kernel 优化）结合的重要性，为未来高效视频生成模型的设计提供了新的范式。

总结： Sparse Forcing 通过利用视频生成中自然存在的时空持久性，结合可学习的稀疏机制和高效的 GPU 内核，成功解决了自回归视频扩散模型在长序列生成中的“质量 - 效率”权衡难题，是迈向实时、长时长、高质量视频生成的重要一步。