🤖 AI

Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models

SparsePR 是一种用于视频生成和世界模型的无需训练的稀疏注意力方法，它结合了响应耦合分区与探针拟合残差重构技术，通过最小化注意力重构误差来显著加速推理，同时保持生成质量。

原作者： Pardis Taghavi, Reza Langari, Gaurav Pandey

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Pardis Taghavi, Reza Langari, Gaurav Pandey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一台计算机正试图逐帧地构思一段新的视频，或者预测一个物理物体在空间中的运动轨迹。为了实现这一点，该软件使用了一个庞大的数字大脑，这个大脑必须不断回溯其目前生成的所有信息，以决定下一步该做什么。这个过程就像是在读一本书的同时，还要同时记住你曾经读过的每一页上的每一个词；故事越长，想要追踪所有内容就变得越困难。这种“回溯”是现代视频生成的引擎，但也是它最沉重的负担。随着视频变得越来越长、图像变得越来越清晰，计算机必须将场景的每一个新部分与每一个旧部分进行对比，这项任务规模庞大到足以让机器运行缓慢。科学家们长期以来一直寻求一种方法，通过忽略那些无关紧要的过去信息来使这一过程变得更快，但仅仅是切除明显的干扰项已被证明很难做到而不破坏最终图像的质量。

德克萨斯 A&M 大学的一个研究小组开发出了一种新方法来解决这个问题，而无需重新训练计算机的大脑。他们将这种方法称为 SparsePR，这是一种类似于计算机记忆的“智能编辑”的技术。该方法并非盲目地删除信息或猜测保留哪些部分，而是根据计算机对信息的实际反应来仔细地对信息进行分组。当计算机考虑一个新帧时，它会观察前序帧的不同部分是如何对其做出反应的。研究人员发现，仅仅将外观相似的像素组合在一起是不够的；有时，视频中两个看起来截然不同的部分需要被视为一个整体，因为计算机的大脑以相同的方式处理它们。通过基于这些实际反应而非仅仅基于视觉相似性来组织数据，该系统可以安全地忽略大量信息，同时仍能准确知道自己遗漏了什么。

研究人员发现，以往试图加速视频生成的尝试通常犯了一个关键错误：它们假设如果计算机对视频的特定部分保持了大部分重要的“注意力”，那么结果就会很好。他们发现事实并非如此。即使计算机高度聚焦于正确的区域，被它忽略的部分仍可能导致最终输出出现显著误差。这就像一位摄影师完美地聚焦于主体，却忘记了背景光线正在发生变化；主体很清晰，但整张照片却错了。这种新方法通过对它正在忽略的视频部分进行微小而精确的观察，来计算如何精确地修正最终图像。它使用少量的“探测”检查——就像对少量样本进行快速质量控制测试一样——来构建一个数学地图，从而预测视频其余部分的误差并立即进行修正。

在测试中，研究人员将这种技术应用于四种不同的先进视频模型，包括用于生成新电影的模型以及其他用于预测现实世界物理运动的模型。他们发现，通过使用这种新的数据分组和误差修正方法，计算机的运行速度比以前快了 1.48 到 2.61 倍。尽管有了如此巨大的提速，视频的质量仍与缓慢的原版几乎完全一致。该系统实现这些结果的方法是，仅执行了通常需要完成的总计算量的 22% 到 26%。研究人员表明，成功的关键不仅在于减少工作量，还在于理解所遗留误差的具体形态，并用定制的修正方案来解决它们。这项工作证明了我们不需要为了速度而牺牲质量；通过理解计算机的注意力是如何运作的，我们可以使其变得更加高效，同时又不失去创造复杂、真实世界的能力。

技术摘要：SparsePR —— 用于视频生成与世界模型的无训练稀疏注意力机制

1. 问题陈述

视频生成模型（如 DiTs）和视频世界模型需要处理长时空 Token 序列，这使得二次方复杂度的自注意力机制成为主要的推理瓶颈。虽然无训练的块稀疏注意力（block-sparse attention）为加速提供了路径，但现有方法在将稀疏性视为行属性（row-wise property）时面临两个根本性的局限：

共享路由支持的歧义性（Shared-Route Support Ambiguity）： 行向注意力集中度并未规定当多个查询（Queries）共享单一路由决策时所需的执行支持（executable support）。同一组内的查询可能具有较差的 Key 重叠度，导致聚合后的支持（即该组所需的 Key 的并集）显著大于单个支持之和。
Softmax 后误差误估（Post-Softmax Error Misestimation）： 仅凭保留的注意力质量（retained attention mass）并不能决定跳过的交互所引入的误差。两个具有相似保留质量的路由，由于被忽略的支持与保留的支持所诱导的输出差异不同，可能会产生截然不同的输出误差。

现有方法往往未能考虑到这些依赖关系，导致要么密度过高（降低了加速比），要么质量大幅下降（增加了重构误差）。

2. 方法论：SparsePR

作者提出了 SparsePR，这是一个结合了**响应耦合划分（Response-Coupled Partitioning）与探针拟合残差重构（Probe-Fitted Residual Reconstruction）**的无训练框架。该方法完全在线运行，无需离线训练。

A. 响应耦合划分

不同于以往独立对查询和键进行聚类或使用交替细化方法的做法，SparsePR 基于当前注意力调用中的响应几何结构（response geometry），通过单次非对称过程构建可执行的分区：

Key-响应坐标： 通过采样查询（ $Q_s$ ）定义度量 $M_K = Q_s^\top Q_s / M_s$ 。键根据其在这些采样查询下的响应剖面（通过对 $M_K$ 特征向量进行 $k$ -means 聚类）进行聚类。这形成了配对的键/值（K/V）组。
Query-响应坐标： 由生成的 K/V 组中心点定义一个新的查询度量空间。查询根据其在这些 K/V 组上的预 Softmax Logit 剖面的相似度进行聚类。
结果： 这种耦合确保了共享路由的查询具有相似的支持需求，从而最大限度地减少了语义聚类中观察到的“聚合支持”扩张现象。

B. 探针拟合残差重构

为了解决跳过交互带来的误差，SparsePR 不依赖于块级近似或时间复用。相反：

探针选择： 选择一小组查询行（ $M \ll N_q$ ），并在查询组间进行分层抽样，通过精确计算来获取稠密残差（ $R = O_{dense} - O_{sparse}$ ）。
仿射校准： 该方法将残差建模为稀疏输出的仿射函数（ $R \approx b + xB$ ）。利用探针残差拟合一个特定调用的仿射映射，并使用岭回归进行正则化。
子空间限制： 为了防止外推到未观测到的输出方向，校正过程被投影到由探针残差的前导奇异向量所张成的子空间中。
校正： 拟合的映射用于估计未探测行的残差，并将其添加到稀疏输出中，以恢复对稠密输出的近似。

C. 稀疏执行

该框架将 Token 排列为连续的组优先布局（group-major layouts），并使用 FlashInfer 的可变块稀疏注意力原语。总体的执行对密度（ $\rho_{exec}$ ）包括了路由后的稀疏单元以及精确的探针行。

3. 核心贡献

结构化分析： 本文识别了可执行块稀疏注意力中的三个关键依赖关系：
- 单个查询的稀疏性并不决定共享路由的支持（聚合支持可能高出 3–4 倍）。
- 保留的注意力质量并不能保证低 Softmax 后误差。
- 分区几何结构会显著影响残差的“仿射可解释”部分。
SparsePR 框架： 引入了一种结合响应耦合划分（以最小化支持扩张）和探针拟合残差重构（以校正跳过的交互）的无训练方法。
全面评估： 在四个异构模型（HunyuanVideo、Wan2.2、Cosmos-Predict2.5、Cosmos3-Nano）上进行了评估，使用了精确对计数（exact-pair accounting）和端到端计时，证明了其一致的误差降低和加速效果。

4. 实验结果

作者在文本生成视频、图像生成视频以及物理世界预测任务上对 SparsePR 进行了评估。

质量保持： SparsePR 能够紧密匹配稠密基准质量。例如，在 HunyuanVideo-13B 上，它实现了 31.844 的 PSNR（对比稠密基准），LPIPS 为 0.087，优于之前的稀疏方法如 SVG2 和 SpargeAttn。
效率： 该方法实现了 1.48 $\times$ 至 2.61 $\times$ 的端到端加速，同时实现的执行对密度仅为 22.0%–26.0%。
消融实验洞察：
- 探针拟合： 贡献了大部分的误差降低。
- 响应耦合划分： 通过减少正交残差能量，显著降低了“硬丢弃（hard-drop）”误差，并在有限的探针预算下改善了重构效果。
- 开销： 探针拟合重构带来的额外开销极小（约占总延迟的 1.1%），因为主要的成本节省来自于稀疏路由。

5. 重要性与主张

本文声称，视频模型的有效稀疏执行取决于两个通常被分开对待的因素：分区几何结构（决定了共享路由所需的支持）以及跳过交互的重构（决定了输出误差）。

SparsePR 证明了，通过将分区过程与当前调用的响应几何结构相结合，并利用一小组精确探针来校准残差重构，可以实现接近稠密精度的同时获得显著的计算节省。作者强调，这种方法是**无训练（training-free）**的，使其适用于现有的预训练视频 DiT 和世界模型，而无需重新训练或蒸馏。结果表明，简单的行向稀疏性对于视频生成是不够的，结构化的、响应感知的划分结合精确的残差校正，对于高质量加速是必要的。