🤖 machine learning

MonarchRT: Efficient Attention for Real-Time Video Generation

本文提出了 Monarch-RT，一种基于 Monarch 矩阵的结构化注意力参数化方法，通过结合高表达力与计算效率，在保持视频生成质量的同时实现了高达 95% 的注意力稀疏性，从而在单张 RTX 5090 上首次达成了 Self-Forcing 模型的 16 FPS 实时视频生成。

原作者： Krish Agarwal, Zhuoming Chen, Cheng Luo, Yongqi Chen, Haizhong Zheng, Xun Huang, Atri Rudra, Beidi Chen

发布于 2026-02-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Krish Agarwal, Zhuoming Chen, Cheng Luo, Yongqi Chen, Haizhong Zheng, Xun Huang, Atri Rudra, Beidi Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 MonarchRT 的新技术，它的目标是让 AI 能够实时生成高质量的视频（就像看直播一样快），同时还能保持画面清晰、逻辑连贯。

为了让你轻松理解，我们可以把 AI 生成视频的过程想象成指挥一个巨大的交响乐团，而这篇论文就是解决乐团“指挥太慢”问题的创新方案。

1. 核心难题：指挥太忙了（计算瓶颈）

想象一下，AI 生成视频时，需要让画面中的每一个像素点（比如一辆车的轮子、天空的一朵云）都去“看”其他所有的像素点，以决定自己下一秒该变成什么样子。

传统做法（稠密注意力）：就像指挥家必须和乐团里的每一个人都单独对话。如果乐团有 1000 人，指挥家就要说 100 万次话。这在生成长视频或实时视频时，速度慢到让人无法忍受，就像让一个人背着一座山跑步。
之前的尝试（稀疏注意力）：为了快，以前的方法让指挥家只跟“离得近的人”说话，或者只跟“看起来像的人”说话。
- 问题：在实时视频生成中，这种“偷懒”行不通。因为视频是连续流动的，错误会像滚雪球一样越滚越大。而且，视频里的关系很复杂：既有按时间顺序的规律（比如车轮转动），又有跨越时空的语义联系（比如远处的云和近处的山虽然远，但属于同一个场景）。以前的“只跟邻居说话”的方法，要么漏掉了重要的远距离联系，要么把不相关的东西强行拉在一起，导致生成的视频画面扭曲、崩坏。

2. 核心发现：视频里的“节奏”和“故事”

作者发现，视频里的像素点关系其实由两部分组成：

有规律的“节拍”：就像音乐里的鼓点，时间上、空间上都有固定的周期性（比如帧与帧之间的连续变化）。
突发的“故事线”：比如画面里突然出现的一个人物，或者一个特定的物体，它需要和画面中其他不相关的部分建立联系。

以前的方法要么只关注“节拍”（太死板），要么只关注“故事”（太随机），无法同时处理好这两者。

3. MonarchRT 的解决方案：智能的“分块指挥法”

MonarchRT 提出了一种新的指挥策略，叫Monarch 参数化。我们可以把它想象成一种**“乐高积木式的分块指挥法”**：

对齐的积木块（Block Alignment）：
以前的方法切分积木时，经常把“时间”和“空间”混在一起切，导致切出来的块里既有“昨天的云”又有“今天的车”，逻辑全乱了。
MonarchRT 非常聪明，它知道视频是三维的（时间、高、宽）。它确保切分积木时，每一块都完整地包含时间、高度或宽度中的一个维度。这就像切蛋糕时，每一刀都顺着纹理切，保证了每一块蛋糕里的“味道”是纯正的。这样，指挥家就能轻松处理那些有规律的“节拍”。
** tiled Monarch（瓷砖式分块）：
为了处理那些突发的“故事线”（比如远处的人和近处的车），MonarchRT 把大积木块进一步切成更小的“瓷砖”。
这就好比指挥家手里有一张智能地图**。对于规律的部分，他看大地图；对于特殊的、突发的联系，他看小地图。这种“大地图 + 小地图”的组合，让他既能处理宏大的节奏，又能捕捉细微的语义联系，而且不需要像以前那样跟每个人单独对话。
微调训练（Finetuning）：
以前用这种分块法，指挥家需要反复练习很多次才能找到最佳方案，太慢了。MonarchRT 通过预先训练，让指挥家只需要看一眼就能做出完美的决定。这就像让指挥家背熟了乐谱，上台直接就能演，省去了大量的排练时间。

4. 惊人的效果：从“慢动作”到“实时直播”

这项技术带来的改变是巨大的：

速度飞跃：在最新的顶级显卡（如 RTX 5090）上，MonarchRT 比目前最先进的 FlashAttention 技术快了 1.4 倍到 11.8 倍。
实时生成：以前生成视频可能需要几分钟，现在用 MonarchRT，可以在单张显卡上以 16 帧/秒（FPS） 的速度实时生成视频。这意味着你可以像玩《我的世界》或《GTA》一样，输入指令，AI 就能实时生成一段流畅的视频，完全没有延迟。
质量不降：即使把计算量减少了 95%（只保留了 5% 的“对话”），生成的视频质量依然和全量计算（100% 对话）一样好，甚至更好。

总结

MonarchRT 就像给 AI 视频生成装上了一套**“智能分块指挥系统”。
它不再让 AI 盲目地跟所有像素点“死磕”，而是通过聪明的切分策略**（对齐时空维度）和灵活的地图查看方式（瓷砖分块），既抓住了视频的节奏，又记住了视频的故事。

最终，它让 AI 视频生成从“慢吞吞的离线渲染”变成了“丝滑的实时直播”，让真正的实时视频生成成为可能。这就像是从“手摇电话”进化到了"5G 视频通话”，彻底改变了我们创造和消费视频内容的方式。

论文概述

MonarchRT 是一种专为实时视频生成设计的新型高效注意力机制。针对扩散 Transformer（DiT）在实时、少步数（few-step）和自回归（autoregressive）生成场景下，传统 3D 自注意力机制计算成本过高（ $O(N^2)$ ）的问题，该论文提出了一种基于 Monarch 矩阵的结构化注意力参数化方法。MonarchRT 能够在保持极高生成质量的同时，将注意力计算量减少至原来的 5%（即 95% 的稀疏度），并在单张 RTX 5090 显卡上实现了 16 FPS 的实时视频生成。

1. 核心问题 (Problem)

现有的视频生成模型（如 Diffusion Transformers）在迈向实时生成时面临两大瓶颈：

计算复杂度瓶颈：3D 自注意力（时空维度）的计算成本随序列长度呈二次方增长。
现有近似方法的失效：
- 实时场景的特殊性：实时生成通常采用自回归模式（逐帧生成）和少步数扩散（如 4 步）。这导致每一步必须携带更多信息，且误差会随时间累积。
- 稀疏注意力的局限性：传统的稀疏注意力（如局部窗口、Top-k 选择）假设注意力图是稀疏的。然而，论文发现 3D 视频注意力图并非简单的稀疏，而是包含：
  - 显著的周期性结构：由时空位置驱动（如相邻帧、相邻像素的强关联）。
  - 动态的语义对应：长距离的语义关联。
  - 密集混合：即使在高稀疏度下，也需要大量的信息混合。
- 结果：现有的稀疏注意力方法（如 Top-k）在 90% 以上稀疏度时会导致视频质量严重下降（几何畸变、语义丢失），而低秩注意力难以捕捉长距离语义。

2. 方法论 (Methodology)

MonarchRT 通过以下三个核心创新解决了上述问题：

2.1 理论洞察：Monarch 参数化的优势

论文分析指出，3D 注意力矩阵 $A$ 可以分解为：
$A = P D' + S + \epsilon$
其中 $D'$ 是位置相关的可分离项（具有块状秩 1 结构）， $S$ 是稀疏的语义项， $P$ 是置换矩阵。

Monarch 矩阵（一种结构化矩阵，包含稀疏和低秩矩阵作为特例）能够天然地通过置换和分块对角化来高效表示这种混合结构。
相比之下，Oracle Top-k 注意力即使在 10% 计算预算下也无法准确恢复注意力图，而 Monarch 参数化在高稀疏度下误差极小。

2.2 关键技术挑战与解决方案

为了将 Monarch 应用于视频生成，作者解决了三个关键挑战：

块对齐 (Block Alignment)：
- 问题：Monarch 的分块结构必须与视频的时空结构（帧 $f$ 、高 $h$ 、宽 $w$ ）对齐。如果块大小（block size）切分了时空维度（例如将同一帧的像素和下一帧的像素混在一个块里），会导致秩 1 假设失效，产生伪影。
- 方案：提出对齐策略，确保每个时空维度（ $f, h, w$ ）完全包含在块的一个维度中。例如，选择块大小 $(b_1, b_2) = (fh, w)$ ，使得位置依赖项能被精确分解。
瓦片化 Monarch 参数化 (Tiled Monarch Parameterization)：
- 问题：标准 Monarch 受限于 $b_1 b_2 = N$ ，增加计算量（减小块大小）并不总能单调提升精度，因为可能只是重新分配了参数而非捕捉更多语义。
- 方案：引入Tiled Monarch。将每个 Monarch 块进一步细分为更小的子块（Tiles）。
  - 允许在保持基础块大小的同时，通过增加 Tile 数量（ $c_1, c_2$ ）来灵活控制精度。
  - 这使得模型能够捕捉局部邻域内的稀疏语义交互，同时保持对位置结构的秩 1 建模能力。
  - 优势：实现了精度与效率之间的单调权衡（Monotonic Trade-off）。
微调与高效实现 (Finetuning & Efficient Implementation)：
- 问题：原始 MonarchAttention 需要多次迭代优化来估计参数，推理开销大，不适合实时系统。
- 方案：
  - 微调 (Finetuning)：通过微调模型，使得在推理时仅需 1 次 迭代即可达到高质量，大幅减少推理延迟。
  - 自定义 Triton 内核：开发了针对长序列 3D 注意力的自定义 CUDA/Triton 内核，支持前向和反向传播。采用类似 FlashAttention 的 Tiling 策略，将计算限制在 SRAM 中，减少 HBM 访问。
  - Mini-sequence 策略：将查询帧分块处理，解决全 3D 注意力显存爆炸的问题。

3. 主要贡献 (Key Contributions)

理论分析：揭示了 3D 视频注意力的混合结构（周期性位置 + 动态语义），证明了传统稀疏注意力在实时少步数场景下的失效原因，并论证了 Monarch 矩阵是更优的参数化选择。
MonarchRT 框架：提出了包含对齐块结构、Tiled Monarch 参数化和推理微调的完整框架。
性能突破：
- 在 Self-Forcing（自回归实时模型）上实现了 95% 的注意力稀疏度，且视觉质量与稠密注意力（Dense Attention）几乎无异（VBench 分数持平）。
- 在 RTX 5090 上实现了 16 FPS 的实时视频生成（480p），这是首次在该硬件上实现高质量自回归实时生成。
速度提升：
- 相比 FlashAttention-2/3/4，MonarchRT 在 RTX 5090、H100 和 B200 上实现了 1.4x 到 11.8x 的注意力内核加速。
- 端到端（E2E）延迟显著降低，例如在 480p 下比 FlashAttention-2 快 36%。

4. 实验结果 (Results)

生成质量：
- 在 Self-Forcing 模型上，MonarchRT (95% 稀疏) 的 VBench 总分为 0.838，与稠密注意力 (0.836) 几乎一致，远超 Oracle Top-k (0.799) 和其他稀疏方法。
- 在 Wan 2.1 (双向扩散模型) 的 4 步和 50 步版本上，MonarchRT 均优于 VSA (Video Sparse Attention) 等基线，即使在更高的稀疏度下（95% vs 85%）。
效率对比：
- Attention Kernel Latency: 在 720p 分辨率下，MonarchRT 比 FlashAttention-2 (RTX 5090) 快 11.8 倍。
- E2E Latency: 在 480p 下，MonarchRT 实现了 16 FPS 的生成速度，而 FlashAttention-2 仅为 11 FPS。
消融实验：
- 验证了“对齐块大小”的重要性：不对齐会导致严重的像素级置换伪影。
- 验证了微调的有效性：微调后仅需 1 次迭代即可达到 10 次迭代优化的质量。

5. 意义与影响 (Significance)

打破实时视频生成的瓶颈：MonarchRT 证明了通过结构化矩阵参数化（而非简单的稀疏化），可以在不牺牲生成质量的前提下，将计算成本降低一个数量级。
硬件友好：该工作展示了在消费级高端显卡（RTX 5090）上运行高质量实时视频生成的可行性，为交互式视频生成、数字人、游戏引擎等应用铺平了道路。
方法论启示：指出了未来注意力机制设计的方向——即需要同时捕捉位置结构和动态语义，单纯的稀疏化或低秩化不足以应对复杂的 3D 时空数据。

总结：MonarchRT 是实时视频生成领域的一项突破性工作，它通过数学上更严谨的 Monarch 矩阵参数化，结合工程上的优化（Tiled 结构、Triton 内核、微调），成功解决了自回归视频生成中的计算效率与生成质量之间的矛盾。