🤖 AI

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

本文介绍了 VideoMLA，这是一种将多头潜在注意力应用于分钟级自回归视频扩散的新颖架构，在保持或超越基线质量的同时实现了 KV 缓存内存 92.7% 的降低和 1.23 倍的吞吐量提升，尽管该方法在预训练注意力机制并非固有低秩的情况下依然取得了成功。

原作者： Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图讲述一个持续一小时的故事，但只有一本小笔记本用来记录。每添加一个新句子，你都需要记住之前写下的所有内容，以确保故事连贯合理。

在 AI 视频生成领域，这本“笔记本”被称为KV 缓存。它是一个记忆库，AI 在其中存储已生成视频帧的信息，以便生成后续帧。

问题：笔记本过于沉重

当前的 AI 视频模型就像试图撰写一小时长故事的学生，但他们的笔记本重到几乎无法举起。

旧方法：AI 每记住一帧视频，就会为其网络中的每一个“脑细胞”（头）写下庞大而详细的描述。
结果：随着视频变长（达到分钟级），这本笔记本变得过于巨大，导致内存耗尽。为了解决这个问题，大多数系统只是丢弃旧页面（滑动窗口），但它们保留的页面仍然极其臃肿且读取缓慢。

解决方案：VideoMLA（“摘要”笔记本）

这篇论文介绍了VideoMLA，一种新的故事书写方式，可将笔记本体积缩小92.7%。

以下是通过简单类比解释其工作原理：

1. “共享摘要”（低秩潜在表示）
想象你正在向 12 位朋友（AI 中的 12 个“头”）描述一个场景。

之前：你为每位朋友撰写了一份独特的、长达 128 页的详细报告。这意味着每帧视频的信息量高达 $12 \times 128 = 1,536$ 页！
VideoMLA：你意识到所有朋友都在听同一个故事。于是，你不再撰写 12 份独立的报告，而是编写一份单一的、浓缩的摘要（即“潜在表示”），捕捉场景的核心本质。所有 12 位朋友共享这份摘要。
神奇之处：这份摘要要小得多（仅 192 页，而非 1,536 页）。它捕捉了“是什么”（内容），同时消除了冗余。

2. “独立地图”（解耦的 3D-RoPE）
摘要告诉你正在发生什么，但未说明在哪里或何时。

之前：位置和时间信息混杂在那份庞大臃肿的报告之中。
VideoMLA：你将位置和时间信息（例如“下午 2 点左侧正在下雨”）提取出来，写在一张微小的独立便签上。这张便签同样由所有人共享。
结果：你现在拥有的是一份微小的摘要加上一张微小的便签，而不是 12 份巨大的报告。

大惊喜：即使“按理说不该有效”，它依然奏效

通常，科学家使用这种“摘要”技巧（称为多头潜在注意力），是因为他们相信原始信息本质上是简单的，易于总结（如同低秩数学问题）。

论文的发现：
作者检查了原始 AI 模型，发现了一个令人惊讶的事实：原始信息并不简单。它实际上极其复杂且杂乱（高“秩”）。

谜题：如果你试图用简单的草图来总结一幅复杂杂乱的画作，通常会丢失大量细节。
现实：VideoMLA 依然有效！尽管原始数据杂乱无章，但 AI 学会了将整个故事适配到微小的摘要空间中。事实证明，限制因素并非故事有多杂乱，而是笔记本有多大。AI 只是适应了，完美地将整个故事塞进了狭小的空间。

为何这很重要

通过缩小笔记本：

更长的视频：AI 现在可以生成长达一分钟的视频而不会耗尽内存。
更快的速度：阅读微小的摘要远比阅读 12 份巨大的报告要快。论文表明，这使 AI 的速度提升了1.23 倍。
更好的质量：尽管进行了大规模压缩，视频质量依然保持高水平。AI 不会出现“噪点”或模糊；动作保持流畅，角色保持一致性。

一句话总结

VideoMLA 就像意识到你不需要携带一座图书馆来讲述故事。你只需要一份写得很好的摘要和一张小地图。这使得 AI 能够更快、更流畅地讲述更长的故事，而无需依赖超级计算机来承载记忆。

技术摘要：VideoMLA

问题陈述
长 rollout 因果视频扩散模型已成为流式分钟级视频生成的主导方法。这些模型通常依赖固定大小的滑动窗口键值（KV）缓存来维持自回归生成。尽管近期工作通过改变令牌选择、位置编码（例如 Infinity-RoPE）或训练策略（例如 Self-Forcing）在此布局上进行了创新，但它们很大程度上保留了每头 KV 布局。在标准稠密注意力机制中，每个缓存的令牌都为所有注意力头存储完整的键和值。对于像 Wan-1.3B 这样的模型，这会导致巨大的内存占用（21 个潜在帧缓存的缓存约为 6.0GB），从而限制了批量大小、吞吐量以及可行的视频 rollout 长度。现有的高效方法要么完全改变注意力机制（例如线性注意力），要么仅缓存特定层，但很少有方法解决所有缓存层中每令牌、每头 KV 状态的内存成本。

方法：VideoMLA
本文介绍了VideoMLA，这是多头潜在注意力（MLA）在自回归视频扩散中的首次应用。VideoMLA 通过将稠密的每头键和值替换为共享的低秩表示，从根本上重构了 KV 缓存。

共享低秩内容潜在变量：VideoMLA 不再为 $n_h$ 个头的每一个分别存储独立的键（ $K$ ）和值（ $V$ ），而是通过下投影矩阵 $W^{KV}_\downarrow$ 将令牌 $x_t$ 的内容压缩为单个共享潜在向量 $c^{KV}_t$ 。该潜在变量的维度为 $d_c \ll n_h d_h$ 。
按需重建：在注意力计算过程中，每头内容键（ $k^{nope}_{t,h}$ ）和值（ $v_{t,h}$ ）利用特定头的上投影矩阵（ $W^K_\uparrow, W^V_\uparrow$ ）从共享潜在变量中重建。
解耦的 3D-RoPE：为了在不将位置信息折叠进共享潜在变量（这将阻碍头共享）的情况下处理位置信息，该方法将每头维度划分为内容子空间（ $d^{nope}_h$ ）和位置子空间（ $d^{rope}_h$ ）。计算并旋转单个共享头的键 $k^R_t$ ，使用 3D-RoPE。缓存存储的是对 $(c^{KV}_t, k^R_t)$ ，而非稠密的每头状态。
内存减少：该设计将每令牌缓存状态从 $2n_h d_h$ 个标量减少到 $d_c + d^{rope}_h$ 。在默认配置（ $d_c=192, d^{rope}_h=32$ ）下，每层的 KV 缓存内存减少了92.7%。

关键发现与谱分析
本文的核心贡献在于解决了一个关于 MLA 为何能在视频扩散中生效的理论谜题。

谜题：在语言模型中，MLA 的动机通常基于这样的假设：预训练的 $W^K$ 和 $W^V$ 矩阵本质上是低秩的。然而，对 Wan-1.3B 视频骨干网络的谱分析显示，联合算子 $[W^K; W^V]$ 并非低秩；其 99% 能量的有效秩超过 1300，远高于实际的潜在维度（ $d_c=192$ ）。
解决方案：作者证明，VideoMLA 中学习到的组合算子的有效秩由架构瓶颈（ $d_c$ ）决定，而非预训练谱。无论是 SVD 初始化还是随机初始化，从一开始就饱和了施加的秩预算，而训练过程在保持这一预算的同时在其内部进行适应。因此，VideoMLA 的成功并非通过恢复隐藏的低秩结构，而是通过施加一个模型学会有效利用的秩预算。

结果

质量：在 VBench 上，VideoMLA 与短视野流式基线模型表现相当，并在评估方法中取得了长视野（60 秒）的最佳总体得分。它保持了主体身份、场景结构和运动动态，避免了其他压缩方法中出现的静态退化。
效率：与基线相比，该方法在单张 B200 GPU 上将推理吞吐量提高了1.23 倍。
可扩展性：在固定内存预算（B200）下，VideoMLA 在默认 $d_c=192$ 设置下支持的批量大小比稠密多头注意力（MHA）大8.0 倍，在更低的 $d_c$ 设置下甚至可达11.4 倍，且不会出现内存溢出（OOM）错误。

意义与主张
本文主张，VideoMLA 确定了每令牌 KV 布局是扩展高效长视野视频扩散的直接且有效的杠杆，这与专注于令牌选择或位置重参数化的现有方法正交。通过将每令牌 KV 内存减少 92.7% 同时保持视觉保真度和运动一致性，VideoMLA 实现了具有显著更低延迟和更高吞吐量的分钟级视频生成。这项工作将设计问题从“视频注意力的内在秩是什么？”转变为“什么潜在预算能保持视频质量？”，证明了即使预训练谱是高秩的，架构约束也能成功引导学习。