🤖 machine learning

Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion

本文介绍了ARL2，这是一种用于自回归视频扩散的混合注意力架构，它用固定大小的循环状态替代了二次方跨帧注意力，从而在保持或提升时间一致性与生成质量的同时，实现了线性时间扩展和恒定内存占用。

原作者： Kunyang Li, Mubarak Shah, Yuzhang Shang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Kunyang Li, Mubarak Shah, Yuzhang Shang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比对论文《局部关注，线性记忆》（Attend Locally, Remember Linearly）的解释。

核心难题：“无尽的背包”

想象你是一位艺术家，试图逐帧绘制一部非常长的电影。为了让电影看起来流畅且连贯，你需要记住之前绘制的所有内容。

在当前的视频 AI 模型中，它们的“记忆”方式就像背着一个越来越重的背包。

对于第一帧，你在背包里放一张小纸条。
对于第二帧，你添加另一张纸条，但保留第一张。
到了第 100 帧，你的背包已经巨大无比。到了第 1000 帧，它重得让你无法移动。

用专业术语来说，这被称为KV 缓存（KV Cache）。随着视频变长，计算机需要越来越多的内存（RAM）来存储所有这些过去的“纸条”。最终，计算机内存耗尽，视频生成就会停止。这就是该论文试图解决的“可扩展性瓶颈”。

解决方案：ARL2（局部关注，线性记忆）

作者提出了一种名为ARL2的新方法来绘制这部电影。他们不再使用不断增大的背包，而是改用一本智能的、固定大小的笔记本。

他们将艺术家的任务分为两个不同的部分：

1. “局部关注”（细节工作）

当艺术家绘制单帧画面时，他们需要观察该特定画面的每一个部分，以确保细节匹配（例如，确保左眼与右眼对称，或者围巾的飘动自然流畅）。

类比：这就像看着你面前的整块画布。你需要同时看到所有内容，才能确保细节准确无误。
论文的方案：他们保留了旧有的、强大的"Softmax"方法用于此目的。这种方法非常擅长处理局部细节，因此他们未对其做任何改动。

2. “线性记忆”（长期记忆）

当艺术家移动到下一帧时，他们需要记住之前帧中发生的事情，以保持故事的一致性（例如，角色的围巾颜色不应突然从红色变成蓝色）。

旧方法：保留每一帧的完整列表（即那个沉重的背包）。
新方法（ARL2）：艺术家不再使用列表，而是使用一张单一的、神奇的摘要卡片。
- 当新的一帧完成后，艺术家会用最重要的信息更新这张卡片。
- 无论电影是 1 分钟还是 1 小时长，这张卡片的大小始终保持不变。
- 这就是“循环状态”（Recurrent State）。它就像一个“门控差分网络”（Gated Delta Network），决定保留什么、遗忘什么，从而确保记忆保持整洁且易于管理。

如何实现（训练过程）

你不能一夜之间就把沉重的背包换成小笔记本，否则艺术家可能会感到困惑。这篇论文描述了一个两阶段训练过程，以教会模型掌握这项新技巧：

第一阶段（练习跑）：他们利用原始的、背负沉重背包的模型，逐层教导它如何使用小笔记本。他们测试哪些层是“敏感”的（需要沉重的背包来获得完美的细节），哪些层是“灵活”的（可以使用小笔记本）。
第二阶段（最终考试）：他们将两者结合起来。他们让模型在灵活层使用小笔记本进行练习，同时在敏感层保留沉重的背包。他们持续这样做，直到模型的表现与原始模型一样好，但重量却轻得多。

结果：更快、更轻

该论文声称，通过采用这种混合方法：

内存：随着视频变长，计算机的内存使用量不再增长，而是保持恒定。对于长视频，他们减少了**54%**的内存使用量。
速度：由于计算机不再挣扎于背负沉重的背包，它的绘制速度更快。对于非常长的视频，他们实现了2.26 倍的加速（超过两倍的速度）。
质量：视频质量保持同样出色，在某些情况下，动作甚至更加流畅，因为“摘要卡片”比杂乱的纸条列表更好地记住了长期故事。

总结类比

可以将旧模型想象成一个试图通过在一块不断变长的纸上写下每一个单词来背诵整本书的学生，直到这张纸填满整个房间。

而新的ARL2模型则像是一个这样的学生：

仔细阅读当前页面以理解细节（局部关注）。
在一张便利贴上写下一句完美的总结句，以记住迄今为止的情节（线性记忆）。
随着他们翻到下一页，不断更新那张便利贴，使其永远保持小巧且易于管理。

这使得他们能够阅读（生成）任意长度的书籍，而无需担心书桌上的空间耗尽。

技术摘要：局部关注，线性记忆（ARL2）

1. 问题陈述

自回归（AR）视频扩散因其因果性、分块式的构建方式，已成为流式及交互式视频生成的领先范式。然而，现有的 AR 视频扩散模型依赖于扩散 Transformer（DiT）中的softmax 自注意力机制。这种依赖引入了一个根本性的可扩展性瓶颈：

二次计算与线性内存：标准注意力机制相对于序列长度 $N$ （视频帧）产生 $O(N^2)$ 的计算复杂度和 $O(N)$ 的内存占用。
KV 缓存增长：为了保持时间一致性，这些模型会累积一个随每个生成块线性增长的键值（KV）缓存。对于一段 5 秒的 480p 视频，KV 缓存可能超过 34 GB，甚至超过模型参数本身的体积。
现有补救措施的局限性：当前的解决方案，如稀疏注意力、KV 缓存量化或淘汰机制，虽然降低了单步成本或限制了内存上限，但未能同时消除线性内存增长并有效管理流式上下文。稀疏注意力仍依赖于不断增长的缓存；淘汰机制则不可逆地丢弃了过去的上下文。

核心挑战在于将预训练的 AR 视频扩散模型转化为一种混合架构，在不过度牺牲帧内交互的空间保真度或帧间生成的时间一致性的前提下，实现恒定内存（ $O(1)$ ）和线性时间扩展。

2. 方法论：ARL2

作者提出了ARL2（局部关注，线性记忆），这是一种混合注意力模块，通过将自注意力分解为两个不同的分支来解决视频注意力的异质性：

2.1 混合注意力分解

模型将注意力拆分为：

帧内分支（局部关注）：保留每个帧内原有的双向 softmax 注意力。该分支捕捉细粒度的空间相关性和局部依赖关系，这对视觉保真度至关重要。它复用了冻结的预训练投影，以在不引入额外延迟的情况下保持空间细节，因为帧内所有 token 是联合解码的。
帧间分支（线性记忆）：用固定大小的循环状态（ $S$ $S$ ）替代不断增长的 KV 缓存。该分支利用**门控 Delta 网络（GDN）**机制来维持长程时间上下文。
- 适配：由于预训练的 $Q, K, V$ 投影是针对 softmax 优化的，模型引入了每头分组的 $1\times1$ 特征图（ $\phi_q, \phi_k, \phi_v$ ），将表示适配到线性循环域。
- 状态更新：状态 $S_N$ 使用门控规则更新： $S_N = \alpha_N S_{N-1} + \beta_N K'_N(V'_N - K'_N S_{N-1})$ ，其中 $\alpha$ （遗忘门）和 $\beta$ （学习率）是每 token 学习的投影。
- 输出：帧间输出计算为 $O_{inter} = Q'_N S_{N-1}$ 。

2.2 内存状态管理

为了防止循环状态被噪声中间步骤破坏或引入帧内不对称性，ARL2 采用了两种特定机制：

帧级访问：单帧内的所有 token 查询相同的预更新状态（ $S_{N-1}$ ）。状态仅在整个帧处理完成后才进行更新。这确保了当前帧中所有 token 具有一致的跨帧上下文。
清洁通过更新：在多步去噪循环期间，模型查询状态但不更新它。状态仅在该帧的最终“清洁”通过生成后才进行更新。这防止了噪声中间步骤污染长程记忆，并将状态写入次数从每个去噪步骤一次减少为每帧一次。

2.3 训练流程：两阶段蒸馏

作者提出了一种高效的两阶段蒸馏流程，用于将预训练的因果强制模型进行转换，而非从头训练：

阶段 1（逐层蒸馏与选择）：30 个注意力层中的每一层都被独立蒸馏。作者引入了**注意力恢复率（ARR）**分析，将层分类为“混合可恢复”（HR）和“混合敏感”（HS）。
- HR 维度：主体一致性、背景一致性、运动平滑度和美学质量（恢复率 >85%）。
- HS 维度：成像质量（敏感，恢复率仅约 25%）。
- 层选择：一种评分机制（ $p_\ell$ ）优先替换对 HS 维度较不敏感的层，确保对成像质量至关重要的层保留 softmax 注意力。
阶段 2（联合蒸馏）：混合模型（替换了选定的层）与冻结的教师模型进行端到端的联合微调，匹配预测的速度场，以确保所有层之间的协调运行。

3. 主要贡献

首个混合 AR 视频扩散：这是第一项将预训练 AR 视频扩散模型转化为混合线性注意力架构的工作，实现了无需从头训练即可进行恒定内存的流式生成。
角色感知分解：该设计明确尊重视频注意力的异质性，保留双向 softmax 以处理空间细节，同时利用线性循环来处理时间记忆。
稳定的状态管理：引入帧级访问和清洁通过更新，解决了将循环线性注意力应用于迭代扩散去噪时的特定挑战，防止了上下文不对称和内存破坏。
高效的蒸馏策略：一种由敏感性引导的两阶段蒸馏流程，在最小化性能下降的同时最大化效率提升。

4. 实验结果

作者在 VBench 基准上评估了 ARL2，使用了 13 亿参数模型，涵盖了各种视频长度（81 到 921 帧）。

效率：
- 内存：实现了高达 54% 的内存减少（例如，921 帧时为 40.5 GB 对比 87.9 GB），并且无论视频长度如何都保持恒定内存占用，而基线模型在 1005 帧时因内存不足（OOM）而失败。
- 速度：在 921 帧时实现了高达 2.26 倍的挂钟时间加速。随着 KV 缓存开销成为主导，加速比随视频长度增加而提升。
质量：
- ARL2（50% 替换）：在整体质量上匹配或超过了 softmax 教师模型，在时间闪烁（+0.99）和运动平滑度（+1.35）方面有具体提升。
- ARL2（75% 替换）：保持了有竞争力的质量（成像质量与基线相差约 1% 以内），同时实现了最大的效率提升。
- 对比：ARL2（50%）优于其他蒸馏模型，并以 3.5 倍更少的参数量匹配了大得多的 MAGI-1（45 亿参数）。
消融实验：
- 移除混合分支或使用 token 级访问会降低性能，证实了两个分支和帧级状态共享的必要性。
- 逐头门控提供了性能与参数效率之间的最佳权衡。

5. 意义与主张

该论文声称，ARL2 从根本上解决了自回归视频扩散的可扩展性瓶颈。通过解耦空间和时间建模，它实现了此前因内存限制而不可行的长视频合成。作者强调，他们的方法允许恒定内存的流式视频生成，使其适用于交互式和实时应用。

这项工作证明，在保留 softmax 注意力的高质量空间建模的同时，用线性循环状态替代内存密集型的时序机制是可行的。所提出的两阶段蒸馏证明，此类架构变更可以高效地迁移到预训练模型中，仅需极少的可训练参数（<2%）和计算成本（约 156 个 H100 GPU 小时），为可扩展的视频生成提供了一条切实可行的路径。