Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention
本文介绍了 FAST-AR，这是一个无需训练的框架，通过压缩时间缓存并利用近似最近邻匹配实现注意力稀疏化，从而加速自回归视频扩散模型和世界模型，在保持视觉质量的同时实现了 5–10 倍的加速并保持恒定的内存占用。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图写一个非常长的故事，一次只写一句话。每当你写出一个新句子时，你都必须阅读之前写过的每一句话，以确保新句子能够完美契合。
在 AI 视频生成的世界里，情况正是如此。当 AI 一帧一帧地创建视频时，它会保留一个“记忆库”（称为 KV Cache），记录它目前为止生成的所有内容。为了创建下一帧，AI 必须阅读这个不断增长的整个记忆库。
问题在于？随着视频变得越来越长，这个记忆库也会变得巨大。AI 必须阅读越来越多的文本来写出下一个句子。这使得过程变得：
- 越来越慢（就像试图在一座每秒都在增加新书的图书馆里寻找特定的单词）。
- 越来越昂贵（它会耗尽计算机内存，就像背包变得越来越重，难以背负）。
这篇论文介绍了一种名为 FAST-AR 的新方法来解决这个问题。你可以把它想象成给 AI 提供了一套超级聪明的捷径，让它在写长篇故事时不会感到疲劳或丢失记忆。
以下是 FAST-AR 使用的三个“魔术技巧”：
1. “重复项查找器” (TempCache)
问题： 在视频中，许多事物会在很长一段时间内保持不变。如果一只猫正在花园里走动，那么在第 100 帧和第 101 帧中，背景里的树木和猫的毛发看起来几乎是完全一样的。之前的 AI 在重复记忆同样的东西，这浪费了时间。
解决方案： FAST-AR 就像一位聪明的图书管理员，他会注意到：“嘿，我的记忆里已经有一份完美的树木副本了。我不需要再把它写下来一遍。”
它通过合并这些“近乎重复”的时刻来压缩记忆。它不再记住每一帧，而是记住场景的“本质”。这使得无论视频变得多长，记忆的大小都能保持在较小的水平且恒定不变。
2. “相关性读者” (AnnCA)
问题： 想象你正在根据一个非常长的提示词（一段详细的描述）来写故事。提示词可能会说：“一只猫在走，一辆面包车经过，然后出现了一只狗。”当 AI 当前正在绘制“猫”时，它并不需要去看提示词中关于“面包车”或“狗”的词语。但旧的 AI 模型每次都会阅读整个提示词，从而浪费能量。
解决方案： FAST-AR 使用一种“快速搜索”工具（称为近似最近邻，Approximate Nearest Neighbor）来瞬间判断：“提示词中的哪些词对于这一特定帧才是真正重要的？”
它会忽略无关的词。如果猫出现在屏幕上，它就只关注“猫”这个词。这节省了大量的计算能力。
3. “焦点过滤器” (AnnSA)
问题： 在视频内部，AI 会观察每一个像素相对于其他所有像素的关系。这就像是在尝试同时与体育场里的所有人交谈，尽管你其实只需要和站在你身边的人说话。
解决方案： FAST-AR 将相似的事物组合在一起。如果一个像素属于“猫”的一部分，它就只与同样属于“猫”的像素进行交流。它会忽略背景或其他不相关的物体。这就像是将人们分成一个个小型、专注的对话圈，而不是一个巨大的、嘈杂的人群。
结果：是马拉松选手，而非短跑选手
论文表明，通过使用这三个技巧，AI 生成视频的速度比以前快了 5 到 10 倍。
- 旧方式： 随着视频变长，AI 会变得越来越慢，最终耗尽内存（就像一名跑步者逐渐疲劳并停下脚步）。
- FAST-AR 方式： AI 始终以稳定、快速的节奏运行。无论视频是 10 秒还是 2 分钟，其速度和内存占用量都保持不变。
简而言之： FAST-AR 教会了 AI 如何停止重复阅读旧笔记，如何忽略它不需要的词汇，以及如何只专注于它正在交谈的对象。这使得它能够创作长篇、高质量的视频，而不会被自身的记忆所拖累。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。