Towards Memory-Efficient Autoregressive Video Generation via Instance-Specific Parametric Absorption
本文提出了实例特定参数吸收（Instance-Specific Parametric Absorption, ISPA），这是一种通过闭式权重调制将历史上下文蒸馏至模型权重中，从而缓解自回归视频生成中内存瓶颈的新型框架，进而实现高达 50% 的 KV 缓存缩减且保持近乎无损的视觉质量。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图写一个非常长的故事，一次只写一句话，同时还要记住从开头起每一个细节，以保持情节的一致性。
在 AI 视频生成的世界里，情况正是如此。AI 逐帧创建视频。为了确保角色不会突然变脸，或者背景不会剧烈闪烁，AI 会保留一个“记忆库”（称为 KV Cache），记录它目前为止生成的所有内容。
问题所在：记忆库太重了
随着视频变得越来越长，这个记忆库也会变得越来越大。最终，它会变得非常沉重，填满计算机的内存（RAM），导致系统变慢或崩溃。这就像是你背着一个每走一步都会增加砖块的背包；最终，你再也走不动了。
通常，为了解决这个问题，人们尝试扔掉背包里的旧砖块（Token）。但在视频生成中，丢弃旧记忆是非常危险的。如果你忘记了角色 10 秒钟前的样子，角色可能会发生形变，或者背景可能会开始晃动。
解决方案：ISPA（“内部记忆”技巧）
该论文的作者提出了一种名为 ISPA（实例特定参数吸收，Instance-Specific Parametric Absorption）的新方法。ISPA 不再是丢弃旧记忆，而是教会 AI 将它们记忆在自己的大脑内部。
以下是它的工作原理，使用一个简单的类比：
1. “热身”阶段（学习环节）
想象 AI 是一个正在考试的学生。在视频的前几秒钟（“热身”期），AI 同时做两件事：
- 它查看整个历史记录（完整的背包）。
- 它只看最近的过去（一本小笔记本）。
它会对两者进行比较。它会问自己：“如果我只看这本小笔记本，我的答案与查看整个背包相比会有什么不同？”
2. “吸收”阶段（小抄）
一旦 AI 通过这段短暂的热身收集了足够的数据，它就会执行一个数学技巧。它会计算一个特殊的**“调整因子”**（对其内部权重的一个微小改变）。
把这个调整因子想象成一张粘贴在学生大脑里的永久小抄。这张小抄完美地总结了那些“缺失”的历史信息。它告诉 AI：“即使你不再看那个沉重的背包了，你也应该表现得好像你还在看一样，因为这张小抄里有答案。”
3. “高效”阶段（更轻的背包）
从那一刻起，AI 不再背负沉重的背包。它丢弃了旧的记忆 Token（释放了大量的空间）。相反，它只需利用它的“小抄”（调整后的权重）来记忆过去。
- 旧方法： 背着装满砖块的沉重背包。
- ISPA 方法： 记住砖块的蓝图，然后只携带一张轻便的小纸条。
为什么这很特别
- 无质量损失： 因为 AI 是通过“学习”历史而非仅仅删除历史，所以视频保持了一致性。角色不会变脸，背景也不会晃动。
- 为每个视频定制： 论文指出，这种“小抄”对每个正在制作的视频都是唯一的。一段跳舞猫咪的视频会得到一张与奔跑汽车视频不同的小抄。
- 速度： 通过摆脱沉重的记忆库，AI 的运行速度大大提升。作者发现他们可以将内存占用减少 50%，且生成的视频看起来与原始的、沉重的版本几乎完全一致。在某些情况下，结合其他技巧，使 AI 的速度提升了近 2 倍。
“汇聚”Token（锚点）
论文还提到了一个虽小但至关重要的细节：AI 保留了一个来自第一帧的微小且不变的“锚点”（称为汇聚 Token/sink token）。它就像一座灯塔。即使 AI 忘记了中间的细节，这座灯塔也能确保 AI 不会迷失方向或偏离航道，从而保持视频的稳定性。
总结：
ISPA 解决了制作长视频时“内存耗尽”的问题。它不是通过删除旧记忆（这会导致画面闪烁或错误）来解决，而是将这些记忆压缩成 AI 自身大脑中一个永久且轻量化的部分。这使得 AI 能够生成长而流畅的视频，而无需依靠超级计算机来承载所有数据。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。