Focused Forcing: Content-Aware Per-Frame KV Selection for Efficient Autoregressive Video Diffusion
聚焦强制是一种无需训练的自回归视频扩散高效方法，它通过根据每帧相关性和每头重要性动态选择不同的历史帧并分配 KV 缓存预算，从而提升视觉质量并实现高达 1.48 倍的加速。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图向朋友讲述一个非常漫长且复杂的故事，但有一条严格的规定：你只能记住已讲述内容的一小部分。如果你试图记住从故事开始以来说过的每一个字，你的大脑（在此情境下即计算机）就会不堪重负，运行变慢，最终崩溃。
这正是自回归视频扩散模型所面临的问题。这些人工智能系统逐帧生成视频，就像讲故事的人一句接一句地添加内容。为了让下一帧看起来正确，人工智能需要“记住”所有先前的帧。随着视频变长，这种记忆（称为 KV 缓存）会变得极其庞大，导致过程既缓慢又昂贵。
本文介绍了一种名为“聚焦强制”（Focused Forcing）的新方法来解决这一问题。与其为了节省空间而盲目删除旧记忆，聚焦强制更像是一位“智能编辑”，它确切地知道该保留什么、该遗忘什么，而无需重新训练人工智能。
以下是其工作原理，通过三个简单的类比来说明：
1. “个性化播放列表”与“共享播放列表”
旧方法： 想象一群朋友（正在生成的新视频帧）正在聆听一份旧歌曲播放列表（历史内容）。在以往的方法中，整个群体被迫聆听来自过去的同一首 5 首歌，无论每位朋友当前正在唱什么。如果朋友 A 需要 10 分钟前的一首特定歌曲来保持音准，但群体只被允许听到 2 分钟前的一首歌，音乐听起来就会走调。
聚焦强制： 这种方法为每位朋友提供他们自己的个性化播放列表。它意识到，此刻正在生成的帧可能需要回顾过去某个特定的时刻，而这个时刻与下一帧所需的不同。它为每个特定时刻选择最相关的历史帧，确保故事保持连贯。
2. “精彩集锦”与“无聊的重复”
旧方法： 想象你试图记住一部漫长的电影。旧方法仅根据场景“喊叫”的响亮程度（注意力分数）来决定其是否重要。但有时，一个场景之所以响亮，仅仅是因为它正在发生，而不是因为它对情节真正重要。此外，如果一个场景与之前的场景非常相似（冗余），旧方法可能会仅仅因为它响亮而保留它，从而浪费空间。
聚焦强制： 这种方法使用两部分评分：
- 相关性： 这个旧场景与我们当前所做的内容有多少关联？
- 多样性： 这个场景是否真正不同且有趣，还是仅仅是对我们已经看过的内容的无聊复制？
通过结合这两点，它保留了视频的“精彩集锦”——保留独特且重要的时刻，剔除重复且无聊的部分。
3. “贵宾通行证”与“统一门票”
旧方法： 想象一个剧院里有许多不同的摄像机（注意力头）在拍摄故事。有些摄像机是“总导演”（非常重要），而其他的只是“空镜头”（不太重要）。以往的方法给每台摄像机分配完全相同数量的胶片（内存预算）。这意味着总导演胶片用尽，而空镜头摄像机却有大量未使用的胶片。
聚焦强制： 这种方法充当智能票务经理。它首先通过观察关闭特定摄像机时故事受到的影响程度，来测试哪些摄像机是“总导演”。然后，它向重要的摄像机发放贵宾通行证（更多内存），向不太重要的摄像机发放普通门票（较少内存）。这确保了视频生成中最关键的部分获得所需的资源。
结果
通过运用这三种技巧，聚焦强制使人工智能能够以1.48 倍的速度生成更长的视频（几乎提速 50%），且不会损失质量。事实上，由于它移除了记忆中“无聊”和“冗余”的部分，视频往往看起来更好，并且比之前更紧密地遵循故事指令。
简而言之： 这就像从杂乱无章、不堪重负的双肩包升级为一个智能、有条理的公文包。你携带的重量减轻了，但你拥有恰好完成工作所需的一切。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。