CHAI: CacHe Attention Inference for text2video

本文提出了 CHAI（CacHe Attention Inference），一种通过引入跨推理缓存注意力机制来高效复用语义相关提示中的共享场景，从而在仅需 8 步去噪的情况下将 OpenSora 1.2 的推理速度提升 1.65 至 3.35 倍且保持视频质量的文本到视频生成加速方法。

要点

这篇论文介绍了一个名为 CHAI（CacHe Attention Inference for text2video，意为“缓存注意力推理”）的新系统。它的核心目标是：让 AI 生成视频的速度快得像变魔术，但画质依然清晰，而且不需要重新训练 AI 模型。

为了让你轻松理解，我们可以把生成视频的过程想象成**“画一幅复杂的动态连环画”**。

1. 现在的痛点：为什么生成视频这么慢？

想象一下，你让 AI 画一个“海滩上波浪拍打沙滩”的视频。

• 传统方法（OpenSora 等）：AI 就像是一个极其谨慎的画家。它从一团模糊的噪点（像电视雪花）开始，需要30 到 50 次反复的“修改”和“细化”，才能把噪点变成清晰的画面。每一次修改（去噪步骤）都要计算巨大的数据量，所以非常慢，就像画家要画 50 遍才能完成一幅画。
• 现有的加速方法：
  • 方法 A（重新训练）：让画家去进修，学一种“速成画法”。但这需要花几个月时间重新训练，成本太高，不现实。
  • 方法 B（跳过步骤）：告诉画家：“中间那几步你偷懒跳过吧，直接画最后的效果。”但这有个大问题：如果跳过太多，画出来的东西就会变形、模糊，或者海浪和沙滩混在一起分不清。

2. CHAI 的绝招：聪明的“借图”策略

CHAI 不想重新训练画家，也不想粗暴地跳过步骤。它想出了一个更聪明的办法：“借图”。

核心洞察：虽然故事不同，但“主角”可能一样

以前的加速方法（比如 NIRVANA）是这样想的：“如果你让我画‘海滩派对’，下次让我画‘海滩日落’，因为这两个提示词（Prompt）很像，所以我直接把上次画好的底稿拿来用。”

• 问题：视频提示词通常很长且具体。比如“海滩派对”和“春天海滩的波浪”，虽然都有“海滩”，但整体描述差别很大。如果只比整体，AI 发现它们“不像”，就不敢借图，导致加速失败。

CHAI 的突破：它不看整句话像不像，而是看**“核心元素”**像不像。

• 它提取出提示词里的实体（Entity）：比如“海滩”、“波浪”、“沙子”。
• 只要新请求里也有“海滩”，CHAI 就会想：“嘿，我之前画过‘海滩派对’，那里的‘海滩’和‘波浪’已经画得很完美了，我可以直接借用这部分！”

关键技术：缓存注意力（Cache Attention）—— 像“智能滤镜”一样借用

这是 CHAI 最厉害的地方。它不是直接把旧图贴上去（那样会混入“派对”的元素，比如出现气球或人群，这就错了）。

它发明了一种叫**“缓存注意力”**的机制：

• 比喻：想象你有一张画好的“海滩”底图（缓存）。现在你要画“春天的海滩”。
• 传统借图：直接把整张底图盖上去，结果春天海滩里混进了派对的彩带。
• CHAI 的借图：它戴上了一副**“智能眼镜”**。这副眼镜只透过底图里的“海浪”和“沙滩”部分，而自动过滤掉“派对”部分。然后，它只把这些干净的“海浪”和“沙滩”信息，注入到你正在画的“春天海滩”里。
• 结果：你既利用了之前画好的高质量“海浪”细节（省去了重新计算的时间），又完全保留了“春天”这个新指令的独特性。

3. 效果如何？快如闪电，画质如初

通过这种“只借核心元素”的策略，CHAI 实现了惊人的效果：

• 步骤大减：以前需要画 30 步，现在只需要画 8 步。
  • 比喻：以前画家要画 30 遍才能完工，现在因为借用了完美的底稿，他只需要画最后 8 笔就能完成。
• 速度提升：比原来的系统快了 1.65 倍到 3.35 倍。
• 画质无损：虽然步骤少了，但因为借用了高质量底稿，画出来的视频依然清晰、连贯，没有那种“跳过步骤”导致的模糊或变形。

4. 总结：CHAI 是什么？

如果把生成视频比作**“做一道复杂的菜”**：

• 以前的做法：每次都要从切菜、洗菜、炒菜一步步从头做起，哪怕只是做一道类似的菜，也要花同样长的时间。
• CHAI 的做法：它有一个**“智能冰箱”**。当你想做“红烧牛肉”时，它发现冰箱里刚做过“红烧排骨”，里面的“红烧酱汁”和“炖肉火候”是通用的。
  • 它不会直接把排骨端上来（那是错的）。
  • 它会提取出完美的“酱汁”和“火候”（缓存注意力），然后只花很少的时间去处理牛肉，最后端出一盘完美的红烧牛肉。

一句话总结：
CHAI 是一个不需要重新训练 AI，就能通过**“聪明地借用以前画过的核心元素”，让 AI 生成视频速度快 3 倍**，同时画质依然完美的新技术。它让 AI 视频生成从“慢工出细活”变成了“秒级出大片”。

技术摘要

这是一份关于论文 CHAI: CacHe Attention Inference for text2video 的详细技术总结。

1. 研究背景与问题 (Problem)

核心痛点：
文本到视频（Text-to-Video）的扩散模型（如 OpenSora, Sora 等）虽然能生成高质量视频，但推理延迟极高，难以大规模部署。

• 原因： 视频扩散模型基于去噪扩散概率模型（DDPM），需要迭代地去噪 3D 潜在空间（spatiotemporal latents）。与图像生成不同，视频生成的时空维度更大，且通常需要 30-50 个去噪步数才能达到可接受的质量，导致端到端延迟高。

现有方案的局限性：

• 基于重训练的方法： 需要昂贵的模型微调或架构修改，部署成本高，不灵活。
• 基于推理内缓存（Intra-inference Caching）的方法： 如 AdaCache, TeaCache 等。它们通过启发式规则跳过单个推理过程中的冗余步骤（通常是中后期步骤）。
  • 缺陷： 无法跳过早期步骤，因为早期步骤对视频结构和运动一致性至关重要。强行跳过会导致质量严重下降，因此存在延迟降低的“天花板”。
• 基于跨推理缓存（Cross-inference Caching）的方法： 如 NIRVANA（用于图像）。它们尝试复用之前相似提示词（Prompt）生成的中间潜在向量。
  • 缺陷： 直接应用于视频时效果不佳。视频提示词通常更长、更描述性且更多样化，导致基于“全提示词相似度”的缓存命中率极低（<40%），无法有效加速。

2. 方法论 (Methodology)

CHAI 提出了一种**无需重训练（Training-free）的加速策略，核心思想是从实体级别（Entity-level）**进行跨推理缓存，并引入了一种新的注意力机制。

2.1 核心洞察：实体相似度 (Entity Similarity)

• 观察： 虽然完整的视频提示词（如“一只老虎在森林里奔跑”和“一辆汽车在森林里行驶”）差异很大，但它们往往共享相同的实体（如“森林”、“老虎/汽车”）。
• 策略： 不再基于全提示词匹配，而是提取提示词中的对象和场景实体，基于实体相似度进行缓存检索。实验表明，在合理的缓存预算下，实体级别的缓存命中率可提升至 80% 以上。

2.2 核心技术：Cache Attention (缓存注意力)

这是 CHAI 最关键的创新，用于解决如何安全、有效地将缓存的潜在向量（Latents）融入新的生成轨迹而不引入噪声或伪影的问题。

• 机制原理：

  • 传统的跨推理方法直接替换潜在向量，这会导致提示词特定的细节丢失或噪声混入。
  • Cache Attention 修改了扩散模型中的注意力层（如 OpenSora 中的 STDiT 块）。
  • Key/Value 来源： 注意力机制中的 Key (K) 和 Value (V) 向量不再完全来自当前步的潜在空间，而是部分或全部来自缓存中共享相似实体的潜在空间。
  • Query (Q) 来源： Query 向量仍然来自当前提示词调制的噪声（Prompt-modulated Gaussian noise）。
  • 效果： 这种设计允许模型利用缓存中的“结构信息”（如背景、物体形状），同时通过当前的 Query 保留提示词特有的细节（如动作、颜色），实现了选择性复用。

• 调度策略 (Scheduling)：

  • 步数选择： 实验发现，CHAI 仅需 8 个去噪步数 即可生成高质量视频（相比基线的 30 步）。
  • 缓存介入时机：
    • 第 1 步：不使用缓存（因为此时 Query 是纯高斯噪声，无提示词信息）。
    • 第 2、3、4 步：使用 Cache Attention 层，复用缓存中的潜在特征。
    • 第 4 步之后：缓存收益递减，且占用存储过多，故停止使用。
    • 每个去噪步中，仅在第一块（Block）使用缓存，避免连续使用导致噪声累积。

2.3 系统架构

• 实体提取器 (Entity Extractor)： 使用 NLP 工具（如 Spacy）从提示词中提取对象和场景实体。
• 向量数据库 (Vector DB)： 存储实体的 Embedding，用于快速检索相似实体。
• 潜在存储 (Latent Store)： 存储对应的缓存潜在向量。
• LRU 策略引擎： 管理缓存大小，当缓存满时淘汰最久未使用的条目。
• 双模式运行：
  • Full Mode (缓存未命中)： 执行完整的 30 步推理，不使用缓存，并将结果存入缓存。
  • Fast Mode (缓存命中)： 仅执行 8 步推理，启用 Cache Attention 层复用缓存信息。

3. 主要贡献 (Key Contributions)

1. CHAI 系统： 提出了首个针对文本到视频扩散模型的、基于实体级别跨推理缓存的无需重训练加速系统。
2. Cache Attention 机制： 设计了一种新颖的注意力机制，能够选择性复用缓存中的实体级信息，解决了直接替换潜在向量带来的质量下降问题。
3. 性能突破：
   • 在 8 个去噪步数 下即可生成高质量视频，质量与 OpenSora 1.2 的 30 步推理相当。
   • 在 VBench 基准测试上，相比 OpenSora 1.2 实现了 3.35 倍 的端到端加速，且视频质量仅下降 0.3%。
   • 在多样化的 VidProM 真实工作负载下，实现了 1.65 倍 加速，而传统的基于全提示词匹配的方法（NIRVANA-VID）几乎无加速效果。
4. 可扩展性验证： 证明了在 modest 的存储预算（1-5 GB）下，系统仍能保持 >80% 的缓存命中率，具备实际部署价值。

4. 实验结果 (Results)

• 视频质量与延迟 (VBench)：

  • OpenSora 1.2 (30 步): 延迟 12.54s, VBench 分数 0.8018。
  • NIRVANA-VID (8 步，全提示词匹配): 延迟 8.36s, VBench 分数 0.7546 (质量严重受损，因为无法区分提示词中的不同实体)。
  • CHAI (8 步，实体匹配 + Cache Attention): 延迟 3.75s, VBench 分数 0.7985。
  • 结论： CHAI 在大幅降低延迟的同时，保持了与基线几乎一致的视频质量。

• 受限缓存预算下的表现 (VidProM)：

  • 在仅缓存前 100 个提示词（约 10% 缓存大小）的情况下：
    • 全提示词匹配命中率仅为 14.7%，NIRVANA-VID 加速微乎其微。
    • CHAI 的实体匹配命中率达到 51.8%，延迟降低至 7.63s (1.65 倍加速)，且质量下降极小。

• 存储效率：

  • 在 1GB 缓存预算下（约 780 个提示词），CHAI 的缓存命中率即可达到 83.4%；在 5GB 时达到 89.4%。LRU 和 LFU 替换策略在中小缓存下表现最佳。

• 对比推理内缓存 (AdaCache)：

  • CHAI (3.75s, 0.7985 分) 优于 AdaCache (4.36s, 0.7883 分)。CHAI 突破了仅靠跳过步骤无法兼顾速度与质量的限制。

5. 意义与影响 (Significance)

1. 打破延迟瓶颈： CHAI 证明了通过利用提示词间的**语义结构共性（实体）**而非表面文本相似性，可以极大地提高跨推理缓存的命中率，从而显著降低视频生成的延迟。
2. 无需重训练的实用方案： 该方法不需要昂贵的模型微调，可以直接集成到现有的扩散模型（如 OpenSora）中，对于需要快速部署和频繁更新的工业界场景极具价值。
3. 质量与速度的新平衡： 通过 Cache Attention 机制，CHAI 成功解决了“减少步数导致质量下降”和“直接复用缓存导致噪声/伪影”的矛盾，实现了在极低步数（8 步）下的高质量生成。
4. 未来方向： 为未来的视频生成加速研究提供了新的思路，即从“跳过步骤”转向“跨实例的知识复用”，并指出了结合推理内/外缓存、更高效的压缩存储等未来研究方向。

总结： CHAI 通过引入“实体级缓存”和"Cache Attention"机制，成功将文本到视频生成的推理速度提升了 1.65 到 3.35 倍，同时保持了工业级的视频质量，是视频扩散模型加速领域的一项重要突破。