💻 computer science

Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep

本文提出了名为 HetCache 的免训练加速框架，通过利用扩散视频编辑中时空令牌的非均匀性，选择性缓存高相关性上下文令牌以减少冗余注意力计算，从而在保持编辑质量的同时显著提升了推理速度并降低了计算开销。

原作者： Tianyi Liu, Ye Lu, Linfeng Zhang, Chen Cai, Jianjun Gao, Yi Wang, Kim-Hui Yap, Lap-Pui Chau

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianyi Liu, Ye Lu, Linfeng Zhang, Chen Cai, Jianjun Gao, Yi Wang, Kim-Hui Yap, Lap-Pui Chau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 HetCache 的新方法，它的目的是让基于 AI 的“视频编辑”变得更快、更省钱，同时还能保持画质不下降。

为了让你轻松理解，我们可以把整个过程想象成**“一位忙碌的画家在修复一幅巨大的动态壁画”**。

1. 背景：画家太累了（为什么需要加速？）

现在的 AI 视频编辑（比如把视频里的人换掉，或者把背景里的树变成花）非常强大，但也非常“烧脑”。

现状：AI 画家在修复视频时，不是直接画完，而是要像剥洋葱一样，从一团模糊的噪点开始，一步步（比如 100 步）把画面“去噪”变清晰。
问题：在这 100 步里，画家每一步都要重新计算整幅画的所有细节。这就像画家在画第 50 步时，还要重新计算第 1 步已经画好的天空和草地，完全是在做重复劳动。这导致生成视频非常慢，普通电脑根本跑不动。

2. 旧方法的局限：只知其一，不知其二

以前的加速方法（比如 TeaCache）主要做了一件事：“偷懒看时间”。

比喻：它们觉得，如果画家连续几步画的画面变化不大（比如天空还是蓝的），那就直接复用上一步的画，不再重画。
缺点：它们忽略了**“画布上的不同区域”**。在视频编辑中，我们通常只修改画面的某一部分（比如把视频里的人换掉，但背景不动）。
- 旧方法：不管你是要改“人”还是改“背景”，它都一视同仁地偷懒。结果就是，该精细修改的地方（被遮挡的人）画糊了，或者该保留细节的地方（背景）也被错误地简化了。

3. 新方法 HetCache：聪明的“分区管理”

HetCache 的核心思想是：“既要看时间，也要看位置，还要看谁更重要。” 它引入了**“异构缓存”**（Heterogeneous Caching）的概念。

我们可以把 HetCache 的工作流程想象成一位**“超级聪明的艺术总监”**在指挥画家：

第一步：看时间，决定“重画”还是“复用”

艺术总监会观察画家的进度：

变化大时（关键帧）：如果画面正在发生剧烈变化（比如人物在转身），总监会喊：“停！别偷懒，全速重画！”（Full-Compute）。
变化小时（稳定帧）：如果画面很稳，总监会喊：“直接复用上一步的画！”（Reuse Step）。
变化中等时：喊：“稍微刷新一下细节就行！”（Partial-Compute）。

第二步：看位置，把画布分成三类人

这是 HetCache 最厉害的地方。在需要“全速重画”的时候，它不会让画家去算整幅画，而是根据**“遮罩”**（Mask，即我们要修改的区域）把画面上的像素点（Token）分成三类：

生成区（Generative Tokens）：这是**“被修改的核心区域”**（比如被遮住的人）。
- 策略：必须全算！这是我们要改的地方，一点都不能错。
边缘区（Margin Tokens）：这是**“修改区周围的过渡带”**。
- 策略：必须全算！为了保证新的人和旧背景衔接自然，不出现生硬的边界，这里也要仔细画。
背景区（Context Tokens）：这是**“远处的背景”**（比如远处的山、不动的树）。
- 策略：这是重点偷懒对象！ 这些背景离我们要改的人很远，它们对“人”长什么样影响很小。

第三步：看关系，只留“有用”的背景

对于“背景区”的像素点，HetCache 不会全部计算，而是玩了一个**“选代表”**的游戏：

聚类（Clustering）：它把背景里长得像的像素点（比如都是绿色的树叶）聚在一起。
选代表（Selection）：在每个群体里，只挑出最有代表性、最能说明问题的几个像素点（比如挑出最绿的那几片叶子）。
计算：画家只需要计算这几个“代表”，剩下的背景像素点直接复用之前的结果。

比喻：
想象你要给一群人（背景）拍照，但重点是要拍清楚中间的新人（生成区）。

旧方法：要么把所有人都拍一遍（太慢），要么把所有人都模糊处理（太丑）。
HetCache：它发现，只要把人群里几个最有代表性的“领路人”（比如站在最前面、最能代表大家特征的人）拍清楚，其他人（背景）稍微模糊一点或者用旧照片代替，完全不影响看清中间的新人是谁。

4. 结果：又快又好

通过这种**“时间上分步走，空间上分区域，背景里选代表”**的策略，HetCache 实现了：

速度提升：比原来的方法快了 2.67 倍（就像从步行变成了骑电动车）。
算力节省：大大减少了计算机的运算量（FLOPs）。
画质无损：因为核心修改区和边缘区都认真画了，背景又只选了最关键的，所以视频看起来依然清晰、自然，没有模糊或鬼影。

总结

HetCache 就像是一个懂行情的艺术总监，它不再让 AI 画家盲目地重复劳动。它告诉画家：“远处的背景不用每次都重画，挑几个代表性的就行；但中间要改的人，必须一笔一划认真画。”

这种方法不需要重新训练 AI 模型（Training-free），直接就能用在现有的视频编辑工具上，让普通用户也能在几秒钟内完成以前需要几分钟甚至几小时的高质量视频编辑。

这是一篇关于加速基于扩散模型（Diffusion Models）的视频编辑技术的论文总结。该论文提出了一种名为 HetCache 的无训练（training-free）加速框架，旨在解决扩散 Transformer（DiT）在视频编辑任务中计算成本高昂的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：基于扩散模型的视频编辑（特别是掩码视频到视频，MV2V）已成为高质量内容生成的主流范式。随着 Diffusion Transformers (DiT) 的引入，生成质量和泛化能力显著提升，但计算成本也随之剧增。
核心痛点：
1. 迭代去噪过程昂贵：扩散模型需要多次前向传播（去噪步数多），导致推理延迟高。
2. 现有加速方法的局限性：现有的加速方法（如 TeaCache）主要利用时间步（timestep）层面的特征复用，忽略了 DiT 架构内部的令牌（token）冗余。
3. 视频编辑的特殊性：在视频编辑任务中，存在明显的感兴趣区域（ROI，即掩码区域）和非掩码区域。非掩码区域（上下文）的令牌之间存在大量冗余的注意力计算，且不同令牌对生成结果的贡献度（异质性）不同。现有的均匀缓存策略无法有效利用这种异质性，导致要么加速不足，要么牺牲生成质量。

2. 方法论 (Methodology)

论文提出了 HetCache，一种针对 MV2V 任务设计的无训练加速框架。其核心思想是利用扩散过程中的时间异质性和 DiT 中时空令牌的异质性，进行联合优化。

A. 时间步层面的异质性建模 (Timestep-level Heterogeneity)

机制：不再对所有时间步进行全量计算，而是根据模型输出的变化程度动态调整计算模式。
实现：
- 利用调制后的输入（Modulated Input）计算相邻时间步的相对变化量。
- 累积变化量 $D_{a \to b}$ $D_{a \to b}$ 用于判断当前步的计算模式：
  1. 全计算步 (Full-Compute)：变化量大，执行完整的前向传播并更新缓存。
  2. 部分计算步 (Partial-Compute)：变化量中等，仅重算部分令牌，其余使用缓存。
  3. 复用步 (Reuse Step)：变化量小，直接复用之前的缓存输出，跳过计算。

B. 空间 - 时间令牌层面的异质性缓存 (Spatio-Temporal Token Heterogeneity)

这是 HetCache 的核心创新点，针对视频编辑中的掩码特性设计：

令牌分类：在全计算步中，根据空间先验（编辑掩码）将令牌分为三类：
1. 生成令牌 (Generative Tokens)：掩码区域，必须合成新内容，需全量计算。
2. 边缘令牌 (Margin Tokens)：掩码边界附近的非掩码令牌，负责边界平滑，需保留。
3. 上下文令牌 (Context Tokens)：远离掩码的非掩码区域，提供全局语义指导。
选择性缓存策略：
- 观察到大部分“上下文 - 上下文”的注意力计算是冗余的。
- 语义聚类：对上下文令牌进行轻量级的 K-Means 聚类。
- 相关性评估：利用缓存的稀疏注意力分数（Context-to-Generative Attention），评估每个上下文令牌对生成区域的语义贡献度（重要性 $\alpha_i$ ）。
- 代表性选择：在每个聚类中选择 Top- $r_{ctx}$ 比例的高重要性令牌作为“代表性令牌”。
- 部分计算：在部分计算步中，仅使用这些代表性上下文令牌与生成/边缘令牌进行注意力交互，大幅减少注意力矩阵的计算量（从 $O(N^2)$ 降低）。

C. 算法流程

初始化缓存和累积距离。
遍历去噪时间步：
- 计算输入变化，决定当前步模式（全量/部分/复用）。
- 若是部分计算步：
  - 将令牌分为 Context, Margin, Generative。
  - 对 Context 令牌聚类并计算重要性。
  - 选取 Top- $r_{ctx}$ 的代表性 Context 令牌。
  - 仅对 Generative + Margin + 代表性 Context 令牌运行 DiT 块。
  - 更新缓存（EMA 风格）。
- 若是全计算步：运行完整模型，更新缓存。
- 若是复用步：直接使用缓存输出。

3. 主要贡献 (Key Contributions)

令牌级冗余分析：首次深入分析了 DiT 在 MV2V 任务中的令牌级冗余，揭示了由 ROI 特性引起的令牌异质性（不同令牌对生成的贡献度不同）。
HetCache 框架：提出了一种无训练的异质性缓存机制。它同时利用了时间步冗余（动态选择计算步）和令牌冗余（基于语义相关性的选择性令牌缓存），实现了细粒度的加速。
性能与质量的平衡：在保持编辑一致性和保真度的前提下，显著降低了计算开销，为实时交互式视频编辑提供了可行方案。

4. 实验结果 (Results)

实验在 VACE-Benchmark（视频修复/补全）和 VPBench（文本引导编辑）上进行了评估，基线模型为 Wan2.1-VACE。

加速效果：
- 延迟降低：相比基础模型，HetCache-fast 实现了 2.67 倍 的延迟加速。
- 计算量减少：FLOPs 显著降低（例如在 100 步基线降至 50 步等效计算量，且进一步通过令牌裁剪减少）。
- 对比 SOTA：优于 TeaCache 等现有加速方法（TeaCache 主要关注时间步，未优化令牌级计算）。
质量保持：
- 视觉指标：PSNR、SSIM、VFID 等指标与全量计算基线非常接近，甚至略优于某些加速方法。
- 感知指标：VBench 评分保持在高位，表明主体一致性、背景一致性和运动平滑度未受明显影响。
- 定性分析：可视化结果显示，HetCache 有效避免了其他加速方法常见的伪影（Ghosting）、模糊和边界不光滑问题。
泛化性：在不同分辨率、视频长度、不同基座模型（如 LTX-Video）上均表现出一致的加速趋势和质量稳定性。

5. 意义与价值 (Significance)

理论突破：打破了以往加速方法仅关注“时间步”或“均匀令牌”的局限，提出了“时间 - 空间 - 语义”三维异质性利用的新视角。
实用价值：作为一种**无训练（Training-free）**方案，HetCache 可以直接应用于现有的预训练 DiT 模型（如 Wan2.1, LTX 等），无需微调或重新训练，极大地降低了部署门槛。
未来方向：为未来扩散 Transformer 的加速提供了新思路，即通过多维度的冗余挖掘（时间动态 + 空间语义异质性）来突破推理瓶颈，推动高质量视频编辑向实时化、交互化发展。

总结：HetCache 通过智能地识别哪些时间步需要计算、哪些令牌需要保留，成功在“计算效率”和“生成质量”之间找到了最佳平衡点，是目前基于 DiT 的视频编辑领域极具实用价值的加速方案。