🤖 machine learning

FastCache: Fast Caching for Diffusion Transformer Through Learnable Linear Approximation

本文提出了 FastCache，一种通过结合基于隐藏状态显著性的自适应令牌选择、跨时间步的潜在激活缓存以及基于 k-NN 密度的令牌合并机制，利用可学习线性近似来显著加速扩散 Transformer（DiT）推理并降低显存占用的框架。

原作者： Dong Liu, Yanxuan Yu, Jiayi Zhang, Yifan Li, Ben Lengerich, Ying Nian Wu

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Dong Liu, Yanxuan Yu, Jiayi Zhang, Yifan Li, Ben Lengerich, Ying Nian Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FastCache 的新技术，它的目标是让现在的顶级 AI 绘画和视频生成模型（叫做 Diffusion Transformer，简称 DiT）跑得更快、更省电，同时还能保证画出来的东西一样好看。

为了让你轻松理解，我们可以把 AI 生成图像或视频的过程想象成一位极其勤奋但有点“死脑筋”的画家在画一幅长卷画。

1. 痛点：画家的“死脑筋”

现在的 AI 画家（DiT）非常强大，能画出电影级的画面。但是，它有一个大毛病：太累了，而且有点重复劳动。

场景：假设画家要画一段视频，比如“一个人在公园里散步，背景是静止的树木和天空”。
现状：AI 画家非常负责，哪怕背景里的树和天空在每一帧里几乎一模一样，它也会每一帧都重新拿笔，把树和天空从头到尾、一笔一划地重新画一遍。
后果：这就像你为了看一部电影，每秒钟都要重新把整个电影院重新装修一遍一样。这导致生成速度很慢，电脑（GPU）发热严重，内存也爆满。

2. 解决方案：FastCache（智能缓存与“偷懒”策略）

FastCache 就像给这位勤奋的画家配了一位聪明的“副手”或“管家”。这位副手的工作不是帮画家画画，而是帮画家判断哪些地方可以“偷懒”，哪些地方必须“亲力亲为”。

FastCache 主要用了两招：

第一招：动静分离（空间感知）

比喻：副手拿着放大镜看画布。
- 如果看到背景里的树、天空（静态部分），副手会说：“嘿，这部分上一秒和这一秒完全没变，不用重画了！直接复制粘贴上一帧的画就行。”
- 如果看到走路的人、飘动的云（动态部分），副手会说：“这部分在动，必须让画家亲自重新画，不能偷懒。”
效果：画家只需要把精力集中在“动”的地方，静止的地方直接复用，省下了大量体力。

第二招：智能预测（线性近似）

比喻：有时候，虽然树没动，但光线有一点点微妙的变化（比如云飘过遮了一点光）。
- 以前的方法可能会直接忽略，导致画面卡顿或模糊。
- FastCache 的副手很聪明，它会说：“虽然树没动，但光线变了。我不需要画家重新画整棵树，只需要拿一支简单的笔，在原来的画上轻轻涂一层淡淡的颜色（这就是论文里说的“可学习的线性近似”）。”
效果：既不用重画整棵树，又能捕捉到细微的光影变化，保证了画面的质量。

3. 核心黑科技：什么时候该“偷懒”？

副手不是瞎指挥，它有一套数学上的“体检规则”（统计假设检验）：

它会计算：“这一帧和上一帧的变化，是不是小到可以忽略不计？”
如果变化很小（比如背景），它就跳过复杂的计算步骤，直接调用缓存。
如果变化很大（比如动作剧烈），它就立刻叫停，让画家全速运转。
理论保障：论文里还证明了，只要变化在可控范围内，这种“偷懒”不会让画变丑，误差是严格受控的。

4. 额外大招：合并同类项（Token Merging）

除了“偷懒”，FastCache 还有一个绝活：合并同类项。

比喻：如果画布上有一大片完全一样的草地，副手会把这一大片草地里的几百个小草点，合并成一个大草点来处理。
效果：画家要处理的“点”变少了，速度自然更快。等画完了，再把大草点还原成细节，观众根本看不出区别。

5. 最终成果：快、省、好

经过实验，FastCache 带来了显著的效果：

速度快：生成视频的时间减少了约 37%（就像原本要 10 分钟画完，现在只要 6 分钟）。
省内存：电脑内存占用减少了约 32%，让普通电脑也能跑大模型。
画质好：这是最厉害的，它在加速的同时，画质比现有的其他加速方法都要好（FID 分数更低，意味着画面更逼真、更自然）。

总结

FastCache 就是给 AI 画家装上了一个智能的“记忆库”和“过滤器”。它教会 AI 识别哪些是“死”的（可以缓存），哪些是“活”的（需要重算），并用聪明的“微调”代替笨重的“重画”。

这就好比我们看视频时，如果背景不动，我们的大脑会自动忽略背景的细节，只关注主角的动作。FastCache 让 AI 也学会了这种人类般的“抓重点”能力，从而实现了极速、高效的生成。

以下是关于论文 FastCache: Fast Caching for Diffusion Transformer Through Learnable Linear Approximation 的详细技术总结：

1. 研究背景与问题 (Problem)

扩散 Transformer (DiT) 是目前图像和视频生成领域最强大的生成模型之一。然而，由于其迭代式的去噪结构和深层的 Transformer 堆叠，DiT 在推理过程中计算成本极高，难以满足实时应用（如视频编辑、虚拟现实）的需求。

现有的加速方法主要存在以下局限性：

粒度粗糙：大多数方法（如 Token Pruning 或帧级缓存）仅在帧或 Token 级别进行操作，忽略了模型内部隐藏状态 (Hidden States) 在时间步和空间位置上的冗余性。
质量与效率的权衡：现有的缓存方法（如 DeepCache, AdaCache）往往针对 U-Net 架构设计，直接应用于 DiT 时，要么缺乏理论保证，要么在动态场景下导致生成质量（如 FID 分数）显著下降，出现背景冻结或伪影。
缺乏理论解释：现有的启发式缓存策略缺乏对“何时缓存”和“如何近似”的严格数学解释，难以保证近似误差的有界性。

2. 核心方法论 (Methodology)

FastCache 提出了一种基于隐藏状态级别 (Hidden-state-level) 的缓存与压缩框架，旨在通过利用模型内部表示的冗余性来加速 DiT 推理。其核心思想是"缓存背景，重算运动" (Cache the Background, Recompute the Motion)。

FastCache 包含三个关键模块：

A. 时空 Token 缩减模块 (Spatial-Temporal Token Reduction)

机制：根据隐藏状态的时间显著性（Temporal Saliency）将 Token 分为“运动 Token"和“静态 Token"。
处理：
- 运动 Token：保留并执行完整的 Transformer 计算。
- 静态 Token：跳过昂贵的 Transformer 层，直接使用一个可学习的线性近似层（Learnable Linear Approximation, $H = W X + b$ ）来生成输出。
目的：在空间维度上减少不必要的计算。

B. Transformer 级缓存模块 (Transformer-Level Caching)

机制：在 Transformer 的每个块（Block）层级，基于统计假设检验决定是否复用上一时间步的缓存输出。
决策规则：
- 计算当前隐藏状态与上一时间步缓存状态的相对变化量 $\delta_{t,l}$ 。
- 在弱平稳性假设下，利用卡方分布 ( $\chi^2$ ) 进行统计检验。如果变化量小于阈值（由置信度 $\alpha$ 决定），则跳过该层的完整计算，仅使用线性近似。
- 否则，执行完整的 Transformer 块计算。
理论保证：该方法基于统计假设检验，确保在特定置信度下，缓存引入的近似误差是有界的。

C. 基于 kNN 密度的 Token 合并模块 (Token Merging)

机制：为了进一步压缩，提出了一种多准则 Token 重要性度量，结合局部空间密度（kNN 密度）和时间显著性。
操作：将空间上密集且时间上变化不显著的 Token 聚类，并通过加权平均合并为单个代表性 Token，从而减少序列长度。

D. 可解释性理论框架

论文将 FastCache 的压缩机制形式化为可学习的稀疏交互分解 (Learnable Sparse Interaction Decomposition)。
通过一阶泰勒展开和 Harsanyi 交互理论证明：FastCache 实际上是在分离背景（一阶交互，稳定部分）和运动（高阶交互/残差部分）。
结论：在平滑假设下，缓存背景并仅重算运动残差，等价于保留了一阶交互信息，从而在理论上保证了近似误差随运动幅度的减小而呈指数级衰减。

3. 主要贡献 (Key Contributions)

FastCache 框架：首个针对 DiT 架构设计的、基于隐藏状态级别的时空缓存框架，通过可学习线性近似实现了高效的推理加速。
运动感知 Token 剪枝：提出了一种动态识别并抑制冗余空间 Token 的策略，结合统计缓存机制，在时空两个维度上自适应地压缩计算。
理论解释与误差界：从交互理论角度为 FastCache 提供了严格的理论依据，证明了在统计决策规则下，缓存误差是有界的，并解释了其作为“符号知识复用”的本质。
性能突破：在多个 DiT 变体（DiT-S/B/L/XL）上实现了显著的加速，同时保持了优于现有缓存方法的生成质量。

4. 实验结果 (Results)

实验在 DiT-XL/2, DiT-L/2, DiT-B/2, DiT-S/2 等多个模型上进行，使用 ImageNet 和视频生成任务进行评估。

效率提升：
- 在 DiT-XL/2 上，FastCache 相比基线减少了 36.9% 的推理时间和 31.7% 的显存占用。
- 相比其他 SOTA 缓存方法（如 TeaCache, AdaCache, FBCache），FastCache 在保持相同或更高加速比的同时，实现了更快的推理速度。
生成质量：
- FID (Fréchet Inception Distance) 和 t-FID (Temporal FID) 指标均优于所有对比方法。例如，在 DiT-XL/2 上，FastCache 的 FID 为 4.46，优于 FBCache (4.48) 和 TeaCache (5.09)。
- 定性结果显示，FastCache 在大幅压缩计算步骤后，仍能保持图像清晰度和视频运动的连贯性，避免了背景冻结问题。
泛化性与鲁棒性：
- 在不同模型规模（从 S 到 XL）和不同运动强度的视频序列中均表现出一致的加速效果。
- 消融实验表明，空间 Token 缩减 (STR)、统计缓存 (SC) 和运动感知混合 (MB) 三个模块协同工作效果最佳。
- 与量化 (Quantization) 和知识蒸馏等技术结合时，表现出良好的兼容性。

5. 意义与影响 (Significance)

推动实时生成应用：FastCache 显著降低了 DiT 的推理延迟和显存需求，使得在消费级硬件或实时场景（如 VR、视频编辑）中部署高质量扩散模型成为可能。
方法论创新：将“缓存”从传统的特征复用提升到“隐藏状态交互分解”的理论高度，为理解扩散模型的内部动力学提供了新的视角。
通用性：该框架不依赖于特定的预训练先验（如代码本），具有模型无关性，可广泛应用于不同架构的 Diffusion Transformer。
开源贡献：代码已开源，为社区提供了可复现的高效 DiT 推理方案。

总结：FastCache 通过结合统计假设检验、可学习线性近似和 Token 合并策略，成功解决了 DiT 推理效率低下的痛点，在保持甚至提升生成质量的同时，实现了显著的加速，是扩散模型加速领域的一项重要进展。