🤖 AI

LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models

LaCache 是一个针对扩散大语言模型（Diffusion Large Language Models）的免训练加速框架，它通过采用无损状态记忆化（lossless state memoization）来缓存不变的中间结果，并利用逐组 FP8 量化（per-group FP8 quantization）来缓解内存带宽瓶颈，从而实现了显著的加速。

原作者： Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不再像人翻书那样一个词一个词地阅读，而是可以同时观察整个句子，并一次性推测出缺失的部分。这就是“扩散大语言模型”（Diffusion Large Language Models）的魔力——一种新型 AI，它通过从一团混乱的符号开始，一步步逐步清理，直到呈现出一个清晰的故事来构建文本。这就像一位雕塑家在从大理石块中凿去多余的部分，只不过他们凿去的不是石头，而是噪声，从而显现出一句完整的句子。问题在于，这个过程可能极其缓慢且耗能。每当 AI 进行一步清理工作时，它往往会重新计算那些尚未发生变化的句子部分，从而浪费大量的资源和电力。这就像一位厨师，每当他在炖菜里加入一种新食材时，都会决定把碗里已经切得完美的蔬菜全部重新切一遍。

LaCache 应运而生，这是一个聪明的全新框架，旨在不改变最终“菜肴味道”的前提下停止这种浪费。这项研究背后的研究人员意识到，在这些 AI 模型中，大部分文本保持不变，只有很小的一部分正在被更新。与其每次都对整个句子进行重复计算，LaCache 就像一位超级高效的图书管理员。它为那些没有变化的局部保留了一份“无损”（完全准确）的记录，这样 AI 就可以跳过那些枯燥、重复的工作，只专注于新的部分。他们还引入了一种使用较低精度进行繁重计算的方法——就像是用一把稍小的尺子来进行那些不需要精确到毫米的测量一样——这让速度变得更快。结果如何？AI 运行得快得多，如果结合其他技巧，速度有时能提升 40 倍，但它给出的答案依然是完全正确的。

问题所在：“重读”循环

要理解为什么 LaCache 如此重要，我们首先需要了解这些扩散模型是如何工作的。想象你正在尝试解开一个谜题，你需要填补一个长句子，但你一次只能修复几个词。模型以“块”（blocks）的形式工作。它选择句子的一个微小部分，尝试修复其中的单词，然后继续下一步。但问题在于：当它忙于修复这个微小部分时，句子的其余部分（开头和结尾）都保持原样。

尽管如此，旧的方法却强迫计算机在每一步都从头开始重新计算整个句子。这就像当你正在修改信件中间的一个错别字时，计算机坚持要重写整封信，包括那些你还没碰过的部分。这造成了大量的“冗余计算”——即浪费的精力。研究人员发现，这种浪费发生在三个特定的地方：

转换步骤（Embedding）： 将单词转换为数字的过程。
位置步骤（RoPE）： 确定单词在句子中的位置。
注意力步骤（FlashAttention）： 决定哪些单词彼此相关。

解决方案：三个神奇缓存

LaCache 通过引入一个名为**无损状态记忆化（Lossless State Memoization, LSM）**的系统解决了这个问题。把“记忆化”（memoization）想象成一张“小抄”。如果你已经做过一道数学题，你就把答案写下来，这样就不必再解一次。LaCache 为 AI 创建了三个特定的“小抄”：

EmbedCache（单词字典）： 这个缓存记住了任何未发生变化的单词的数字转换结果。如果句子开头的“apple”一直待在那里没变，计算机就不需要再次将“apple”转换为数字，只需直接提取保存好的数字即可。
RoPECache（位置图谱）： 这个缓存记住了不变单词的“位置数学”。这就像记住第一个词永远是“第一个”，所以当你修复中间的一个词时，不需要每次都重新计算它的位置。
FACache（注意力小抄）： 这是最复杂的一个。它保存了句子中未被触及部分的“注意力统计数据”。想象一束照在 AI 所关注的单词上的聚光灯。如果 AI 只关注句子的中间部分，那么聚光灯就不需要重新计算它如何照射在句子开头和结尾的单词上。FACache 保存了这些计算，让 AI 可以完全跳过它们。

通过使用这三个缓存，AI 可以跳过那些已经趋于完美的文本部分的繁重工作。它只对当前试图修复的特定单词块进行高强度计算。

速度提升：精度技巧

跳过工作固然很好，但研究人员希望跑得更快。他们注意到，AI 的“大脑”（特别是被称为 FFN 层的部分）有时使用的数字非常精确，但实际上并不需要那么精确就能得到正确答案。这就像是用一把能精确到十亿分之一英寸的激光尺来测量房间铺地毯的大小，而普通的卷尺其实就足够了。

LaCache 使用了一种称为 per-group FP8 量化的技术。这是一种高级说法，指的是他们针对特定的计算组切换到了“更小的尺子”（FP8）。他们非常谨慎地这样做，只在那些不会产生困惑的模型部分进行操作。这使得计算机硬件运行得更快，因为它可以更高效地处理这些较小的数字。这就像是从搬运沉重的石块换成了搬运轻便的泡沫块；你可以移动得更快，只要泡沫的形状是对的，建筑依然能完美矗立。

结果：快速、准确且准备就绪

团队在多个不同的 AI 模型和任务（从解决数学问题到编写代码）上测试了 LaCache。结果令人印象深刻：

速度： 单独使用时，LaCache 使 AI 比标准版本快了约 1.3 倍。但当他们将其与现有的其他加速技巧结合使用时，AI 的速度提升了高达 40.2 倍。
准确度： 最重要的一点是，AI 并没有变“笨”。研究人员发现，其答案与原始的、较慢的版本几乎完全一致。在某些情况下，比如编写代码时，这种加速甚至有助于 AI 生成更好的答案，因为它可以在相同时间内探索更多的选项。
通用性： 它在不同的任务中表现良好，包括推理（解决谜题）和代码生成（编写计算机程序）。

论文也提到了一些局限性。这种“完美”的缓存仅适用于 AI 大脑的第一层；更深层的结构更为复杂，可能需要略微不同的技巧。此外，这种速度提升依赖于能够处理这些较小数字（FP8）的现代计算机芯片。如果你使用的是旧款电脑，可能暂时还无法使用这个技巧。

为什么这很重要

在 AI 的世界里，速度和成本就是一切。如果一个 AI 思考时间太长，运行起来既昂贵又让人沮丧。LaCache 表明，我们并不总是需要更大、更强大的计算机来获得更快的速度；有时，我们只需要停止做重复的工作。通过记住我们已知的内容，并对剩余部分使用更聪明的工具，我们可以让这些强大的 AI 模型运行得飞快，且不会损失智能。这提醒我们，在人工智能的竞赛中，高效与强大同样重要。

技术摘要：LaCache

问题陈述

基于扩散的大语言模型（DLLMs）通过半自回归（SAR）解码实现并行生成，为自回归模型提供了一种极具前景的替代方案。在这种范式中，文本生成被形式化为一个迭代去噪过程，其中一个块（block）内的 token 会同时进行更新，同时利用双向注意力机制利用完整上下文。然而，目前的开源 DLLM 面临严重的**算子级冗余（operator-level redundancy）**问题。

在生成单个 SAR 块所需的多次去噪步骤中，提示词（prefix）和掩码后缀（masked suffix）的 token ID 是保持不变的。尽管如此，标准的推理在每一步都会执行完整的正向传播，从而冗余地重新计算这些未发生变化的 token 的中间状态。这种冗余体现在：

Token 级算子： Embedding 查找、归一化、QKV 投影以及旋转位置嵌入（RoPE）。
注意力机制： 特别是 FlashAttention 第一层中的分块（tiled）计算，其中相同的键值（KV）块会为不变的查询（query）重复进行处理。

现有的加速技术（如近似 KV 缓存或上下文剪枝，例如 DPad）主要通过减少去噪步数或有效上下文长度来实现，但并未直接消除 SAR 块内不变 token 的冗余计算。

方法论

作者提出了 LaCache，这是一个旨在通过无损状态记忆化（Lossless State Memoization, LSM）和混合精度推理来消除这种冗余的无需训练（training-free）的加速框架。

1. 无损状态记忆化 (LSM)

LaCache 为 SAR 块内保持不变（ $U$ ）的 token 缓存了三种特定类型的中间结果，从而允许模型在后续步骤中跳过冗余计算，同时确保数学上的等效输出：

EmbedCache： 存储不变区域 $U$ 中 token 的 embedding 输出。
RoPECache： 存储 $U$ 中 token 的第一层 pre-attention 前的 token 级状态。这包括经过 QKV 投影和 RoPE 应用后的归一化隐藏状态。
FACache (FlashAttention 缓存)： 存储第一层 FlashAttention 的在线 Softmax 统计量。具体而言，它缓存了与当前生成块不重叠的 query 块的运行最大值（ $m$ $m$ ）、归一化因子（ $\ell$ $ℓ$ ）以及未归一化的输出累加器（ $\tilde{O}$ $\tilde{O}$ ）。
- 机制： 在后续步骤中，如果 query 块和 KV 块都属于不变区域，则完全跳过计算并重用缓存的状态。如果仅 KV 块是不变的，则使用缓存的状态初始化寄存器，从而跳过冗余的累加过程。

2. 混合精度策略

为了解决内存带宽瓶颈并进一步加速计算密集型层，LaCache 对前馈网络（FFN）层（Gate-Up 和 FF-Out 线性层）采用了逐组 FP8 量化策略。

粒度： 该策略使用细粒度的逐组方式（激活值为 1x128，权重为 128x128），以适应不同去噪步骤和层中所观察到的多样化激活分布。
层选择： 量化应用于除第一层之外的所有层。第一层保持为 FP16，因为在此处应用量化会导致显著的精度下降，由于初始 embedding 对精度非常敏感。
优化： 量化和反量化操作与周围的算子（AddNorm 和 Swiglu）进行融合，以最小化内存访问开销并充分利用 FP8 Tensor Cores。

3. 推理工作流

该框架通过将序列划分为若干块来运行。对于一个块的第一次去噪步骤，模型执行完整的正向传播并更新缓存。对于同一块内的后续步骤，模型：

检索不变 token 的缓存 embedding 和 RoPE 状态。
使用缓存的 Softmax 统计量初始化 FlashAttention 不变区域。
仅针对当前块中变化的 token 进行必要的计算。
对剩余计算应用 FP8 量化 FFN 层。

核心贡献

识别冗余： 本文识别并量化了 SAR 推理中的算子级冗余，特别强调了不变 token 在 token 级算子和 FlashAttention 分块计算中的重复性。
无损缓存机制： 引入了三种专门的缓存组件（EmbedCache、RoPECache 和 FACache），这些组件允许在不改变模型输出分布的情况下跳过冗余计算。
自适应混合精度： 针对 DLLM 特有的激活动态定制了逐组 FP8 量化策略，在加速线性层的同时保持了准确性。
可组合性： 该框架设计为无需训练且可与现有加速方法（如基于置信度的解码、suffix dropout）组合使用。

实验结果

实验在 NVIDIA H200 GPU 上使用 LLaDA（基础版、指令微调版和 1.5 版）模型进行，涵盖了推理（GSM8K, MATH）和代码生成（HumanEval, MBPP）基准测试。

加速比：
- 独立运行： LaCache 单独运行时，相比于原生 DLLM 推理实现了约 1.3× 的端到端加速。
- 结合使用： 当与现有的加速方法（Fast-dLLM 和 DPad）结合使用时，在长上下文任务上实现了高达 40.2× 的端到端加速。
- 基准对比： 在标准序列上，它提供了 3–12× 的加速。
准确性： 该方法保持了与原生骨干网络相当的任务准确率。在某些情况下（如 HumanEval），准确率略有提升，这归功于低精度策略倾向于稍微延迟结束符（end-of-sequence tokens）的生成。
消融实验： 去掉 FP8 量化（仅使用缓存）仍能获得约 3% 的加速，证实了仅靠缓存机制本身的有效性。

意义与主张

本文声称 LaCache 提供了一个通用、无需训练且具有互补性的 DLLM 高效部署解决方案。其主要意义在于解决了此前被忽视的一个特定效率来源：即在 SAR 解码循环中不变 token 的冗余计算。

通过严格地记忆中间状态，LaCache 实现了无损加速，确保加速不会以牺牲生成质量为代价。作者强调，这种方法不同于近似模型或缩减上下文长度的方法；相反，它通过避免重复执行相同的数学运算来优化执行过程。该框架被呈现为一种实用的工具，能够在无需模型重训或架构更改的情况下，将 DLLM 部署到延迟敏感的场景中。

局限性

作者承认存在两个主要局限性：

层限制： 无损缓存理论上仅限于第一层。由于隐藏状态的双向传播特性，在更深层实现类似的缓存非常困难，这可能需要使用可能会降低质量的近似方法。
硬件依赖： 混合精度策略依赖于具有原生 FP8 支持的现代加速器（如 NVIDIA H200）。在缺乏优化低精度矩阵引擎的旧硬件上部署会受到限制。