💬 NLP

EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models

EntropyCache 提出了一种无需训练的 KV 缓存方法，通过利用解码 token 分布的最大熵作为低成本信号来动态决定缓存更新时机，从而在扩散语言模型推理中实现了高达 26.4 倍的速度提升，同时保持了竞争力精度且决策开销极低。

原作者： Minsoo Cheong, Donghyun Son, Woosang Lim, Sungjoo Yoo

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Minsoo Cheong, Donghyun Son, Woosang Lim, Sungjoo Yoo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 EntropyCache 的新方法，旨在让一种叫做“扩散语言模型”（Diffusion Language Models, dLLMs）的 AI 生成文本时变得更快、更省资源，同时还能保持很高的准确性。

为了让你轻松理解，我们可以把 AI 写文章的过程想象成在黑暗中拼一幅巨大的拼图。

1. 背景：AI 写作的“慢动作”难题

传统的 AI（自回归模型）： 就像一个人按顺序拼拼图。拼好第一块，再拼第二块，再拼第三块……每拼一块，他都知道前面已经拼好的部分是什么，所以可以很轻松地记住（缓存）前面的信息，不用每次都重新看一遍。
扩散模型（dLLMs）： 这种 AI 很特别，它喜欢同时处理整幅拼图。一开始，整幅图都是模糊的（全是马赛克/乱码）。它需要反复“去噪”，一步步把模糊的方块变成清晰的图像。
- 问题所在： 因为它是同时看整幅图的，只要它修正了其中任何一块拼图（哪怕只是一个字），整幅图的“关系”都会发生微妙的变化。
- 后果： 为了保持准确，传统的扩散模型在每一步去噪时，都必须重新计算整幅图的所有关系。这就像每拼好一块新拼图，都要把之前拼好的几千块全部重新看一遍、重新算一遍，效率极低，速度慢得像蜗牛。

2. 现有的解决方案：有点“笨”的缓存

以前的研究人员想：“既然大部分拼图块的变化很小，我们能不能只重新计算那些变化大的，其他的直接‘偷懒’用之前的记忆（缓存）？”

旧方法： 它们会计算每个拼图块受影响的程度，或者比较复杂的数学指标来决定要不要重算。
缺点： 这些计算本身就很复杂，而且随着文章变长（拼图变大），计算量会爆炸式增长。这就好比为了决定要不要偷懒，先要跑个马拉松来测量距离，结果还没开始干活，时间就花光了。

3. EntropyCache 的创意：用“犹豫程度”来判断

作者发现了一个非常聪明的规律，并提出了 EntropyCache。

核心比喻：AI 的“犹豫”就是“变化”的信号

想象一下 AI 在决定下一个字是什么时，它心里有两种状态：

非常确定（低熵）： 比如它想写“太阳”，它心里 99% 确定是“太”字。这时候，它把这个字填上去，对整幅图的影响很小，之前的记忆（缓存）依然很准。
非常犹豫（高熵）： 比如它想写一个复杂的逻辑词，它在“但是”、“然而”、“不过”之间摇摆不定。这时候，它把这个字填上去，就像往平静的湖面扔了一块大石头，整个画面的波纹（KV Cache 状态）都会剧烈震荡。

EntropyCache 的秘诀就是：

不看复杂的数学公式，只看 AI 有多“犹豫”。
如果 AI 对刚写出的字非常犹豫（熵很高），说明这个字很重要，可能会改变整篇文章的走向。这时候，立刻触发“全量重算”，把之前的记忆全部刷新，确保准确。
如果 AI非常确定（熵很低），说明这个字很稳，直接跳过重算，继续用之前的缓存。

第二个发现：惯性效应

作者还发现，一旦 AI 写出了一个“犹豫”的字，这种不稳定的状态会持续好几步。就像扔石头后，水波会荡漾好几圈。

旧方法： 只重算当前这一步。
EntropyCache： 不仅重算当前，还会把最近刚写出的几个字（比如最近 64 个）也重新算一遍，确保把那些还没平息的水波都抚平。

4. 为什么这个方法很厉害？

计算成本极低（Constant Cost）：
- 旧方法判断要不要重算，需要看文章有多长、模型有多深，计算量像滚雪球一样变大。
- EntropyCache 只需要看一眼 AI 刚才那个字的“犹豫程度”（一个数字）。无论文章是 100 字还是 100 万字，这个判断动作永远只花一点点时间，就像看红绿灯一样快。
速度提升惊人：
- 在标准测试中，它比原来的方法快了 15 到 26 倍！
- 在需要复杂推理（比如做数学题、写代码）的任务中，甚至能快 20 多倍。
不牺牲质量：
- 因为它只在“关键时刻”（AI 犹豫时）才重算，而在“平稳时刻”（AI 确定时）才偷懒，所以它既快又准。实验证明，它的准确率几乎和完全不偷懒的“笨办法”一样高。

5. 总结

EntropyCache 就像是一个聪明的交通指挥官：

以前的指挥官（旧方法）会花大量时间计算每辆车的速度、重量、距离，来决定是否放行，结果自己累得半死，路还是堵。
EntropyCache 指挥官只看一个信号：“这辆车是不是在急刹车或犹豫？”
- 如果车在犹豫（高熵），立刻让所有车停下来重新规划路线（全量重算）。
- 如果车开得稳稳当当（低熵），直接放行，不用管它。

这种方法让 AI 写作的速度飞起，同时保证了写出来的东西逻辑严密、准确无误。这对于未来让 AI 在手机上、或者在资源有限的设备上流畅运行具有巨大的意义。

论文技术总结：EntropyCache - 基于解码 Token 熵的扩散语言模型 KV 缓存优化

1. 研究背景与问题 (Problem)

扩散语言模型 (dLLMs) 的推理瓶颈：
基于扩散的大语言模型（如 LLaDA, Dream）通过迭代去噪并行生成 Token，相比自回归（AR）模型具有更高的吞吐量潜力。然而，dLLMs 使用双向注意力机制 (Bidirectional Attention)，导致其无法像 AR 模型那样进行无损的 KV 缓存（KV Caching）。

核心矛盾： 在 AR 模型中，新 Token 的生成不影响已生成 Token 的 KV 状态；而在 dLLMs 中，任何位置 Token 的“去掩码”（Unmasking）都会改变序列中所有位置的特征表示。
现有代价： 传统的 dLLM 推理在每个去噪步都需要对整个序列进行完整的前向传播，计算成本与上下文长度成正比，推理效率极低。

现有方案的局限性：
为了降低计算成本，现有的近似 KV 缓存方法（如 Fast-dLLM, d2Cache, Elastic-Cache）尝试选择性更新缓存状态，但存在显著缺陷：

静态方法 (如 Fast-dLLM)： 简单冻结非当前块的 KV，牺牲了缓存精度以换取速度。
动态方法 (如 d2Cache, Elastic-Cache)： 根据中间状态动态决定何时/何地重算。但这些方法的决策开销 (Decision Overhead) 随着上下文长度 ( $L$ ) 或模型深度 ( $\ell$ ) 的增加而显著增长（例如 $O(L^2)$ 或 $O(\ell \cdot L \cdot d)$ ），限制了实际加速比，尤其是在长上下文场景下。

2. 方法论 (Methodology)

作者提出了 EntropyCache，一种无需训练 (Training-free) 的 KV 缓存方法。其核心思想是利用解码 Token 分布的最大熵 (Maximum Entropy) 作为低成本信号，来决定何时触发全量重算，并针对特征波动性优化重算范围。

2.1 核心观察 (Empirical Observations)

熵与 KV 缓存漂移的相关性： 解码 Token 分布的熵（不确定性）与 KV 缓存的漂移程度（Value 向量的余弦距离变化）高度正相关。高熵 Token 的生成意味着序列引入了大量新信息，导致 KV 状态剧烈变化；低熵 Token 则意味着模型已高度确定，KV 状态变化微小。
特征波动的持续性： 一个 Token 被去掩码后，其对应的特征波动（Feature Volatility）并非仅持续一步，而是会持续多个去噪步。因此，仅重算当前步的 Token 是不够的，需要重算最近生成的 $k$ 个 Token。

2.2 算法流程 (EntropyCache Workflow)

EntropyCache 在每个去噪步执行以下三个阶段：

前向传播 (Forward Pass)：
- 根据上一轮的决策标志，执行全量前向传播或部分前向传播。
- 部分传播： 仅对当前掩码 Token 和最近 $k$ 个已解码 Token 重新计算 KV，其余位置直接读取缓存。
解码与熵评估 (Decode & Entropy Evaluation)：
- 从模型 Logits 中解码新 Token。
- 计算新解码 Token 分布的最大熵 $E_{t+1}$ ：
  $E_{t+1} = \max_{i \in D_{t+1}} \left( -\sum_{j} p_{ij} \log p_{ij} \right)$
- 该计算复杂度仅为 $O(V)$ （ $V$ 为词表大小），与上下文长度和模型规模无关。
跳过决策与重算选择 (Skip Decision & Selection)：
- 全量重算触发： 如果 $E_{t+1} > \tau$ （阈值），则判定缓存已“陈旧”，下一轮执行全量前向传播。
- 部分重算： 如果 $E_{t+1} \le \tau$ ，则复用大部分 KV 缓存。但为了应对特征波动，系统会维护一个解码历史，选择最近 $k$ 个已解码的 Token 与当前掩码 Token 一起进行重算。

2.3 复杂度优势

决策开销： 仅需 $O(V)$ 计算（熵计算）和 $O(k)$ 内存（历史记录）。
独立性： 决策开销完全独立于上下文长度 ( $L$ )、模型层数 ( $\ell$ ) 和隐藏层维度 ( $d$ )。
对比： 相比 d2Cache ( $O(L^2)$ ) 和 Elastic-Cache ( $O(\ell \cdot L \cdot d)$ )，EntropyCache 在长上下文下具有显著优势。

3. 主要贡献 (Key Contributions)

提出轻量级代理信号： 首次将“最大解码 Token 熵”确立为 KV 缓存陈旧度的有效代理指标，替代了昂贵的逐层注意力展开或隐藏状态比较。
揭示多步特征波动性： 通过实证分析发现，Token 去掩码后的特征波动会持续多个步骤，因此提出了“重算最近 $k$ 个 Token"的机制，而非仅重算单步。
实现高效训练-free 缓存： 构建了一个无需微调的缓存框架，在保持竞争力的精度的同时，实现了巨大的推理加速。
常数级决策开销： 证明了其决策逻辑的开销与模型规模和上下文长度解耦，决策时间仅占推理总时间的 0.5%。

4. 实验结果 (Results)

实验在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 模型上进行，对比了 Fast-dLLM, d2Cache, Elastic-Cache 等基线方法。

4.1 标准基准测试 (Standard Benchmarks)

加速比： 在 GSM8K, MATH500, MBPP, HumanEval 等基准上，EntropyCache 实现了 15.2× – 26.4× 的加速比（相对于原始 dLLM 推理）。
精度保持： 在 LLaDA-8B 上达到 52.28% 平均准确率（与基线持平），在 Dream-7B 上达到 56.21%。
对比优势： 是唯一在保持基线级精度的同时，在 HumanEval 等任务上未出现精度显著下降的缓存方法。

4.2 思维链基准测试 (Chain-of-Thought Benchmarks)

在长上下文 CoT 任务（如 GSM8K 8-shot, MMLU-Pro, BBH, GPQA）上表现尤为突出。
加速比： 实现了 22.4× – 24.1× 的平均加速比，比次优方法（d2Cache）高出约 1.4 倍。
原因： 长生成过程中包含大量低熵步骤，EntropyCache 能高效跳过这些步骤，最大化缓存复用。

4.3 开销分析 (Overhead Analysis)

决策时间占比： EntropyCache 的决策逻辑仅占用推理时间的 0.5%，而 d2Cache 为 9.2%，Elastic-Cache 为 14.5%。
内存与计算： 避免了随 $L$ 或 $\ell$ 增长的额外计算和内存开销。

5. 意义与影响 (Significance)

突破 dLLM 推理效率瓶颈： 解决了扩散语言模型因双向注意力导致的 KV 缓存失效问题，使其在长上下文生成场景下具备与自回归模型竞争甚至超越的吞吐量。
可扩展性 (Scalability)： 由于决策开销与模型规模无关，EntropyCache 特别适用于未来更大参数量的 dLLM 和更长上下文的生成任务。
资源效率： 显著降低了部署 dLLM 所需的计算资源和能耗，使得在资源受限环境（如边缘设备）下运行扩散模型成为可能。
通用性潜力： 基于熵的跳过机制不仅适用于滑动窗口解码，未来也可扩展至块状扩散（Block Diffusion）等架构中的子块重算信号。

总结： EntropyCache 通过一个简单而深刻的洞察（熵=不确定性=缓存漂移），用极低的计算代价解决了扩散语言模型推理中的核心效率问题，是目前该领域最具实用价值的加速方案之一。