🤖 machine learning

SPA-Cache: Singular Proxies for Adaptive Caching in Diffusion Language Models

本文介绍了 SPA-Cache，这是一种针对扩散语言模型的新型缓存框架，它利用低维奇异代理进行高效更新识别，并采用自适应预算分配策略以克服非因果限制，在吞吐量方面相比标准解码实现了高达 8 倍的提升，且相较于现有基线方法实现了 2 至 4 倍的速度加速。

原作者： Wenhao Sun, Rong-Cheng Tu, Yifu Ding, Zhao Jin, Jingyi Liao, Yongcheng Jing, Dacheng Tao

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenhao Sun, Rong-Cheng Tu, Yifu Ding, Zhao Jin, Jingyi Liao, Yongcheng Jing, Dacheng Tao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《用于扩散语言模型的自适应缓存奇异代理》的解释。

问题所在：“重写一切”的困境

想象你在写一个故事，但你不是像正常人那样从左到右逐字书写，而是以随机的顺序进行。你可能先写结局，然后跳到中间，再回到开头。这就是**扩散语言模型（DLMs）**的工作原理。它们非常灵活，可以在任何位置填补空白，这对创造力和复杂任务来说非常有益。

然而，这有一个巨大的缺点。因为你是在跳跃式地写作，所以你不能只记住五分钟前写的内容然后继续。每当你添加一个新词，整个故事都会发生细微的变化。为了得到正确的下一个词，计算机必须每次都从头开始重新阅读并重新计算整个故事。

旧方法（自回归）： 就像读一本书。你记住最后一页，翻过去，然后读下一页。既快又容易。
扩散方法： 就像试图拼拼图，但每当你放置一块拼图时，其他拼图上的图案都会发生偏移。每当你移动一块拼图，你就必须重新扫描整个拼图板。这极其缓慢且昂贵。

解决方案：SPA-Cache

作者们创建了一个名为SPA-Cache的系统来加速这一过程。把它想象成给这个混乱的拼图游戏添加的一个智能“存档”功能。系统不再重新计算整个故事，而是试图弄清楚：“故事的哪些部分实际上发生了变化，哪些部分仍然保持不变？”

如果故事的某部分没有变化，计算机就会跳过它，直接使用旧的记忆（即“缓存”）。如果某部分确实发生了变化，它就只重新计算那特定的一部分。

论文介绍了两个主要技巧来高效地实现这一点：

1. “低分辨率快照”（奇异代理）

为了决定重新计算什么，计算机需要检查故事是否发生了变化。

旧问题： 以前，计算机试图检查整个“高清”版本的故事，看看它是否发生了变化。这就像试图通过以高清模式阅读一本 500 页书籍的每一个字母来发现拼写错误。这花费了太多时间，抵消了速度上的提升。
新技巧（奇异代理）： 作者们意识到，他们不需要高清版本就能发现变化。他们可以使用低分辨率的“快照”（一种简化、压缩的版本）来检查变化。
- 类比： 想象你在检查一幅画是否被改动过。与其在显微镜下检查每一笔笔触（成本高昂），不如退后一步，看一幅模糊的低分辨率照片。如果模糊的照片看起来一样，那么画就没有变。如果模糊的照片看起来不同，那么你就知道需要检查细节了。
- 结果： 这种“快照”检查极其迅速，使系统能够快速识别故事的哪些部分需要重写，而不会拖慢整个过程。

2. “智能预算”（自适应缓存）

一旦系统知道了要检查什么，它就需要决定重新计算多少。

旧问题： 以前的方法使用“一刀切”的规则。它们会说：“无论什么情况，都重新计算故事的 25%。”
- 问题： 故事的某些部分非常稳定（如背景或角色名字），很少变化。而其他部分则充满混乱（如情节转折），不断变化。重新计算稳定的部分是能量的浪费，而对混乱的部分重新计算太少则会导致错误。
新技巧（自适应预算）： 现在的系统就像一个聪明的经理，看着故事说：“这一章很无聊且稳定？那我们只更新其中的 5%。这一章充满动作且变化很快？那我们更新其中的 40%。”
- 类比： 想象一支施工队。如果建筑物的地基坚固且不会移动，你就不需要每天派人去检查。但如果屋顶漏水且在风中晃动，你就会立即派团队去修复。SPA-Cache 只把它的“修复团队”派往“风”吹得最猛烈的地方。

结果：加速混乱

通过结合这两个技巧，论文表明 SPA-Cache 显著加快了扩散语言模型的速度：

快 8 倍： 比运行这些模型的标准缓慢方式快高达 8 倍。
比其他技巧快 2–4 倍： 它比之前加速这些模型的尝试快 2 到 4 倍。
无质量损失： 尽管跳过了计算，但故事的质量（模型给出的答案）与完成所有工作一样好。

总结

这篇论文通过教导计算机做到以下几点，解决了扩散语言模型的“慢拼图”问题：

使用快速、模糊的快照来发现变化，而不是缓慢、详细的扫描。
明智地分配精力，只关注故事中实际发生变化的部分，而忽略那些稳定的部分。

这使得这些灵活的非线性 AI 模型能够在不牺牲其按任意顺序思考的独特能力的情况下，适用于现实世界的应用。

技术摘要：扩散语言模型中用于自适应缓存的奇异代理

问题陈述

扩散语言模型（DLM）通过支持任意顺序解码和并行生成，为自回归（AR）模型提供了一种灵活的替代方案。然而，其非因果特性及对双向注意力的依赖，使得作为 AR 效率基石的标准键值（KV）缓存变得不适用。在 DLM 中，隐藏状态无法在不重新计算的情况下被简单复用以捕捉不断演变的全球依赖关系，导致推理延迟过高（ $O(T \times N^2)$ 复杂度）。

现有的尝试通过缓存来缓解这一问题面临两个主要局限：

高昂的识别成本：现有方法依赖高维相似性计算（例如监控值状态漂移）来识别哪些令牌需要更新。随着序列长度的扩展，这种识别开销往往抵消了稀疏更新带来的收益。
僵化的预算分配：现有方法通常对所有模型层应用统一的更新预算。这未能考虑到隐藏状态的异质动态，其中某些层是稳定的（需要较少更新），而另一些层是易变的（需要频繁更新），从而导致计算冗余或性能下降。

方法论：SPA-Cache

作者提出了 SPA-Cache（用于自适应缓存的奇异代理），这是一个联合优化更新识别和预算分配的框架。单个 Transformer 层的工作流程分为三个阶段：

1. 通过奇异代理进行更新识别

SPA-Cache 不在完整的高维空间（ $d$ ）中计算相似性，而是引入一个奇异代理，在低维子空间（ $r \ll d$ ）中识别需要更新的临界令牌。

理论基础：作者证明，值状态的稳定性是注意力输出及后续前馈网络（FFN）输出稳定性的充分条件。因此，监控值状态为输出稳定性提供了保守保证。
降维：为了避免高维投影带来的计算瓶颈，该方法对值投影矩阵 $W$ 应用奇异值分解（SVD）。它仅保留前 $r$ 个奇异向量和奇异值，以创建截断投影 $W_r$ 。
机制：输入状态被投影到这个低维流形中。计算当前奇异代理与缓存代理之间的余弦相似度。相似度最低（漂移最大）的令牌被选中进行重新计算。
效率：这将识别复杂度从 $O(d)$ 降低到 $O(r)$ ，并将投影开销从 $O(d^3)$ 降低到 $O(rd^2)$ 。

2. 自适应预算分配

鉴于隐藏状态漂移在模型各层之间存在显著差异，SPA-Cache 用动态的、逐层自适应策略取代了静态的、统一的更新比率。

观察：漂移在早期层（嵌入变换）中较低，在中间层（复杂语义变换）中达到峰值，并在晚期层中趋于稳定。
实现：层 $l$ 的更新比率 $\rho(l)$ 使用分段高斯函数进行参数化。这为易变的中间层分配了更高的更新预算，并激进地对稳定的早期和晚期层进行缓存，从而在不牺牲质量的情况下最大化吞吐量。

3. 稀疏执行

选中的令牌（索引 $I$ ）用于生成稀疏的查询（Queries）、键（Keys）和值（Values）。注意力机制使用这些稀疏查询与部分更新的 KV 缓存计算输出。前馈网络（FFN）仅处理稀疏注意力输出，最终层输出仅在选定的索引处更新，其余位置则复用缓存特征。

主要贡献

值代理的理论依据：本文提供了形式化证明（定理 3.1 和 3.2），证明值状态相似性界定了注意力和 FFN 输出的发散程度，验证了使用值状态作为更新选择的原则性标识符。
用于低开销识别的奇异代理：通过利用截断 SVD，作者引入了一种在低维子空间中识别临界令牌的方法，显著降低了识别过程本身的计算成本。
自适应预算分配：引入了一种动态更新策略，使计算资源与逐层异质性保持一致，避免了统一分配的低效性。
与并行解码的正交性：SPA-Cache 被设计为与序列级优化正交，可与并行解码框架集成，以放大吞吐量增益。

实验结果

作者在两个 DLM（LLaDA-8B 和 Dream-v0-Instruct-7B）上评估了 SPA-Cache，涵盖了七个基准测试（包括 GSM8K、MMLU-PRO、MBPP 和 HumanEval）。

吞吐量提升：与原始解码相比，SPA-Cache 实现了高达 8 倍的吞吐量提升；与现有缓存基线（dLLM-Cache, Fast-dLLM）相比，实现了 2–4 倍 的加速。
具体基准测试：
- 在 LLaDA-8B 的 MBPP 上，SPA-Cache 达到了 8.0 倍 的加速。
- 在 MMLU-PRO 上，分别实现了 6.0 倍（LLaDA-8B）和 6.2 倍（Dream-7B）的加速。
与并行解码的集成：当与并行解码方法结合时，SPA-Cache 在 BBH 基准测试上相对于原始解码实现了总计 28 倍 的加速，同时保持了相当的准确性。
消融研究：
- 用奇异代理（ $r=128$ ）替换全维值标识符，使每秒令牌数（TPS）从约 165 提升至约 179，且无精度损失。
- 自适应预算分配通过将平均更新比率从 25% 降低至 16%，进一步将 TPS 提升至约 189；而统一的 16% 比率则导致了精度下降。

意义与主张

本文主张 SPA-Cache 为扩散语言模型建立了新的效率基准，将其定位为适用于高吞吐量、现实世界应用的计算可行替代方案。通过基于原则性的理论分析和自适应资源分配从根本上解决推理瓶颈，该方法使 DLM 能够在不损害生成保真度的情况下有效扩展。作者强调，他们的方法是免训练的，并且与现有的并行解码策略兼容，为离散扩散模型的实用部署铺平了道路。