⚡ electrical engineering

KV Cache Compression Through the Lens of Transform Coding

本文介绍了一种名为注意力感知变换编码（Attention-Aware Transform Coding, AATC）的新型 KV 缓存压缩方法，该方法利用信号处理原理，根据比特对注意力机制的影响进行分配，在多个基准测试和模型中实现了约 5.8 倍的压缩率且保持了近无损的精度。

原作者： Hannah Laus, Claudio Mayrink Verdun, Hao Wang, Flavio du Pin Calmon, Felix Krahmer

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hannah Laus, Claudio Mayrink Verdun, Hao Wang, Flavio du Pin Calmon, Felix Krahmer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图回忆一段刚刚听到的故事，但你的大脑有一个非常特殊的规则：你一次只能在活跃记忆中保留几句话。为了让整个故事保持鲜活，你必须在一卷巨大的卷轴上做笔记。随着故事变得越来越长，卷轴也变得巨大，很快你就用完了纸张。这正是现代“大语言模型”（LLMs）——即我们今天使用的超智能 AI 聊天机器人——所面临的问题。这些模型不仅阅读单个句子，它们还阅读整本书、转录文本或长篇对话。为了理解当前的句子，它们需要记住之前出现的每一个单词。它们将这段历史存储在一个被称为“KV cache”的特殊数字笔记本中。

麻烦在于，这个笔记本变得如此庞大，以至于它吞噬了计算机所有的内存，导致运行速度变慢，甚至使得在普通设备上运行变得不可能。科学家们曾尝试通过编写“速记”（使用更少的比特来表示数字）来缩小这个笔记本，但他们大多是在猜测哪些部分的信息是重要的。他们一直试图均匀地压缩整个卷轴，就像在不看哪里存有水分的情况下挤压海绵一样。这篇论文提出了一个更好的问题：如果我们能根据 AI 当前对笔记的实际关注程度来“差异化”地压缩笔记，情况会怎样？事实证明，过去的所有词汇并不都是平等的；有些词对于下一句至关重要，而另一些则只是背景噪音。

这项研究背后的研究人员 Hannah Laus 及其团队，决定从“信号处理”的角度来审视这个问题，这是一个通常处理音乐或图像压缩的领域。他们意识到，AI 的注意力机制（即它如何决定关注什么）就像一个过滤器，类似于我们在嘈杂的房间里专注于朋友的声音。他们从数学上证明了由压缩笔记引起的“失真”或误差，不仅仅取决于速记有多糟糕，更取决于该误差如何与 AI 当前的焦点进行交互。

为了解决这个问题，他们发明了一种名为**注意力感知变换编码（Attention-Aware Transform Coding, AATC）**的方法。把它想象成一个聪明的图书管理员，他不仅仅是把书架上的每本书都以同样的程度缩小。相反，这位图书管理员首先会倾听读者的兴趣所在。然后，他们会对书籍进行重新排列（一个被称为“白化”或“去相关”的过程），以便将最重要的信息聚集在一起。最后，他们应用了一种“反向注水”（reverse water-filling）策略。想象一下将水倒入一个充满丘陵和山谷的地形中；水会自然而然地先填满低洼处。在这个数字版本中，“水”是有限的内存预算，而“山谷”则是笔记中最重要的部分。该方法将更多的“比特”（内存空间）注入重要的通道，而几乎不向不重要的通道注入。

团队在两个流行的 AI 模型 Llama-3.1-8B 和 Qwen-2.5-7B 上进行了测试，使用了各种具有挑战性的任务，如解决数学问题、回答选择题以及阅读超长文档。结果令人瞩目。他们的新方法成功地将内存占用压缩了约 5.8 倍（大约 5.8×），同时保持了 AI 的准确度，使其几乎与使用完整、未压缩内存时的效果完全一致。在许多情况下，压缩后的 AI 在统计学上与完整版本无法区分。

然而，论文谨慎地指出，这并不是解决所有问题的万能药。该方法依赖于一个数学假设，即来自压缩的“噪声”表现得像随机静电（白噪声），这是该领域的一个标准假设，但在每个现实世界的场景中可能并不完全成立。此外，虽然其数学逻辑在模拟和测试中表现完美，但实际代码尚未针对用于真实产品的快速计算机芯片（GPU）进行优化，这意味着它目前更多是一个强大的原型，而非你可以直接下载使用的功能。

这种方法的特别之处在于它统一了不同的理念。以往的方法要么试图完全丢弃旧笔记（Token 剔除），要么均匀地压缩一切（均匀量化）。这篇论文表明，这两者其实是同一枚硬币的两面。通过精确理解 AI 的注意力是如何权衡过去的，他们找到了一种既尊重 AI “思考过程”又能分配内存的方法。例如，在以难以压缩著称的 Qwen 模型上，他们的方法即使在其他方法完全失效的长文本语境下，依然保持了 AI 的智能。

简而言之，这篇论文表明，如果你想在不损失大脑能力的前提下让 AI 变得更快、更轻量，你不应该只是单纯地挤压数据；你应该倾听 AI 正在思考什么，并只压缩那些它现在不需要听的部分。这是一种从“压缩一切”到“智能压缩”的转变，其结果表明，这可能是解锁在日常设备上实现真正长文本 AI 的关键。

技术摘要：从变换编码视角看 KV 缓存压缩

问题陈述
在大型语言模型（LLM）的长文本推理中，用于存储过去 Token 表示以加速生成的键-值（KV）缓存成为了主要的内存瓶颈。随着上下文长度的线性增长，缓存规模对于在现实的内存和延迟约束下进行部署而言变得难以承受。虽然现有的量化方法（如 KIVI、KVQuant）通过使用低精度数据类型来表示 KV 缓存从而减少内存，但它们通常旨在最小化缓存本身的原始重构误差。这些方法往往未能考虑到量化误差如何通过注意力机制传播并影响最终输出。因此，它们可能会进行低效的比特分配，保留了对模型预测几乎没有影响的信息，却丢弃了关键信息。

方法论：注意力感知变换编码 (AATC)
作者提出了注意力感知变换编码（Attention-Aware Transform Coding, AATC），该方法将信号处理理论与 LLM 推理相结合。该方法基于三个主要组成部分：

理论基础（失真分解）：
论文推导了一种新型的注意力感知失真度量。在白噪声量化模型下，作者证明了注意力输出的期望平方误差失真可以分解为键（Key）和值（Value）的加性贡献。至关重要的是，这种失真在 Token 和通道维度上是可分解的。
- 键失真 ( $D_K$ )： 由平方注意力权重 ( $a_i^2$ )、值投影的残差 ( $\|v_i W_O - o\|^2$ ) 以及平方查询组件 ( $q_c^2$ ) 进行加权。
- 值失真 ( $D_V$ )： 由平方注意力权重 ( $a_i^2$ ) 和输出投影范数 ( $\|W_{O,c}\|^2$ ) 进行加权。
  这种分解揭示了并非所有通道或 Token 对输出误差的贡献都相等；某些部分是“注意力感知”的，需要更高的精度，而其他部分则可以进行更激进的压缩。
变换编码（白化）：
受经典变换编码（如 JPEG）的启发，该方法首先应用线性变换来解耦键和值特征的相关性。利用校准集，作者计算了一个白化变换（通过权重矩阵的 Cholesky 分解和 SVD），将 KV 缓存转换为一种维度间不相关且按强度（方差）排序的表示形式。这一步将信号能量集中到更少的系数中，使得随后的比特分配更加有效。
比特分配（反向注水法）：
数据白化完成后，该方法采用**反向注水法（Reverse Waterfilling）**在变换后的通道间分配比特。该优化问题旨在满足全局比特预算的前提下，最小化注意力感知失真。
- 具有高“注意力感知权重”（源自失真公式）的通道获得更多比特。
- 具有低权重的通道获得较少比特或零比特（实际上执行了秩削减）。
  分配过程针对键和值分别进行，以承认它们在注意力机制中的不对称角色。

核心贡献

失真度量： 推导出了一个能将量化误差分离为 Token 依赖和通道依赖因素的注意力感知失真度量，统一了此前相互独立的 Token 剔除、量化和低秩投影等观点。
统一视角： 提供了一个理论框架，将现有的 KV 缓存压缩方法（如 KIVI、PALU 和 KVTC）联系到所推导出的失真分解中的特定因子。
AATC 算法： 开发了一种结合白化变换与反向注水法的实用算法，以实现基于注意力感知失真度量的最优通道级比特分配。
实验验证： 通过全面的评估证明，AATC 在其他方法性能下降的高压缩比场景下，仍能实现近乎无损的准确度。

实验结果
该方法在 Llama-3.1-8B-Instruct 和 Qwen-2.5-7B-Instruct 上进行了评估，涵盖了包括 LongBench、RULER、GSM8K、MMLU-Pro 和 MATH-500 在内的标准基准测试。

压缩效率： AATC 实现了约 5.8 倍的压缩（将 Llama-3.1-8B 的内存从约 1.07 GB 降低至约 184 MB），同时在所有基准测试中保持了与全精度（FP16）基线统计学上不可区分的性能。
对比： 与基线方法（KIVI、KVQuant、PALU）不同，这些方法在某些设置下（特别是 Qwen 的长文本检索任务）会出现性能下降，而 AATC 保持了近乎无损的准确度。
注意力感知收益： 消融实验（“AATC var-only”）显示，虽然完整方法和仅基于方差的变体在 Llama 中等压缩水平下表现相似，但在激进压缩（2-bit 预算）以及长文本场景（RULER-32k）下，完整的注意力感知方法在 Qwen 上的表现显著优于仅基于方差的版本。

意义与主张
论文声称，通过将优化目标从原始缓存重构转向注意力感知失真，可以系统地推导出能够即使在高压缩比下也能保持模型性能的比特分配策略。作者将 AATC 定位为一种利用经典信号处理工具（变换编码和反向注水法）来解决 LLM 推理瓶颈问题的统一方法。他们断言，该方法为现有的压缩技术提供了一种“近乎无损”的替代方案，使得在不牺牲长文本推理或检索质量的前提下，在内存受限的环境中部署基于 Transformer 的 LLM 成为可能。

局限性
作者指出，其理论分析假设了 Token 之间的独立性，这在自然语言中可能并不严格成立，尽管他们在实践中观察到这并不会负面影响编码质量。此外，目前的实现缺乏系统级优化（例如专门的 CUDA 内核），且评估仅限于两个模型家族（Llama 和 Qwen）。

技术摘要：从变换编码视角看 KV 缓存压缩

类似论文