🤖 machine learning

Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction

本文提出了一种基于全局保留的 KV 缓存淘汰方法，该方法通过有选择地丢弃无关令牌来减少内存占用，同时通过缓解注意力稀释来提升长上下文推理性能，从而在多种基准测试中超越了全缓存推理。

原作者： Ngoc Bui, Hieu Trung Nguyen, Arman Cohan, Rex Ying

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ngoc Bui, Hieu Trung Nguyen, Arman Cohan, Rex Ying

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《让每个 Token 都算数》的通俗解释，辅以生动的类比。

核心难题：“信息过载”瓶颈

想象你是一位才华横溢的侦探，正在破解一个复杂的谜案。为了完成工作，你拥有一块巨大的白板，上面记录着你遇到的每一条线索、每一份证词和每一个证据。

在人工智能（特别是大型语言模型）的世界里，这块白板被称为KV 缓存。当 AI 阅读长故事或观看长视频时，它会将每一个单词和图像像素都写在这块板上，以确保在撰写结尾时不会忘记故事的开头。

关键问题在于： 白板会变得巨大无比。如果故事长达 10 万词，这块板子就会大得惊人。

空间耗尽： 最终，白板会塞得满满当当，AI 无法在上面容纳新的线索。
速度变慢： 为了找到那唯一重要的线索（例如“是管家干的”），侦探不得不扫描成千上万条无关的笔记（例如“管家系着红领带”或“当时在下雨”）。这拖慢了一切。

旧方案：“先进先出”的垃圾桶

为了解决空间问题，以往的方法就像一位严厉的清洁工。它们会说：“满了！把最旧的笔记扔掉，给新东西腾地方。”

缺陷： 这很危险。有时最旧的笔记恰恰是最重要的（例如“管家拥有一把枪”）。仅仅因为它旧就将其扔掉，会让 AI 变笨。其他方法试图通过观察 AI 当前关注的词汇来变得更聪明，但它们往往目光短浅，扔掉了那些五分钟后就会派上用场的东西。

新方案：“智能保留”系统（TrimKV）

这篇论文介绍了一种名为TrimKV（或 DBTrimKV）的新方法。它不再只是扔掉旧东西，而是提出了一个更好的问题："哪些线索实际上能帮助我在未来破案？"

以下是其工作原理，分为三个简单概念：

1. “未来效用”评分

想象白板上的每一份证据都贴着一张小便签。这张便签预测该线索在调查的后期会有多大用处。

高分： “这把枪至关重要。永久保留。”
低分： “这条红领带无关紧要。扔掉它。”

AI 学会自动编写这些评分。它不仅仅关注当下发生了什么，而是着眼于明天需要什么。

2. “全局竞争”（大过滤器）

过去，AI 的不同部分（不同的“层”和“头”）拥有各自独立的小白板，且各自有独立的限制。如果一个板子满了，即使另一个板子还有空间，它也会扔掉东西。

这种新方法为整个 AI 创建了一个巨大的共享白板。

类比： 想象一场 VIP 派对。旧方式下，每个房间都有一个保镖，只放行 10 人。如果一位 VIP 在走廊里，因为房间满了，他无法进入。
新方式： 整个俱乐部只有一个保镖。VIP（最有用的线索）无论来自哪个房间，都能进入。而“干扰项”（无关的背景噪音）则会被踢出，即使它们原本在"VIP 房间”里。

3. 对抗“注意力稀释”

论文指出，拥有过多的信息实际上会损害 AI 的表现。

类比： 想象你在安静的房间里试图听朋友耳语。你能听得很清楚。现在，想象同一个朋友在挤满 1 万名尖叫者的体育场里耳语。你再也听不见了，尽管他们依然在耳语。
结果： 通过激进地扔掉“尖叫的人群”（无关的 Token），AI 能更清晰地听到“耳语”（重要证据）。有时，删除信息反而会让 AI 变得更聪明，因为它不再被干扰所分心。

他们发现了什么？

研究人员在困难的任务上测试了这种方法，例如解决数学问题、分析长视频以及进行长对话。

节省空间： 他们可以将内存使用量大幅降低（有时仅保留原始数据的 10-20%），而 AI 不会因此感到困惑。
提升性能： 在许多情况下，AI 在内存较少时的表现优于内存充足时。这证明了在消除干扰方面，“少即是多”。
适用于图像和文本： 它成功地将文本和视觉数据（如视频中的图像）共同管理，决定保留哪些像素和单词。

总结

这篇论文教导 AI 成为一名更优秀的侦探。它不再囤积找到的每一张纸，而是学会识别信息的“金块”，并扔掉“岩石和泥土”。通过这样做，它运行得更快，占用内存更少，并且实际上能更准确地解决问题，因为它不再被噪音所干扰。

基于论文《让每个 Token 都发挥作用：通过 KV 缓存淘汰提升长上下文性能》，以下是详细的技术总结。

问题陈述

键值（KV）缓存对于基于 Transformer 的大语言模型（LLMs）和视觉语言模型（VLMs）中的高效自回归解码至关重要。然而，随着上下文窗口扩展到数万个 Token（包括文本和视觉 Token），由于内存的线性增长和注意力计算成本的二次方增长，KV 缓存成为了主要瓶颈。

现有的解决方案通常将 KV 淘汰视为一个压缩问题：即在内存预算下移除 Token 以近似全缓存推理。这些方法通常依赖启发式规则（例如，近期性、注意力幅度）或固定的每层/每头预算。作者认为，这种方法并非最优，因为它假设全缓存推理是理想目标。事实上，长上下文往往包含许多不相关的“干扰”Token，这些 Token 会稀释注意力，使其偏离有用的证据，从而降低模型性能。该论文提出，如果执行得当，选择性淘汰不仅可以减少内存，还能通过抑制这些干扰项来改善推理能力。

方法论：基于全局保留的淘汰

作者提出了DBTrimKV（动态预算 TrimKV），这是一种能够预测缓存 Token 未来效用，并在所有层、头和模态间分配单一全局内存预算的方法。

1. 理论洞察：注意力稀释
论文提供了理论分析，表明全缓存注意力遭受“注意力稀释”的影响。当缓存中存在大量干扰 Token 时，Softmax 归一化迫使有用 Token 与它们竞争，导致分配给相关证据的注意力质量消失。作者证明，优先保留有用 Token 并淘汰干扰项可以减少这种稀释，并在理论上提高注意力质量。

2. 作为未来效用的几何保留
该方法不使用依赖查询的注意力分数（这反映了短期相关性），而是为每个 Token 学习一个几何保留分数（ $\beta_i$ ）。

概念：Token 的效用被建模为一种持久性事件。如果一个 Token 很可能在未来的解码步骤中保持有用，它将获得较高的保留分数。
公式：Token $i$ 在步骤 $t$ 的保留权重定义为 $r_{t,i} = \beta_i^{t-i}$ 。
理由：作者从理论上论证了这种几何衰减是未来效用的查询无关代理，并得到了实证观察的支持，即在长上下文中，Token 注意力的生存率随时间迅速下降。

3. 权重共享的全局门控
为了实现统一的淘汰策略，作者引入了权重共享的保留门控：

架构：一个轻量级门控为每个 KV 条目预测一个标量保留分数 $\beta$ 。关键在于，这些门控的最终投影层在所有 Transformer 层和注意力头之间是**共享（绑定）**的。
全局校准：这种权重共享迫使来自不同层和头的保留分数处于共同的尺度上。因此，来自文本密集型头的 Token 可以直接与来自视觉头或深层的 Token 进行比较。
全局预算：系统不再为每层或每头分配固定预算，而是维护一个单一的全局 KV 预算（ $M_{global}$ ）。在任何淘汰步骤中，系统根据预测的未来效用对所有缓存 KV 条目进行全局排名，并保留前 $M_{global}$ 个 Token。

4. 实现
该方法使用PagedAttention布局来支持每个头可变长度的 KV 序列，允许动态的、特定于头的缓存大小，而无需连续的物理内存要求。

主要贡献

重新定义淘汰：论文挑战了 KV 淘汰仅仅是一种压缩技术的假设。它表明，选择性淘汰可以作为一种对抗注意力稀释的校正机制，有可能在全缓存推理之上提升推理性能。
全局保留策略：它引入了一种可学习的、全局校准的淘汰策略，该策略基于单一效用信号动态地在层、头和模态间分配内存，取代了僵化的、手工设计的预算规则。
理论与实证验证：作者提供了理论边界，证明优先保留可以减少注意力稀释，并论证了几何保留作为未来效用代理的有效性。

实验结果

该方法在多种基准测试中进行了评估，包括长程推理（MathVision, AIME）、多轮对话（MMDU）和视觉问答（VQAText, MME）。

性能与全缓存对比：在许多场景下，特别是在内存预算紧张的情况下，DBTrimKV达到或超过了全缓存（Vanilla）推理的性能。例如，在 MMDU 多轮对话基准测试中，预算为 512 个 Token 的 DBTrimKV 比全缓存基线高出 14%。
与基线对比：DBTrimKV 始终优于现有的 KV 淘汰方法（如 SnapKV, AdaKV, R-KV）和视觉 Token 剪枝基线（如 VisionZip, FastV）。
效率：与全缓存推理相比，该方法显著减少了 KV 内存使用量和解码时间，并随着上下文长度和生成长度的增加而高效扩展。
消融研究：移除权重共享的投影层（强制使用局部分数）导致性能显著下降，证实了全局校准的必要性。

意义与主张

该论文主张，可学习的、全局校准的 KV 淘汰不仅仅是一种压缩技术，更是一种提升长上下文推理能力的机制。

通过将淘汰视为抑制干扰项而不仅仅是节省内存的手段，作者表明“遗忘”不相关的 Token 可以锐化注意力并提高模型准确率。结果表明，在长上下文设置中，动态的、可学习的内存管理可以优于静态的全缓存推理，为构建更高效、更强大的长程 AI 系统提供了一条路径。作者指出了所测试模型规模（最高 80 亿参数）的局限性，并提出了未来在保留门控和基础模型之间进行端到端联合训练的潜在方向。