🤖 AI

SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation

SelKV 是一个无需训练的框架，它通过基于值向量相似度选择性地合并或丢弃 token，并利用 logit 偏差补偿注意力失衡，从而在仅保留 25% 原始缓存的情况下，实现近乎无损的生成质量和显著的速度提升。

原作者： Soumia Bouyahiaoui, Manel Kara laouar, Aicha Boutorh, Mohamed Hadj Ameur

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Soumia Bouyahiaoui, Manel Kara laouar, Aicha Boutorh, Mohamed Hadj Ameur

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在写新章节时，回忆起一个长达 10 万页的宏大故事。每当你想到一个情节，你都必须翻遍整本笔记本来寻找细节。随着你写的页面越来越多，你的笔记本变得越来越重，直到你的手臂累得拿不动它。这正是大型语言模型（LLM）在处理长文本时，其“大脑”内部发生的情况。这些模型非常聪明，但它们有一个记忆问题：当它们阅读时，会存储一个“键值缓存”（Key-Value cache）——这是一个记录了它们目前所见之物的数字文件系统——以帮助它们理解接下来的内容。文本越长，这个文件柜就变得越大，最终填满计算机的所有内存，并让一切运行速度变得极其缓慢。

为了解决这个问题，科学家们尝试了两种主要技巧。第一种是“驱逐”（eviction），就像扔掉你认为不重要的旧页面。第二种是“合并”（merging），就像把相似的页面粘在一起以节省空间。但这两者都有缺陷。扔掉页面可能会丢失关键线索，而将页面粘在一起通常会产生一个“模糊”的版本，导致模型忘记该对这一组粘合后的内容投入多少注意力。这就像如果你把十张猫的照片粘在一起；模型可能仍然只对这一个粘合后的团块给予原本只给一张照片的注意力，尽管它现在代表了十张照片。这会导致模型感到困惑并出错。

于是有了 SelKV，一种聪明的新方法，它扮演着这些数字文件柜的智能图书管理员的角色。它不是盲目地将页面粘在一起或扔进垃圾桶，而是使用一个“软余弦门”（soft cosine gate）——可以把它想象成一个夜店门口的保镖，在决定如何处理两张页面之前，先检查它们的相似程度。如果两张页面非常相似，它们就会被紧密地粘在一起。如果它们完全不同，保镖就会把其中一个送走，以保持记忆的整洁。但真正的魔力在于“注意力补偿”（attention compensation）。由于合并页面通常会导致模型忽略它们，SelKV 为合并后的页面增加了一个小小的“音量增益”，确保模型能给予正确的注意力。

研究人员在三种不同的 AI 模型上，通过 16 个不同的任务测试了这个系统，从回答关于多个文档的问题到编写代码。他们发现，通过仅保留 25% 的原始内存空间，SelKV 的表现几乎与拥有完整内存时一样出色，并且在一些棘手的多文档测验中，它的表现甚至比完整版本还要好。看起来，通过进行选择性处理，AI 实际上专注于了故事中最重要的部分。此外，当文本变得巨大（10 万个 token）时，这种方法使 AI 解码文本的速度提高了 3.3 倍。论文指出，这种方法特别适用于使用特定类型注意力机制（称为 GQA）的现代 AI 模型，为在不丢失记忆的情况下保持这些强大大脑高效运行提供了一种方法。

技术摘要：SelKV —— 基于逐 Token 决定合并或丢弃及注意力补偿的选择性 KV 缓存合并技术

1. 问题陈述

大型语言模型（LLM）在自回归推理过程中面临着一个关键瓶颈：键值（KV）缓存。随着上下文长度（ $n$ ）的增加，KV 缓存的内存占用呈线性增长（ $O(L \cdot H \cdot d \cdot n)$ ），这严重限制了长上下文应用中的批处理大小、吞吐量和部署成本。

虽然现有的压缩方法试图缓解这一问题，但它们存在两个主要的局限性：

统一的“合并或丢弃”决策： 当前的方法通常采用二元策略：要么合并所有被驱逐的 Token（例如 KVMerger、WeightedKV），要么完全丢弃它们（例如 H2O、SnapKV）。这种缺乏粒度的方法意味着，当被驱逐 Token 的值向量（value vector）与其合并目标不相似时，加权平均会破坏保留下来的语义表示。相反，不加区分地丢弃则会导致信息的丢失。
注意力衰减（Attention Sag）： 当多个 Token 被合并到单个缓存条目中时，该条目获得的 Softmax 注意力质量与单个未合并的 Token 相同。这导致了“注意力衰减”现象，即合并后的位置被系统性地低估了注意力权重，其程度与合并的 Token 数量（ $\sim m$ ）成正比，导致模型无法充分利用所保留的信息。

2. 方法论：SelKV

作者提出了 SelKV（Selective KV Cache Merging，选择性 KV 缓存合并），这是一个旨在解决上述局限性的无需训练的双组件框架。SelKV 是一个可插拔模块，集成在现有合并流水线的预填充（prefill）阶段之后。

核心组件

1. 软余弦门控（解决统一决策问题）
SelKV 没有采用二元的“合并或丢弃”决策，而是引入了一种基于值向量相似度的连续、逐 Token 门控机制。

机制： 对于路由到合并目标的每个被驱逐 Token，系统计算其值向量与目标之间的余弦相似度。
门控函数： 一个软门控 $g = \max(\cos\_sim, 0)$ $g = max (cos_s im, 0)$ 用来调节合并强度：
- $g \approx 1$ ：高相似度 $\rightarrow$ 完全合并。
- $g = 0$ ：不相似（正交）向量 $\rightarrow$ 丢弃该 Token。
- $0 < g < 1$ ：中等相似度 $\rightarrow$ 部分合并。
实现： 这不需要学习参数或阈值调优。保留的 Token $i$ 的合并值是通过对其原始值和来自被驱逐 Token 的贡献进行门控加权平均计算得出的，并由各自的门控值进行缩放。

2. 注意力补偿（解决注意力衰减问题）
为了纠正合并位置出现的系统性注意力不足，SelKV 在解码时应用了一个 Logit 偏置。

机制： 不同于以往使用原始合并计数（在高压缩率下可能不稳定）的方法，SelKV 从预填充统计数据中推导出注意力比例（ $R_{h,i}$ ）。该比例估计了合并位置相对于其原始状态应获得的总体注意力质量。
校正： 在解码期间，向注意力 Logits 中添加一个偏置项 $\alpha \cdot \log(R_i)$ 。这重新校准了 Softmax 分布，以确保合并后的位置能够获得与其现在所代表的信息量相匹配的适当注意力质量。

流水线概览

SelKV 流水线在预填充阶段后分为六个阶段进行：

重要性评分： 根据注意力权重与值向量幅度的乘积对 Token 进行评分（遵循 VATP），而非仅根据注意力权重。
Token 选择： 每层（以及 MHA 中的每个头，或通过 GQA 中的并集）选择前 $m_s$ 个 Token 进行保留，同时保留一个固定的近期窗口。
合并目标路由： 根据预填充注意力模式，将被驱逐的 Token 路由到位置桶内的保留 Token 中。
选择性合并： 软余弦门控决定每个被驱逐 Token 的合并强度。
注意力补偿： 计算并应用 Logit 偏置。
RoPE 重定位： 将 Key 重新嵌入到连续位置（在长上下文评估中禁用，以避免位置失真）。

3. 主要贡献

逐 Token 粒度： 引入了软余弦门控，能够根据语义相似度实现合并强度的连续调节，消除了以往方法中“全有或全无”的缺陷。
稳定的注意力补偿： 一种新型的基于注意力比例的 Logit 偏置，比基于原始计数的法更稳健地纠正了注意力衰减，尤其是在高压缩率下。
无需训练的集成： 该框架不需要微调，可以集成到现有的单次（one-shot）压缩流水线中。
架构适应性： 该方法支持多头注意力（MHA）和分组查询注意力（GQA）架构，并针对 GQA 模型提供了特定的 Token 选择并集处理。

4. 实验结果

该框架在 LongBench（16 个英文数据集）上对三种模型进行了评估：LongChat-7B (MHA)、LLaMA-3.1-8B (GQA) 和 Gemma-2-9B (GQA)，仅保留 25% 的 KV 缓存。

性能对比基准： SelKV 一致优于具有代表性的单次压缩基准（SnapKV、LOOK-M、PyramidKV）。
- 在 GQA 模型上，SelKV 取得了最接近全缓存基准的性能，平均差距分别为 $-0.67$ (Gemma-2) 和 $-0.73$ (LLaMA-3.1)。
- 在 MHA 模型 (LongChat) 上，PyramidKV 在特定的 31.5k token 设置下表现略好，但 SelKV 仍保持竞争力。
多文档问答： 值得注意的是，SelKV 在多个多文档问答任务（如 LLaMA-3.1 上的 HotpotQA 和 MuSiQue）中超过了全缓存基准。作者将其解释为选择性合并起到了一种隐式注意力过滤器的作用，在保留显著证据的同时抑制了干扰上下文。
效率： 在 100k token 的上下文长度下，压缩后的缓存相比全缓存基准实现了 3.3 倍的解码加速。
鲁棒性： 该方法在不同的压缩率（10%–90% 保留率）和任务类别（包括摘要、少样本学习和代码补全）中均表现出鲁棒性。

5. 重要性与主张

论文将 SelKV 定位为在不牺牲质量的前提下实现长上下文 LLM 推理可行性的重要一步。作者主张：

选择性合并优于统一策略： 通过根据表示相似度调节合并强度，SelKV 避免了因不加区分的合并而导致的语义破坏。
注意力补偿至关重要： 如果不纠正注意力衰减，合并后的 Token 将被低估使用；SelKV 基于比例的校正确保了保留的信息能被有效地访问。
隐式过滤： SelKV 在复杂多文档问答任务中能够超越全缓存基准，这表明压缩过程本身可以通过过滤噪声来增强模型性能，这一发现挑战了“压缩总会降低能力”的假设。

作者总结道，SelKV 提供了一种实用的、无参数的解决方案，用于在内存受限的环境中部署 LLM，同时保持近乎无损的生成质量，特别是在基于 GQA 的架构中。