技术摘要：无需注意力矩阵的“顿悟感知型”KV 缓存驱逐策略

问题陈述

随着推理模型（如 DeepSeek-R1）生成的思维链（Chain of Thought）跨度达到数万个 token，键值（KV）缓存呈线性增长，成为部署中的主要内存瓶颈。目前的 KV 缓存驱逐策略通常根据注意力权重对 token 进行排名。这种方法存在两个关键局限性：

1. 噪声较大的重要性代理指标： 在长程推理轨迹中，注意力权重并不能可靠地指示 token 的重要性。“注意力汇聚点”（Attention sinks）会吸收权重而与内容无关，填充词（filler tokens）在生成过程中会吸引权重，但随后很少被再次引用。
2. 架构不兼容性： 读取注意力权重需要实例化 $n \times n$ 的注意力矩阵。这迫使使用“急切”（eager）内核，从而禁用了如 FlashAttention 等融合内核。因此，内存使用量随长度呈平方级增长（$O(n^2)$），导致在上下文长度（例如 8192 个 token）远短于典型推理轨迹时就发生显存溢出（OOM）。

现有的缓解方法（如 ThinKV、RaaS）仍依赖于由注意力衍生的信号，而另一些方法（如 LagKV）虽然是通用的，但缺乏针对推理任务的特定优化。

方法论：EPIKV

作者提出了 EPIKV（Epiphany-Aware KV Cache，顿悟感知型 KV 缓存），这是一种无需训练的驱逐策略，它根据模型内部表示的变化而非注意力权重来为 token 评分。

1. 顿悟得分（The Epiphany Score）

EPIKV 不使用注意力，而是测量连续解码步骤之间残差流（隐藏状态）的变化。对于第 $l$ 层中的 token $t$，其信号定义为 L2 范数差异：
$$g_l(t) = \|h_l(t) - h_l(t-1)\|_2$$
巨大的变化意味着“顿悟 token”——即模型从探索性推理转向收敛性推理、完成步骤或确立见解的转折点。

2. 双带层解剖结构（Two-Band Layer Anatomy）

通过反事实遮蔽实验，作者识别了 32 层推理模型中的特定层结构：

• A 带（第 7–13 层）： 此处的隐藏状态变化与 token 重要性呈正相关。这些层与已知的特征提取和路由位置一致。
• B 带（第 18–25 层）： 此处的隐藏状态变化与重要性呈负相关。这些中高层即使在流畅、低惊喜度的延续过程中也会活跃；因此，此处的巨大变化意味着该 token 是可预测且可丢弃的。

最终得分结合了这两个波段：
$$s(t) = \bar{g}_{10}(t) - \bar{g}_{21}(t)$$
其中 $\bar{g}$ 表示在因果窗口上的滚动平均值。

3. 时间趋势校正

原始信号表现出单调的位置趋势（追踪位置而非内容）。为了校正这一点，作者应用了因果滚动 z-score：
$$z_l(t) = \frac{g_l(t) - \mu_l(t)}{\sigma_l(t) + \epsilon}$$
最终的驱逐得分是 $z_{10}(t) - z_{21}(t)$。这种归一化消除了位置偏差，确保得分反映的是局部内容的偏差而非绝对量级。

4. FlashAttention 兼容性

至关重要的是，EPIKV 仅使用以下内容计算得分：

1. 已缓存的键（Keys）和值（Values）（已存在于高带宽内存中）。
2. 标准前向传播中暴露的逐层隐藏状态。
   它从未请求 output_attentions=True，也从未实例化注意力矩阵。这使得 EPIKV 可以在标准的 FlashAttention 推理栈中运行，而不会被迫回退到急切内核。

核心贡献

1. 识别双带解剖结构： 发现隐藏状态变化在中层（7–13 层）呈正相关，而在中高层（18–25 层）呈负相关，其表现优于基于注意力的信号。
2. 位置无关评分： 证明了因果滚动 z-score 可以消除隐藏状态方差中固有的位置趋势，从而恢复高质量的驱逐性能。
3. 性能对标（无须注意力）： 在 MATH-500 和 AIME-2024 数据集上，在可部署的缓存预算下，EPIKV 匹配或超过了最强的基于注意力的基准方法（ThinKV、H2O），且无需实例化注意力矩阵。
4. 工程效率： 在同等预算下，EPIKV 的运行速度比基于注意力的驱逐方法快达 2.8 倍，并避开了限制注意力评分方法上下文长度的内存墙问题。

结果

实验在 DeepSeek-R1-Distill-LLaMA-8B 模型上使用 MATH-500 和 AIME-2024 数据集进行。

• 准确率：
  • 在 MATH-500 的 4096-token 缓存下，EPIKV 达到 72% 的准确率，匹配 ThinKV (71%) 并超越了 H2O (67%)。
  • 在 AIME-2024 的 8192-token 缓存下，经过滞后归一化的 EPIKV 变体达到了 37%，超过了表现最好的基于注意力的基准（33%）。
• 速度：
  • 在 AIME-2024（8192 个 token）上，EPIKV 处理问题的耗时为 440 秒，相比之下，最快的注意力基准（ThinKV）为 721 秒，RaaS 为 1239 秒。这代表了 1.6 倍至 2.8 倍的加速。
• 内存可扩展性：
  • 由于 $O(n^2)$ 注意力矩阵的存在，基于注意力的评分方法在约 8192 个 token 时就会耗尽 80 GB A100 GPU 的显存；而 EPIKV（通过 FlashAttention）在仅使用 48 GB 显存的情况下，即可扩展至 65,536 个 token（实现了 16 倍的可行上下文长度增长）。
• 基准方法的失效模式： 在紧凑预算（如 1024 个 token）下，基于注意力的方法（如 H2O）会在推理轨迹上崩溃，产生空输出或无结构的文本，而不是优雅地降级。

意义与主张

论文声称 EPIKV 使 KV 缓存驱逐能够部署在标准的 FlashAttention 服务栈中。通过将重要性评分与注意力矩阵解耦，该方法：

• 消除了实例化注意力权重的架构成本。
• 为注意力权重具有噪声性的推理轨迹提供了更鲁棒的信号。
• 在现有硬件上实现了显著更长的上下文窗口和更高的批处理量。

作者明确指出，这种双带解剖结构是针对竞赛数学特定的，并会随任务难度而变化（例如，在 GSM8K 中向更早的层移动），这表明该信号追踪的是推理的巩固过程，而非固定的层索引。他们同时发布了用于验证的“反事实重要性标签”，作为未来工作的资源。