技术摘要：QEvict

问题陈述

大型语言模型（LLM）中的自回归推理正日益受到键值（KV）缓存内存占用量的限制，该占用量随序列长度和批次大小线性增长。虽然现有解决方案通过驱逐（永久移除被视为不重要的 token）或量化（以较低精度存储状态）来解决这一问题，但两者都存在根本性的局限性：

1. 驱逐的不可逆性： 标准的驱逐策略做出的是二元的、不可逆的决策。它们假设 token 的重要性是静态的；然而，本文证明了在解码过程中，token 和窗口的重要性会发生“漂移”。一个在当前查询下被视为不重要的状态，在稍后处理引用或推进推理轨迹时可能变得至关重要。一旦被驱逐，这些信息将永久丢失。
2. 上下文碎片化： Token 级的驱逐会破坏局部连贯的证据，因为它可能保留高分 token 的同时，却丢弃了对其进行解释至关重要的相邻 token。
3. 静态精度： 现有的量化方法通常无法共同管理缓存驻留与数值精度。它们缺乏一种机制，能够动态地在全精度执行、紧凑的可恢复存储和永久移除之间移动历史状态。

核心挑战在于：如何在激进压缩 KV 缓存的同时，保留那些其相关性可能仅在生成过程后期才显现的连贯历史区域。

方法论：QEvict

作者提出了 QEvict，一种基于连续窗口而非单个 token 的三层可恢复 KV 缓存管理方案。该系统在固定的内存预算下，动态地在三个状态之间路由窗口：

1. 全精度层（Full-Precision Tier）： 高置信度窗口保留为全精度。
2. 可恢复量化层（Recoverable Quantized Tier）： 中间强度的窗口以紧凑的低比特格式（实验中具体为 INT2）存储。这些窗口对注意力机制仍然可见，并且如果其重要性增加，可以“晋升”回全精度。
3. 驱逐层（Evicted Tier）： 只有置信度最低的窗口会被永久移除。

核心机制

• 窗口级路由（Window-Level Routing）： QEvict 不采用 token 级的决策，而是将历史缓存划分为连续的窗口。这稳定了选择决策并保留了局部上下文。
• 累积评分（Cumulative Scoring）： 窗口的重要性通过随时间累积注意力分数来确定。这使得系统能够追踪“未来丢失质量”（即原本应分配给已丢弃状态的注意力），并识别重新获得相关性的窗口。
• 可恢复层级结构（Recoverable Hierarchy）：
  • 降级（Demotion）： 当一个全精度窗口的重要性下降时，它会被移动到量化层。
  • 晋升（Promotion）： 如果一个量化窗口的累积分数上升，它会被反量化并晋升回全精度层。
  • 单次写入量化账本（Write-Once Quantization Ledger）： 为了防止在重复层级转换过程中产生误差累积，QEvict 仅在窗口首次降级时对其进行量化。生成的低比特表示被存储在一个持久化的账本中，并在后续所有的晋升和降级过程中重复使用，从而避免了近似误差的复合叠加。
• 实现： 该系统支持分组查询注意力（GQA）和 FlashAttention-2。它在路由事件期间选择性地实例化 SDPA 注意力以计算累积分数，而在其他时间则使用标准的解码路径。

关键贡献

1. 系统性分析缓存动态特性： 作者引入了两种新的诊断工具来表征解码时的行为：

   • 未来丢失质量（Future Missed Mass, FMM）： 衡量分配给已被策略丢弃的状态的未来注意力比例。
   • 全局 LIR（潜在重要性重新激活, Latent Importance Reactivation）： 衡量历史上处于非活跃状态的窗口重新进入活跃集的频率。
   • 选择抖动（Selection Churn）： 量化连续路由步骤之间缓存分配的不稳定性。
   • 发现： 这些诊断表明，尽管重要性是集中的，但其在时间上是不稳定的；相当一部分窗口会离开活跃集并在随后重新进入，这证明了引入可恢复层的必要性。

2. QEvict 框架： 一种新型的、受字节约束的层级结构，它用动态的降级、恢复和晋升过程取代了二元驱逐。它结合了驱逐方法的选择性保留特性与量化方法的广泛覆盖能力。

3. 广泛评估： 该方法在三个基准测试（LongBench, RULIVER, GSM8K）以及三个指令微调的 LLM 系列（Llama-3.1-8B, Mistral-7B, Qwen2.5-7B）下进行了评估，且处于严格的内存预算下（全量 KV 缓存的 5% 到 20%）。

结果

QEvict 在代表性的驱逐和量化基线模型中，一致地提升了质量与内存之间的权衡表现：

• 长文本理解（LongBench）： 在 12 个任务和多种内存预算下，QEvict 均取得了最高的宏平均得分。在 20% 的内存预算下，其表现显著优于最强的驱逐基线。在极紧凑的 5% 预算下，这种优势更加明显，凸显了可恢复低比特保留的价值。
• 长程检索（RULER）： 在 32K 上下文长度的任务中，QEvict 取得了 87.6 的宏平均分，超过了最强的匹配内存驱逐基线（Layer-DefensiveKV）1.2 个百分点，并优于同类量化基线 8.6 个百分点。它与未压缩的全量 KV（Full-KV）参考值仅差 2.4 个百分点。
• 推理（GSM8K）： 随着缓存预算的减少，QEvict 比基线模型更好地保持了多步生成的质量，在 Llama、Qwen 和 Mistral 模型中维持了更高的准确率。
• 效率：
  • 使用 Eager/SDPA 后端时，由于缩减的全精度缓存规模抵消了管理开销，QEvict 比 Full-KV 降低了 9.3% 的每个输出 Token 时间（TPOT），并将吞吐量提升了 9.8%。
  • 使用 FlashAttention-2 时，QEvict 将峰值 GPU 显存降低了 29.7%（从 29.54 GB 降至 20.78 GB），尽管目前的吞吐量受限于需要在注意力计算前进行反量化和重建缓存。

重要性与主张

论文声称，可恢复的低比特保留是针对长上下文 LLM 推理的一种实用且优越的替代方案，优于永久驱逐。通过将缓存管理视为一个动态层级结构而非一次性决策，QEvict 解决了假设静态 token 重要性的脆弱性问题。

作者强调，其方法：

• 在不为所有状态分配全精度内存的前提下，保留了更广泛的历史上下文。
• 通过窗口级聚合稳定了缓存选择，降低了对瞬态 token 级波动的敏感性。
• 支持了历史上非活跃区域的“重新激活”，这一现象在解码过程中频繁发生，但被当前最先进的方法所忽略。

这项工作表明，未来的系统应该超越“保留或删除”的二元策略，转向动态、可恢复的存储层级，以应对长上下文生成中不断变化的注意力特性。