🤖 machine learning

Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches

本文介绍了 SAECache，这是一种语义自适应前缀缓存驱逐策略，它通过多队列架构和在线学习利用不同 token 类型的不同复用价值，在显著改善大语言模型服务效率的同时消除了对人工参数调优的需求。

原作者： Shaoke Fang, Ziang Li, Wenfei Wu, Jiatong Ji, Qingsong Liu, Ruizhi Pu

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Shaoke Fang, Ziang Li, Wenfei Wu, Jiatong Ji, Qingsong Liu, Ruizhi Pu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你经营着一家非常繁忙的高端咖啡店（即大型语言模型或LLM），每天服务数百万顾客。为了快速制作咖啡，你有一个特殊的“记忆货架”（即GPU 显存），用于存放已启动订单的预制原料和指令。这被称为前缀缓存（Prefix Caching）。

如果新顾客点了一杯拿铁，其内容与之前的订单 90% 相同，你就不需要重新研磨咖啡豆或加热新牛奶；只需从货架上取出预制基底即可。这使得第一口咖啡（即首个 Token）几乎瞬间呈现。

然而，你的货架非常狭小。你无法永远保留每一个预制基底。最终，你必须丢弃一些物品以腾出空间给新订单。这就是淘汰策略（Eviction Policy）。

问题所在：“一刀切”的错误

长期以来，咖啡店经理们使用一条简单的规则：“最先丢弃最旧的物品。”（即LRU策略）。

该论文指出这是一个糟糕的想法，因为货架上的物品并非同等珍贵。

系统提示（System Prompt）： 想象一份“标准菜单”，每位顾客都能看到。它永不改变。由于每个人都会点它，因此它极具价值。
思维链（Chain-of-Thought）： 想象一位顾客关于为何想要一杯拿铁的杂乱内心独白。这仅对那一个人和那一刻有用。它对下一位顾客几乎毫无用处。

旧规则将“标准菜单”和“杂乱独白”完全等同对待。如果独白比菜单稍新一点，旧规则就会为了腾出空间给独白而丢弃菜单。这是一场灾难，因为下一位顾客会立即需要菜单，而独白对他们毫无用处。

解决方案：SAECache（智能经理）

作者创建了一个名为SAECache的新系统。将其想象为一位智能经理，他不仅查看物品上次被触碰的时间，还查看物品本身是什么。

以下是其工作原理，使用简单的类比：

1. 四个专用 bins（多队列架构）

SAECache 不再使用一个大货架，而是将货架组织为四个不同的 bins，每个 bin 都有各自的规则：

“垃圾”Bin： 存放几乎从不复用的物品（如杂乱的独白或饮品的最后步骤）。这些会最先被丢弃。
“模板”Bin： 存放标准指令和系统提示（如菜单）。由于这些被频繁复用，因此会被非常小心地保留。
“聊天”Bin： 存放人们来回对话的会话。
“代理”Bin： 存放 AI 正在执行工作的复杂任务（如编程或使用工具）。

2. “价值评分”（语义感知加权）

经理不只是猜测哪个 bin 重要。它会学习！

如果经理丢弃了一个“系统提示”，随后立即又有人请求它，系统就会学到：“哎呀！我丢弃了有价值的东西。下次我应该给系统提示更高的评分。”
如果它丢弃了一个“思维链”而无人再请求，它就会学到：“干得好！那是垃圾。我会继续给它低评分。”

这一切都是自动发生的，就像经理根据顾客实际购买的东西调整货架，而无需人类告知该做什么。

3. “时间机器”（自适应计时）

系统还会学习人们回来的时间。

聊天会话可能有很长的停顿（就像顾客喝咖啡休息）。
代理会话可能非常快速且急促。
系统会学习每种类型会话的特定“心跳”。它知道，如果一个聊天会话 10 分钟未返回，可能已永远消失。但如果一个代理会话 10 秒未返回，可能只是在思考。它会实时调整淘汰规则，以匹配交通的节奏。

结果：更快的咖啡，更少的浪费

该论文将这位新经理与旧的“最先丢弃最旧”规则以及其他智能但僵化的系统进行了测试。

速度： 在繁忙的混合环境中，新系统使第一口咖啡的出现速度提高了 1.4 到 2.7 倍。
适应性： 当顾客类型发生变化时（例如，如果店铺突然从聊天者变为更多单次订单顾客），旧系统会崩溃。而新系统能立即适应。
效率： 通过不囤积垃圾（如杂乱的独白）并安全保留有价值的东西（如菜单），它节省了海量的“浪费”显存。

总结

简而言之，该论文指出：不要将所有内存块同等对待。 仅仅因为两件事在同一时间被触碰，并不意味着它们同样有用。通过教会计算机理解数据的含义（这是菜单？这是笑话？这是工具？）并让其从自身的实时错误中学习，我们可以使 AI 更快、更高效。

技术摘要：SAECache——面向大语言模型前缀缓存的语义感知淘汰机制

问题陈述

大语言模型（LLM）中的前缀缓存旨在通过复用共享输入前缀的请求中的键值（KV）状态，来降低推理延迟（特别是首字生成时间，即 TTFT）。然而，前缀缓存的效能受到 GPU 显存有限的严重制约，因此需要一种淘汰策略，在容量达到上限时丢弃价值较低的块。

现有的淘汰策略，如最近最少使用（LRU）和最少频繁使用（LFU），主要依赖访问时间或频率统计。这些与令牌无关的方法将所有缓存块同等对待，忽略了 LLM 工作负载的两个关键维度：

语义异质性：不同类型的令牌（例如系统提示词与思维链推理）表现出截然不同的固有复用率。
工作负载变异性：单轮模板化请求（结构性复用）与多轮对话（会话局部时间复用）的复用模式存在显著差异，且不同应用类型（例如聊天与智能体工作流）的轮次间隔遵循不同的分布。

作者观察到，当系统提示词块（高价值）与思维链块（低价值）的近期性相同时，若将其视为等同，会导致内存分配次优。此外，固定参数的策略在工作负载构成发生变化时会失效，导致在负载不匹配的情况下性能下降高达 2.7 倍。

方法论：SAECache

为了解决这些局限性，作者提出了SAECache（面向前缀缓存的语义自适应淘汰），这是一种将令牌语义结构与在线工作负载自适应相结合的策略。该系统通过三个核心机制运行：

1. 基于规则路由的多队列架构

SAECache 根据主导复用模式将 KV 块路由到四个不同的队列，而非单一的全局队列：

优先淘汰队列：存储低价值块，包括解码阶段令牌和低复用潜力的非模板化预填充块。这些块会被优先清除。
结构队列：存储来自单轮会话的 KV 块，这些会话依赖于共享的提示词结构（例如工具使用模板、编程指令）。
聊天队列：存储来自对话会话的多轮块，对会话局部的时间复用进行建模。
智能体队列：存储来自智能体/工具使用会话的多轮块，其令牌内容和请求间隔分布与标准聊天不同。

一个轻量级的多轮会话预测器（一个复用服务模型最终隐藏状态的 3 层 MLP）解决会话首个请求的歧义问题：如果预测会有延续，则将其路由到相应的多轮队列；否则，路由到结构队列或优先淘汰队列。

2. 局部优先级评分

在每个队列内部，块根据复合指标 $P(b)$ 进行评分以决定淘汰：
$P(b) = \alpha_q \cdot w_{\tau(b)} \cdot \frac{p_q(b)}{\Delta t_b}$

$\alpha_q$ （队列权重）：反映特定队列近期命中效率的动态权重。
$w_{\tau(b)}$ （令牌类型权重）：针对块所属令牌类型（例如系统提示词、用户查询、思维链）的习得权重。
$p_q(b)$ （局部生存概率）：
- 对于聊天/智能体队列：计算为在拟合该会话类型轮次间隔的对数正态分布下的生存概率 $1 - F_{LN}(\Delta t_b; \mu_q, \sigma_q)$ 。
- 对于结构队列：计算为 $1 - (o_b / o_{max})^\gamma$ ，其中 $o_b$ 是块偏移量， $\gamma$ 是习得的衰减幂，优先保留提示词中较早的块。
$\Delta t_b$ ：自块上次访问以来经过的时间。

3. 完全自适应的在线学习

SAECache 通过基于缓存命中/未命中统计的统一反馈循环在线更新所有参数，从而消除手动调优：

令牌类型权重：基于“淘汰后未命中”率和整体命中率，通过指数移动平均（EMA）进行更新。
对数正态参数（ $\mu, \sigma$ ）：利用聊天和智能体队列中观察到的访问间隔时间，通过最大似然估计（MLE）在线估算。
位置衰减幂（ $\gamma$ ）：从结构队列中块位置与命中率之间的相关性中学习得出。
队列权重（ $\alpha_q$ ）：基于每个队列的命中令牌数与分配容量的比率进行更新，并通过温度参数进行缩放。

主要贡献

实证表征：一项系统性研究揭示，令牌复用率在不同令牌类型间差异高达 756 倍（系统提示词为 92.3%，思维链为 2.2%），且轮次间隔遵循特定会话的对数正态分布，而非简单的指数衰减。
SAECache 策略：一种语义感知、多队列的淘汰策略，解耦了异质的复用机制（结构性与时间性），并为令牌类型分配了不同的优先级。
在线自适应：一个学习框架，可自动调整时间分布、位置衰减和加权参数，无需人工干预，即可适应不断变化的工作负载构成。
全面评估：在真实世界数据集（ShareGPT、LMSys、Chatbot-Arena）上进行的广泛实验，证明了其在异质工作负载下的鲁棒性。

实验结果

在 NVIDIA A40 GPU 上使用 vLLM 实现并运行 Qwen2.5-1.5B-Instruct 模型进行评估，SAECache 与 LRU（生产基线）和学习型前缀缓存（LPC）进行了比较。

TTFT 提升：在异质工作负载下，SAECache 相比生产风格基线实现了 1.4 倍至 2.7 倍的 TTFT 提升。
缓存命中率：SAECache 始终实现了最高的缓存命中率，在所有测试配置中，相比最强基线（LRU 或 LPC）提高了 4.8–5.9 个百分点。
工作负载不匹配韧性：当工作负载构成偏离训练轨迹时，固定参数的替代方案在 TTFT 上遭受了高达 2.7 倍 的性能下降。SAECache 通过在线调整参数保持了稳定的性能。
消融研究：
- 感知令牌类型的权重贡献了额外的 23% 提升。
- 自适应队列权重贡献了最大的增益，达到 39%。
- 对数正态时间建模和位置衰减学习分别提供了 14% 和 12% 的额外增益。
开销：多轮会话预测器效率极高，仅需约 100 万参数（相比之下 LPC 的嵌入模型为 1.18 亿参数），并实现了 8.8 倍更高的推理吞吐量。

意义与主张

该论文主张，前缀缓存淘汰不应将所有缓存块同等对待，即使它们具有相似的近期性或频率统计。作者断言，令牌语义、提示词结构和会话类型是复用的根本驱动因素，而现有策略未能捕捉到这些因素。

SAECache 的意义在于其能够：

弥合差距：连接静态启发式策略与大语言模型服务动态、语义现实之间的鸿沟。
消除手动调优：使系统对工作负载变化（例如从以聊天为主转变为以工具使用为主）具有鲁棒性，无需重新训练或调整参数。
证明细粒度、语义感知淘汰是高效 LLM 服务的关键设计选择，特别是在高缓存压力和异质请求模式的环境中。

作者指出，虽然 SAECache 在多轮和混合工作负载中表现出色，但在单轮主导的领域（例如 Chatbot-Arena），其开销可能会略微降低性能，因为更高的命中率带来的收益无法完全抵消管理成本，这凸显了能够随工作负载特征扩展的自适应策略的必要性。