🤖 AI

Learning Agent Execution for KV-Cache Management in Agentic Serving

本文介绍了 CacheScout，一种感知智能体（agent-aware）的 KV 缓存运行时，它通过在线学习智能体执行状态转移来主动管理缓存驱逐与预取，在无需预定义工作流图的情况下，显著提高了多智能体大语言模型（LLM）服务的命中率并降低了延迟。

原作者： Rui Zhang, Chaeeun Kim, Shaoting Feng, Kuntai Du, Yuhan Liu, Yi Zhong, Cheng-Wei Ching, Junchen Jiang, Liting Hu

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rui Zhang, Chaeeun Kim, Shaoting Feng, Kuntai Du, Yuhan Liu, Yi Zhong, Cheng-Wei Ching, Junchen Jiang, Liting Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的世界里，一种构建智能助手的新方法已经占据了主导地位。开发者不再要求一个全知全能的单一计算机大脑去一次性解决复杂问题，而是将任务分解为一组专门的数字工作者。想象一下一位旅行规划师，他首先要求一个代理程序寻找航班，然后将工作交给另一个代理程序来预订酒店，最后将其传递给第三个代理程序来寻找餐厅。其中的每一个代理程序都是一个大语言模型，这是一种基于其学习到的模式来预测句子中下一个词的软件。为了实现这一点，该软件必须在其被称为“键值缓存”（key-value cache）的短期记忆中保存大量信息。这种记忆就像是一个工作空间，模型在此保留游戏规则、可用工具的定义以及行为示例。每当一个新的代理程序加入对话时，它都会带来自己的一套指令和示例，从而产生一大块数据，系统在开始回答用户的特定问题之前，必须先处理这些数据。

挑战在于这些数字团队是动态变化的。第一个代理程序可能会完成它的工作，然后系统可能会立即切换到完全不同的代理程序，或者稍后又跳回到第一个代理程序。目前运行这些 AI 团队的计算机系统是以响应式的方式管理其内存的。它们保留最近使用过的信息，并丢弃旧的信息以腾出空间处理新请求。这对于简单的对话运作良好，但在多代理团队中，这会造成令人沮挫的低效。系统经常仅仅因为某个代理程序在过去几秒钟内没有发言，就丢弃该代理程序的固定指令和示例，尽管该代理程序很可能在紧接着的下一步就会再次被调用。当代理程序返回时，系统必须从头开始重新读取并重新处理所有这些指令，从而浪费了时间和计算能力。这种丢弃与重新学习的循环减慢了整个操作，使 AI 显得反应迟钝且运行成本高昂。

加州大学圣克拉拉分校及其他机构的研究人员开发了一种解决此问题的新方法，称之为 CacheScout。该系统不再仅仅观察过去发生了什么，而是学会了预判接下来会发生什么。它不将对话流视为一系列随机事件，而是将其视为不同工作者之间的转换模式。通过观察旅行代理程序之后通常会跟随酒店代理程序，或者编码代理程序如何切换到评审代理程序，该系统在运行过程中会构建出一张工作流的心理地图。它不需要开发者提供预先写好的剧本或地图；它在处理每一次请求的过程中实时学习这些连接。

这个新系统的核心是一个位于 AI 代理与计算机硬件之间的轻量级层。当一个代理程序完成任务时，这一层会查看对话历史，并预测下一个最有可能发言的代理程序。如果系统对下一步具有信心，它会采取两个具体的行动来提高速度。首先，当系统需要清理旧数据以腾出空间时，即使某个代理程序已经有一段时间没有发言，它也会拒绝删除该代理程序的指令。它根据这些信息的未来重要性而非过去的使用频率来保护这些宝贵的内存块。其次，在等待下一个请求时，它会在后台静默且无形地为预测的代理程序准备内存。它会在用户提出需求之前，将必要的指令加载到快速内存中，以便当代理程序开始工作时，可以立即开始工作而不会出现延迟。

研究人员在现实世界的任务中测试了该系统，包括规划旅行、解决数学问题和编写软件代码。他们发现，通过记住代理程序的行为模式，该系统能够比以前更频繁地在内存中保留正确的信息。在测试中，系统成功复用现有内存的速率提高了十到十八个百分点。这种改进直接转化为了速度。生成答案第一个词所需的时间减少了多达 45%，完成单次对话轮次的总时间下降了近 40%。该系统还能同时处理更多的请求，将每秒能完成的任务总数提升了高达 57%。

至关重要的是，研究人员展示了这种方法即使在工作流不是固定的情况下也同样有效。在许多现代应用中，下一步是由 AI 实时决定的，这意味着路径可能会发生变化。新系统能够适应这种流动性，在发生过程中学习最常见的路径并据此调整其预测。它在处理更大、更复杂的 AI 模型时也表现出色，即使在内存需求显著提高的情况下也能保持速度优势。该系统实现这一切并不需要减慢计算机速度，也不需要复杂的硬件；它只是为内存管理过程增加了一点智能化，将一个被动的存储系统变成了一个了解未来的主动参与者。

研究结果表明，高效 AI 服务未来的关键在于理解工作的上下文，而不仅仅是数据本身。通过识别出旅行代理程序很可能被酒店代理程序所跟随，系统不再将每一刻都视为全新的开始，而是开始将对话视为一段连续的旅程。这种从“响应过去”到“准备未来”的转变，使得这些数字团队的工作速度更快、效率更高，消除了阻碍复杂 AI 应用部署的瓶颈。其结果是，系统感觉响应更加迅速且功能更强，能够处理定义下一代人工智能服务的复杂、多步骤任务。

技术摘要：用于智能体服务中 KV-Cache 管理的学习型智能体执行机制

问题陈述

多智能体大语言模型（LLM）系统已成为 AI 服务的主流范式，其中用户请求被分解为一系列专门的智能体序列（例如：规划者、旅游助手、编程智能体）。这些工作流的一个关键特征是与每个智能体相关的循环固定上下文（智能体锚点，agent anchors），其中包括系统提示词、工具定义和少样本示例（few-shot examples）。这些固定上下文通常占据了所有提示词 Token 的 53–62%。

现有的 LLM 服务系统（如 vLLM、SGLang）使用基于前缀缓存（prefix caching）和基于近期性替换策略（如 LRU）的反应式方式来管理 KV-cache。这些系统将 KV 块视为匿名的、以内容寻址的对象。因此，当一个智能体在执行工具或等待规划者的决策时，其 KV-cache 块会因为缺乏近期访问而遭到驱逐。当同一个智能体稍后在工作流中再次被调用时，系统必须从头开始重新计算固定上下文。这种反应式方法未能利用智能体重用的高可预测性，导致了大量的冗余计算并增加了延迟。

识别出的核心挑战包括：

语义鸿沟（Semantic Gap）： 服务引擎知道缓存了什么内容，但不知道是哪个智能体生成的，也不知道它何时会被重用。
动态执行（Dynamic Execution）： 现代智能体框架（如 AutoGen、LangGraph）通常在运行时通过 LLM 推理动态决定下一个智能体，这使得静态工作流图或预定义的执行路径变得不可靠或无法获取。
延迟约束（Latency Constraints）： Cache 驱逐发生在服务的关键路径上。需要重度特征提取或推理的复杂学习型预测模型速度太慢，无法满足需求。

方法论：CacheScout

作者提出了 CacheScout，这是一个轻量级的、感知智能体的 KV-cache 运行时层，旨在连接智能体框架与服务引擎。CacheScout 并不修改服务引擎的核心，也不需要离线训练，而是作为一个独立的运行时，在线学习执行语义以指导缓存驱逐和预取（prefetching）。

核心组件

转移学习器（Transition Learner）：
- 将智能体执行建模为在线一阶马尔可夫链。
- 通过对提示词前缀进行指纹识别来观察运行时分发，从而识别当前的智能体。
- 为观察到的每一个从智能体 $i$ 到智能体 $j$ 的转移更新转移计数器 ( $C_{ij}$ )。
- 在无需离线训练或预定义图的情况下计算转移概率 $P_{ij}$ 。
生存概率评分器（Survival-Probability Scorer）：
- 通过估计生存概率（即在接下来的 $K$ 步内被重用的可能性）来确定应保留哪些缓存的智能体锚点。
- 利用从转移矩阵中导出的稀疏执行图进行**广度优先搜索（BFS）**来近似该概率（通过剪枝低置信度的边）。
- 根据与当前智能体的跳数（hop distance）计算生存得分：在执行图中距离较近的锚点获得更高的得分。
- 将此得分与近期性信号以及块的重建成本（Token 数量）相结合，对驱逐候选对象进行排序。当执行过程变得不可预测时，该策略会平滑降级为 LRU。
后台预取协调器（Background Prefetch Coordinator）：
- 在请求之间的空闲期间，主动预热高价值的智能体锚点。
- 发布一个轻量级的“预热请求”，该请求仅包含预测的智能体可重用锚点（系统提示词 + 工具），并将 max_tokens 设为 1。
- 这会触发服务引擎的标准预填充（prefill）流水线，在非关键路径上重建 KV 块，确保在实际请求到达前做好准备。
- 包含一个自适应门控机制：仅当执行可预测性指标 ( $R$ ) 超过阈值时才启用预取，以防止在随机工作流上浪费 GPU 周期。

核心贡献

识别了新挑战： 本文强调，由于缺乏智能体层面的语义感知，现有的反应式前缀缓存无法利用动态多智能体工作流中的未来智能体重用。
智能体感知运行时层： 提出了 CacheScout，它将缓存智能与服务引擎解耦，实现了无需修改底层推理栈即可进行主动管理。
在线学习与预测： 设计了一个通过轻量级马尔可夫链在线学习执行转移的系统，消除了对静态工作流图或离线训练的需求。
生存引导的驱逐与预取： 实现了一种基于预测重用概率进行评分的机制，以及一个异步运行的后台预取策略。

实验结果

作者在 vLLM 之上实现了 CacheScout，并在四种真实的 multi-agent 工作负载（GSM8K, MT-Bench, GAIA, SWE-bench）上，使用 Llama-3.1-8B-Instruct 对其进行了评估，对比对象为原生 vLLM 和使用 TTL（生存时间）固定策略的 Continuum。

KV-Cache 命中率： 提升了 10–18 个百分点，在所有工作负载中达到 81–85%。
延迟：
- 平均首 Token 延迟（TTFT）降低了 18–45%。
- 平均每轮延迟（Mean Per-Turn Latency）降低了 29–38%。
吞吐量： 峰值吞吐量提升高达 57%。在相同的延迟预算下，CacheScout 能够承载原生 vLLM 1.7–12 倍的负载。
可扩展性： 收益在更大规模的模型上依然成立。在 Qwen3-235B-A22B（235B 参数）上，CacheScout 使 TTFT 降低了 33–54%，并维持了 37% 更高的吞吐量。
开销： 运行时状态非常紧凑（<25 KB），且热路径操作产生的开销微乎其微（微秒级），确保不会对服务关键路径产生影响。

重要意义

本文声称，CacheScout 证明了将智能体执行语义纳入 KV-cache 管理是实现高效多智能体 LLM 服务的一种有效且实用的方法。通过从反应式的、基于内容的缓存转向主动的、语义感知的管理，该系统显著减少了冗余的预填充计算。这项工作确立了多智能体系统中的执行结构是可以在线学习且具有足够可预测性的，足以驱动缓存决策，即使在没有静态工作流定义的情况下也是如此。这种方法为复杂、动态的 AI 智能体部署提供了实现更高吞吐量和更低延迟的路径。