🤖 machine learning

IntentKV: Cross-Turn Intent-Aware KV Cache Pruning for Agent Inference

IntentKV 是一种学习型的、跨轮次意图感知的 KV 缓存剪枝方法，它在保持冻结的基础大语言模型的同时，利用会话级记忆和零初始化的残差头来动态评分并重定向 Token，从而在实现极小精度损失的情况下，显著降低了长程智能体推理中的峰值内存和 KV 读取带宽。

原作者： Junjie Li, Jiong Lou, Jie Li

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junjie Li, Jiong Lou, Jie Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名技术精湛的侦探（AI Agent），正在试图破解一个复杂的谜团。你不仅仅是问一个问题并得到一个答案；你必须经历一段漫长的旅程。你在图书馆搜寻，采访证人，查阅旧档案，并记录笔记。每一步都会让你的桌子上堆满更多的纸张。

最终，你的书桌会被这些纸张堆得杂乱无章，你找不到任何东西，也无法再写下新的笔记。这正是 IntentKV 为 AI Agent 解决的问题。

以下是使用简单类比对该论文进行的拆解：

问题所在：“杂乱的书桌”

当一个 AI Agent 处理多步任务（例如研究航班然后预订它）时，它会产生大量的追踪信息：

用户的请求： “帮我找个航班。”
搜索过程： AI 查找航班。
结果： 它阅读了 50 个航班列表。
后续追问： “哪一个最便宜？”
新的搜索： 它再次进行搜索。

每次 AI 进行思考时，它都必须回顾桌子上之前所有的纸张，以理解上下文。随着对话变得越来越长，“书桌”（记忆）就会变得巨大。论文指出，最大的瓶颈不是 AI 的脑力（计算能力），而是这张桌子的记忆空间和阅读速度。如果桌子太满，AI 就会变慢甚至崩溃。

旧有的解决方案：“整理纸张”

以前的方法试图通过丢弃旧纸张来解决这个问题。

问题： 它们通常只看当前的问题，然后决定丢弃什么。
缺陷： 在一个长篇侦探故事中，第 1 页的一个线索在第 50 页可能仍然至关重要。旧方法往往会因为这个线索在“现在”看起来不重要，就把它扔掉。
第二个缺陷： 一些方法会将剩余的纸张物理性地移动到一个更小的堆叠中。这破坏了系统用于快速查找不同用户间共享信息的“索引”或“地图”。这就像重新整理图书馆，把“哈利·波特”系列放到了原本不在同一个书架上的位置；图书管理员（系统）会感到困惑，无法高效地复用书籍。

新的解决方案：IntentKV

作者创建了 IntentKV，它就像一个聪明且有条理的助手，在不移动书籍的情况下管理书桌。

1. “会话记忆”（侦探的笔记本）

IntentKV 不仅仅关注当前的问题，它还会保留整个调查过程的运行摘要。

工作原理： 它维护一个随对话进展不断更新的“查询记忆”（QueryMemory）。它知道即使用户当前在询问“价格”，他们可能也需要 10 分钟前提到的“航班时刻表”来做出决策。
类比： 想象一位侦探在墙上贴了一张便签，上面写着：“记住：嫌疑人戴着红帽子。”即使当前的对话是在讨论天气，侦探也知道红帽子仍然具有相关性。IntentKV 会将“红帽子”相关的纸张留在桌上，即使此刻并没有在阅读它们。

2. “零初始化残差”（安全网）

系统使用一条简单的规则来决定保留什么（基于会话记忆）。但有时，这条规则可能会遗漏一些微妙之处。

修复方案： 他们添加了一个微小的、可学习的“残差头”（residual head）。可以将其想象为一个负责复核资深侦探清单的初级实习生。
魔力所在： 这个实习生从零知识开始（零初始化），并且仅学习如何纠正资深侦探的错误。它不会改变（主 AI 模型）的“大脑”，它只是增加了一个智能修正层。

3. “死槽”技巧（神奇的地图）

这是最聪明的部分。当书桌满了，IntentKV 必须移除一些纸张。

旧方法： 取出纸张，将剩余的纸张紧凑地堆叠在一起，并重新编号。（这会破坏图书馆的索引）。
IntentKV 的方法： 它取走纸张，但并不移动其他纸张，而是在空缺的位置放一个**“请勿阅读”的告示牌**（哨兵死槽/sentinel dead slot）。
结果： 纸张保持在原处。书桌的“地图”依然完美。如果另一位侦探带着类似的案件进来，系统可以立即识别出共享的纸张，因为它们没有移动。这使得系统能够高效地复用内存，节省大量的时间和空间。

实验结果：他们发现了什么？

论文在两个特定的 AI 模型（Qwen3-8B 和 Qwen2.5-14B）上进行了测试，使用的是一个名为 BrowseComp-Plus 的困难“深度研究”基准测试。

准确度： IntentKV 让 AI 保持了与拥有无限记忆时相同的聪明程度。它没有丢失任何“侦探技能”。
效率：
- 对于标准任务，它减少了约 24% 到 31% 的内存需求。
- 对于最困难、最长的任务，它将内存占用降低了高达 78%，并将阅读速度需求降低了高达 92%。
对比： 它击败了所有其他的“清理”方法。当内存紧张时，其他方法会崩溃或给出错误的答案，而 IntentKV 却能保持平稳运行。

重要局限性（论文未提及的内容）

它不是适用于所有 AI 的万灵药： 论文指出，他们仅在特定的“Qwen”模型上进行了测试。其他流行的开源模型（如 Llama 或 Mistral）在这些特定的测试环境中甚至无法正确执行多步任务，因此无法对 IntentKV 进行测试。问题不在于内存，而是这些模型本身无法在那个特定环境下表现得像个 Agent。
它不会自行选择预算： 系统需要人类设定一个固定的限制（例如，“保留 8,000 个 token”）。它不会自动决定：“哦，这个问题很短，我可以用更少的内存。”
它是为 Agent 设计的，而非聊天机器人： 这专门为在多轮对话中调用工具（搜索、代码等）的 AI 设计，而不是用于简单的单次对话。

总结

IntentKV 是 AI Agent 的智能内存管理器。它通过追踪整个对话的“意图”（Intent），而不仅仅是当前的句子，来保留过去最重要的线索。它在移除旧信息时不会移动剩余的纸张，这使得 AI 即使在进行非常漫长、复杂的调查时，也能保持快速、准确且高效。

技术摘要：IntentKV

问题陈述

现代大语言模型（LLM）智能体越来越多地执行涉及浏览、深度研究和工具使用的多轮工作流。在这些场景中，一个简短的初始用户查询会扩展为包含检索文档、工具输出、中间决策和生成的参数的长轨迹。这产生了一种不对称的服务剖面：智能体的状态规模增长到数万个 token，而原始查询保持简短。因此，在长程智能体会话中，Key-Value (KV) 内存容量和 KV 读取带宽成为了主要的瓶颈，而非参数计算。

现有的 KV 缓存剪枝方法（例如 StreamingLLM、SnapKV、H2O）主要针对单提示词压缩设计。当应用于多轮智能体时，它们面临两个关键的失效模式：

过时的保留信号： Token 的重要性会随轮次发生偏移。对于后续轮次有用的证据（例如特定的搜索结果）可能会被仅基于初始提示词训练的评分器丢弃，因为 token 的“重要性”并非静态，而是随着新的意图而演进。
丢失前缀标识： 标准的剪枝通常通过将存留的 KV 行重新定位到连续槽位来压缩缓存。这改变了 token 的逻辑位置和 RoPE 相位，从而使像 SGLang 和 vLLM 这样通过基数树（radix trees）跨轮次重用缓存状态的系统所要求的前缀标识失效。

方法论：IntentKV

IntentKV 通过将保留策略（保留哪些 token）与布局策略（如何表示缓存）解耦来解决这些问题。该方法保持基础 LLM 冻结，并引入了一种学习型的、感知会话的剪枝机制。

1. 跨轮次意图感知保留

IntentKV 不再针对单个提示词对 token 进行评分，而是维护一个 QueryMemory ( $M_t$ )，该变量聚合了整个会话中的类查询信号。

QueryMemory 更新： $M_t$ 通过几何递推进行更新： $M_t = e^{-\lambda} M_{t-1} + \text{Enc}(q_t)$ ，其中 $\text{Enc}(q_t)$ 代表当前轮次的可执行查询跨度。这使得系统能够追踪演进的意图（例如，从“搜索航班”转向“寻找最便宜的选项”）。
规则评分： Token 根据其与累积的 $M_t$ 的注意力对齐程度进行评分，取代了像 SnapKV 那样的基于窗口的尾部注意力（tail attention）。
学习型残差： 为了处理规则评分器可能遗漏未来用途证据的情况，系统添加了一个零初始化的残差头。该头使用对当前查询的 K 向量以及包含规则得分和 QueryMemory 状态在内的每 token 特征进行交叉注意力计算，以预测修正值。最终得分是规则得分与学习型残差的结合。

2. 保留布局的驱逐

为了保持与前缀缓存的兼容性，IntentKV 采用了**槽位映射重定向（slot-map redirection）**策略而非紧凑化（compaction）。

哨兵死槽（Sentinel Dead Slot）： 当一个 token 被驱逐时，它在槽位图中的位置会被重定向到一个预分配的“哨兵”死槽。该槽位的 K/V 值被设置为特定的常量（例如 $K=-10^4, V=0$ ），这可以在不改变存留 token 物理布局的情况下，有效地将其注意力贡献归零。
保留标识： 存留的 K/V 行、它们的 RoPE 相位以及它们的逻辑槽位标识保持不变。这使得基数树能够继续跨轮次匹配前缀，从而实现高效的缓存状态重用。

核心贡献

多查询保留公式化： 本文将智能体 KV 剪枝形式化为一个多查询保留问题，并通过 QueryMemory 进行实例化，这是一种能够聚合跨轮次查询、工具调用和搜索意图的单会话状态。
冻结模型残差剪枝器： 一种学习型的残差剪枝器，它将感知会话的启发式算法作为主要信号，并添加了基于未来动作的修正，且无需更新基础 LLM 的权重。
可组合的驱逐方案： 一种用于分页 KV 缓存（SGLang/vLLM）的驱逐策略，通过将丢弃的位置重定向到哨兵槽位。这保留了基数前缀重用，在 8k 预算下实现了 20.7% 的前缀命中率，而紧凑化基准方法的命中率仅为 0–3%。
性能提升： 在 BrowseComp-Plus (BCP) 基准测试中，IntentKV 在保持极小精度损失的同时，达到了与全量缓存基准相当的效果。

实验结果

该方法在 Qwen3-8B 和 Qwen2.5-14B 上使用 BrowseComp-Plus (BCP) 基准测试（830 个深度研究查询）进行了评估。

准确率： 在 8k KV 预算下，IntentKV-Phase-2 在 Qwen3-8B 上实现了 14.10 的真实准确率（超过最强的启发式方法 StreamingLLM 2.29 个点），在 Qwen2.5-14B 上实现了 18.55（超过 StreamingLLM 10.36 个点）。在 16k 预算下，它在 Qwen3-8B 上与全量缓存上限的差距缩小至 0.96 个点。
效率： 与未压缩的上限相比，在需求最严苛的 100 个查询中，IntentKV 将最坏情况下的峰值请求 token 减少了 77.8%–81.7%，并将最坏情况下的原始 KV 读取减少了 36.9%–92.6%。
系统开销： 由于保留了前缀重用，与紧凑化基准相比，它实现了高达 43% 的墙钟延迟降低和 59% 的原始 KV 读取减少。
消融实验： 跨轮次记忆组件被确定为主要信号；移除该组件会导致准确率大幅下降。学习型残差在紧凑预算下提供边际收益，但在容量允许时能提升性能。

重要性与主张

论文声称 IntentKV 通过将保留逻辑与缓存布局分离，成功解决了 KV 压缩与多轮智能体服务之间的矛盾。通过维护会话级的意图记忆并使用非紧凑型驱逐策略，它使智能体能够在严格的内存预算下运行，同时不会牺牲重用已缓存前缀的能力。

作者指出，其评估仅限于 Qwen 模型，因为其他开源骨干网络（如 Llama-3.1、Mistral）在其服务框架下未能表现出可靠的自主多步工具调用行为，从而无法对压缩效果进行公平比较。该方法旨在与现有的服务栈（SGLang、vLLM）及未来的局部提示评分器进行组合，尽管每查询动态预算选择仍是未来的研究方向。