🤖 machine learning

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

MemDecay 是一种无需训练的、区域感知的 KV 缓存驱逐策略，它利用大语言模型智能体上下文的语义结构，为不同的标记区域分配不同的保留优先级和衰减率，在内存受限的情况下，通过保留关键信息并维持推理准确性，显著优于现有的基于近期性或注意力机制的基准方法。

原作者： Venkatesha Matam, Keon Kim

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Venkatesha Matam, Keon Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在运行一个超级聪明的机器人助手（一个 LLM 智能体），它正试图解决一个巨大的、多步骤的谜题。它必须记住游戏的规则、它发现的线索、它使用的工具，以及它自己凌乱的草稿笔记。随着谜题变得越来越长，机器人的“大脑”（其内存缓存）开始溢出。如果它不腾出空间，它就会崩溃或变得缓慢。

大问题在于，大多数机器人对每一条记忆都一视同敬。它们可能会说：“噢，我有一段时间没看这条线索了，所以我要把它扔掉，”或者“这是我刚刚读到的最后一条内容，所以我要保留它。”但这就像是因为你昨天看了地图，就把地图扔了，却保留了一张随手涂鸦。

于是有了 MemDecay，一种全新的策略，它就像是机器人大脑中一位聪明且有条理的图书管理员。以下是它的工作原理、研究发现，以及它明确没有发现的内容。

聪明的图书管理员策略

MemDecay 不再平等对待所有记忆，而是询问机器人的管理者：“这条记忆是什么类型的？”

它是一个 系统指令 (System Instruction) 吗？（机器人的核心规则，比如“始终保持礼貌”。）
它是一个 计划 (Plan) 吗？（解决谜题的步骤。）
它是 草稿 (Scratchpad) 吗？（机器人正在处理的临时数学运算或笔记。）
它是 工具输出 (Tool Output) 吗？（来自计算器或搜索引擎的数据。）

MemDecay 为每种类型的记忆赋予了不同的“有效期”和不同的“重要性得分”。

系统指令 被贴上了“钉住 (Pinned)”标签。它们被固定在书架上，无论图书馆多么拥挤，永远不会被扔掉。
草稿笔记 拥有非常短的“保质期”。如果机器人停止使用它们几秒钟，它们就会消逝。
计划和工具 拥有中等的“保质期”，但如果机器人再次查看它们，它们的“过期时钟”就会重置，从而使其保持安全。

该系统会根据每个记忆标记（token）的类型及其最近被使用的频率来计算一个分数。当图书馆满了时，它会优先踢出得分最低的页面。

实验实际展示了什么

研究人员在两种机器人规模（15 亿和 30 亿参数）和两种内存大小（约 450 个 token 和 1,700 个 token）上进行了测试。他们在机器人内存的不同位置植入了特定的事实，然后在强制删除一半内存后要求机器人回忆这些事实。

1. “钉住”的胜利
最大的胜利在于“系统”指令。当内存被压缩到 25% 或 50% 时，MemDecay 每次都能保护系统规则的安全（在短测试中 24 次中成功 24 次，在长测试中 24 次中成功 21 次）。

对比： 其他仅保留“最新”记忆的方法（例如只记得最后几句话的机器人）完全失败了。在长测试中，它们几乎无法回忆起任何系统指令。“仅靠近期性”的方法随着故事的进行而崩溃。

2. “草稿”的现实检查
实验精确测量了不同记忆保持有效性的时间。

系统指令 持续时间很长：大约 148 到 189 个解码步（即机器人生成这么多单词所需的时间）。
草稿笔记 消失得极快：仅 14 到 16 步。
检索到的文档（如搜索结果）的寿命出人意料地长，甚至比工具输出或用户消息更持久，尽管研究人员最初认为它们会很快消逝。

3. “旧事实”问题（损失）
这是 MemDecoy 栽跟头的地方。当机器人必须记住一条旧的用户消息或对话开头的一个非“钉住”事实时，MemDecay 经常失败。

在短测试中，它回忆起这些旧用户事实的概率为 0/24。
在长测试中，它仅能回忆起 5 到 7/24。
与此同时，一个仅保留“最受关注”标记的竞争方法（称为 H2O 式方法）表现得好得多，它能回忆起 11 到 20 个此类事实。

为什么会失败？ 论文解释说，来自机器人注意力（它注视某个词的程度）的“重要性”得分太弱，无法挽救那些旧的事实。对于那些未被“钉住”的项目，“衰减”（过期时钟）跳动得太快，以至于注意力信号无法阻止时钟的流逝。研究人员指出，仅仅调高注意力信号的音量是不够的；数学逻辑需要进行调整，使注意力信号足够强大，能够与衰减机制抗衡。

MemDecay 不是什么

了解这篇论文没有声称什么非常重要：

它不是解决一切问题的万灵药。 它明确排除了“近期性”（保留最新的内容）适用于长程智能体任务的观点。数据表明，随着对话的增长，依赖于“刚刚说了什么”的方法会惨败。
它不是解决旧事实召回问题的“突破”。 论文承认，对于未被钉住的旧事实，MemDecay 在这些特定测试中的表现实际上比现有的基于注意力的算法更差。
它不“学习”新的权重。 它是“无需训练 (training-free)”的，这意味着它不需要重新训练机器人的大脑。它只是使用一套聪明的规则和少量的测量手段来调节过期时钟。

总结

MemDecay 是一个聪明的、基于规则的系统，它通过“类型”而非仅仅通过“年龄”来组织机器人的记忆。

它在大规模保护机器人的核心规则和指令方面取得了巨大成功，确保即使在内存紧张时也绝不会丢失。
它在记忆旧的、未被钉住的事实方面表现不佳，在这些方面，它会被仅仅遵循机器人注意力的算法所超越。

研究人员通过数千个测试案例衡量了这些结果，并发现虽然“基于类型”的方法在构建结构方面表现出色，但它需要进行数学上的微调，以防止遗忘那些旧的、有用的信息。这是一个让长期运行的机器人智能体变得更可靠的坚实进步，但工作尚未完成。

技术摘要：MemDecay

问题陈述

大型语言模型（LLMs）正越来越多地被部署为能够执行长程工作流的智能体（Agents），这些工作流涉及多轮交互、工具调用和迭代规划。与静态的长上下文任务不同，这些智能体追踪（Agent Traces）会累积异构组件：系统指令、安全约束、演进中的规划、用户轮次、检索到的文档、工具输出以及中间推理状态。

自回归解码所需的键值（KV）缓存随此类追踪线性增长，从而产生了显著的内存开销、带宽需求和延迟。现有的 KV 缓存驱逐策略通常依赖于以模型为中心的信号（例如，累积注意力、近期性窗口或注意力汇点），并对整个序列应用统一的保留规则。这种方法未能利用编排提示词（Orchestrated Prompts）内在的语义结构。在智能体工作负载中，不同组件具有截然不同的功能角色和预期寿命；例如，系统指令必须在整个回合中持续存在，而草稿纸（Scratchpad）推理或过时的工具输出可能仅在短时间内具有相关性。将所有 Token 视为具有相同的预期寿命忽略了这种结构，导致内存管理效率低下。

方法论：MemDecay

作者提出了 MemDecay，这是一个针对长程 LLM 智能体的、感知区域（Region-aware）且无需训练的 KV 缓存驱逐框架。该方法在固定的缓存预算下运行，并将编排层的结构化先验与基于注意力的重要性相结合。

核心组件

区域标签（Region Labels）： 编排层为连续的提示词跨度提供区域标签（例如：system、plan、user、tool_in、tool_out、retrieval、scratchpad）。
保留分数（Retention Score）： 每个 Token $i$ $i$ 在时间 $t$ $t$ 的保留分数 $s_i(t)$ $s_{i} (t)$ 计算如下：
$s_i(t) = b_{r(i)} \exp(-\lambda_{r(i)} \Delta t_i(t)) + \alpha a_i(t)$
- 结构化先验： $b_{r(i)}$ 是特定于该 Token 所属区域的基础优先级。
- 时间衰减： $\lambda_{r(i)}$ 是特定于区域的衰减率。 $\Delta t_i(t)$ 表示自该 Token 上次被“刷新”以来的时间。
- 注意力重要性： $a_i(t)$ 是接收到注意力质量的指数加权移动平均（EWMA）。
- 刷新机制： 如果对某个 Token 的注意力超过阈值 $\tau$ ，其衰减时钟将重置（ $\Delta t_i$ 变为 0），从而根据持续的使用情况有效地延长其寿命。
固定（Pinning）： 系统区域（以及可选的规划片段）可以被“固定”，这意味着无论分数如何，它们永远不会被驱逐。
驱逐策略： 缓存以页面粒度进行管理（例如，每页 16 个 Token）。当超过预算时，通过计算其组成 Token 的平均保留分数来为页面评分。得分最低的页面将被优先驱逐。

校准

MemDecay 对于模型权重是无需训练的，但它采用了一种轻量级的统计校准方法来拟合每个区域的衰减率（ $\lambda_r$ ）。该过程通过智能体追踪来估计区域相关的注意力寿命，使系统能够适应特定的工作负载特征，而无需重新训练 LLM。

核心贡献

形式化定义： 本文将区域感知的选择性遗忘定义为 LLM 智能体的内存管理问题，将其解决方案建立在编排提示词的语义结构之上。
算法： 引入了 MemDecay，该策略将特定区域的基础优先级、时间衰减和注意力触发的刷新整合到单一的可解释保留分数中。它在兼容现有服务栈（如 PagedAttention）的页面级布局上运行。
测量协议： 作者规定了一个协议来估计区域相关的注意力寿命并校准衰减率。他们在两种上下文长度（约 450 和 1,700 个 Token）和两种模型规模（Qwen2.5-1.5B 和 3B）下执行了该协议，总计进行了 4,320 次评分驱逐探测。

实验结果

本研究将 MemDecay 与包括随机驱逐、基于近期性的（流式）保留以及基于累积注意力的（H2O 式）保留在内的基线模型进行了对比评估。

主要发现

区域寿命层级： 测得的注意力寿命在不同区域之间差异可达一个数量级。在所有设置中，system Token 的半衰期为 148–189 个解码步，而 scratchpad Token 衰减极快（14–16 步）。研究发现，Retrieval Token 是最长寿的可移动区域，这与认为其会快速衰减的默认假设相矛盾。
固定机制的有效性： 固定系统区域保证了指令的生存。在全缓存上限下，MemDecay 在所有设置中保留了 24 个系统探测中的 21–24 个，而基于近期性的基线仅保留了 0–2 个。
近期性 vs. 结构： 基于近期性的保留（流式）随着上下文长度的增加而崩溃，在长文本层级表现接近于零。相比之下，MemDecay 中的结构化先验依然有效。
累积注意力： 在未固定的内容上，累积注意力（H2O 式）随模型规模增强，在 3B 模型设置下的未固定召回率方面优于 MemDecay。
MemDecay 的局限性： 与基于注意力的基线相比，MemDecay 在处理旧事实（例如，起始轮次中的用户区域事实）时显示出特定的未固定召回率损失。消融研究表明，注意力项（ $\alpha a_i$ ）的量级过小，不足以抵消这些 Token 的结构化衰减。作者指出，注意力项需要进行量级归一化（例如，相对于均匀注意力水平）才能发挥作用，而不仅仅是权重微调。

意义与主张

本文将 MemDecay 定位为一种实用的、无需训练的解决方案，旨在使缓存保留与智能体工作流的语义结构保持一致。其重要性在于：

可解释性： 该策略由显式的区域标签和衰减率驱动，使保留决策透明化。
兼容性： 它在页面粒度的缓存上运行，不需要重新训练模型或辅助模块，能够融入现有的服务栈。
保证稳定性： 通过固定关键区域，它确保了系统指令和安全约束不会因内存压力而丢失，这是注意力或近期性方法无法提供的保证。
适应性： 校准协议证明了区域寿命是依赖于工作负载的，并且可以通过测量来优化衰减率，这挑战了使用静态、一刀切驱逐策略的做法。

作者总结道，虽然 MemDecay 成功保留了结构化先验和固定的指令，但未来的工作必须解决注意力项的量级归一化问题，以提高未固定内容的召回率，并探索分层扩展（例如，卸载至主机内存）以处理不可逆的驱逐。