💬 NLP

Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

本文介绍了 MemCon，这是一个将记忆操作视为可学习马尔可夫决策过程的框架，通过轻量级上下文多臂老虎机动态调整检索、注入和巩固策略，从而在多种基准测试中，与基于启发式的静态记忆系统相比，显著提升了大语言模型智能体的性能与效率。

原作者： Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人玩一款新游戏。为了让机器人每次玩游戏都能变得更好，你给了它一个笔记本，让它可以在上面记录下哪些做法奏效了，哪些没效。这就是大语言模型（LLM）智能体的世界：这些 AI 程序可以聊天、规划并使用工具来解决问题。让它们真正变得聪明的关键不仅仅在于机器人的大脑，还在于这个笔记本，即记忆。如果机器人能记住过去的错误，它就不会重蹈覆辙；如果它记住了昨天奏效的一个巧妙技巧，它今天就能再次使用。

长期以来，科学家们一直将这种笔记本视为一个静态的图书馆。他们制定了规则，比如“始终查看最后三页”或“始终搜索最相似的故事”。这就像有一个无论你问什么书都遵循固定、不变剧本的图书管理员。但现实生活是混乱的。有时你需要快速浏览一下索引；有时你需要阅读整个章节。有时你需要丢弃旧笔记以腾出空间存放新笔记。这篇论文探讨的核心问题是：我们能否教会机器人管理自己的笔记本，让它能够精确决定何时阅读、何时书写以及何时遗忘，而不是遵循僵化的剧本？

问题所在：带着“破碎图书管理员”的机器人

见见我们的机器人智能体。它正试图解决谜题、在虚拟房屋中导航或回答棘手的问题。它有一个记忆系统，但直到现在，那个系统还有点笨拙。大多数现有系统使用“固定流水线”。想象一个图书管理员，无论你问什么，总是从书架上抽出前五本书递给你。

如果你问一个简单的问题，比如“天气怎么样？”，图书管理员可能会把五本厚重的百科全书堆在你的桌上。这干扰太多了！但如果你问一个复杂的问题，比如“如何仅使用 1990 年代的工具修理一台坏掉的引擎？”，同一个图书管理员可能只会递给你一份无关紧要的小册子，因为他们不敢深入寻找。机器人因此陷入困境，要么被过多的信息搞糊涂，要么缺少它所需的关键线索。

本文作者认为，这种“一刀切”的方法是机器人学习不够快的核心原因。他们认为，最佳的记忆行为应该根据情况而变化：

在游戏早期： 机器人还没有经验，所以它不应该浪费时间去翻找一个空笔记本。
当陷入困境时： 如果机器人反复执行同一个错误的动作，它需要一种不同类型的搜索，而不是老一套。
当它掌握窍门时： 如果机器人已经解决了一个类似的谜题，它就不应该再去寻找线索，而应该直接调出它之前写下的“小抄”（计划）。

解决方案：MEMCON，聪明的图书管理员

于是有了 MEMCON（作为受控过程的记忆）。作者并没有构建一种新型笔记本；相反，他们构建了一个可以置于任何现有记忆系统之上的智能、自适应的图书管理员。

把 MEMCON 想象成一个微小的、超快速的决策者，在机器人打开笔记本之前，它会先问自己三个问题：

何时该看？
看什么？
拿多少？

MEMCON 没有使用硬编码的规则，而是将记忆管理视为一场策略游戏。它使用了一种称为马尔可夫决策过程（Markov Decision Process）的数学方法（想象一个每种选择都会导致新状态的流程图）。这个游戏中的“玩家”是记忆控制器，它的“动作”包括：

检索（Retrieving）： 提取旧笔记。
注入计划（Injecting a Plan）： 将预先写好的“小抄”滑入机器人的脑海。
重新检索（Re-retrieving）： 因为第一次搜索失败，尝试新的搜索查询。
整合（Consolidating）： 将凌乱的笔记合并成简洁的摘要。
遗忘（Forgetting）： 扔掉旧的、无用的垃圾以腾出空间。

MEMCON 的魔力在于它是如何学习的。它不需要在海量数据上进行预训练。相反，它在机器人玩游戏的过程中即时学习。每当机器人完成一项任务，MEMCON 都会得到一个评分：“成功！”或“失败”。如果机器人成功了，导致成功的记忆选择就会得到一个“击掌”（奖励）；如果失败了，这些选择就会得到一个“大拇指朝下”（惩罚）。

仅仅通过几十个任务，MEMCON 就能摸索出完美的策略。它学会了对于“早期阶段”的任务，浅层搜索是最好的；它学会了当机器人“卡住”时，需要尝试完全不同的搜索角度；它学会了对于复杂的数学问题，注入一个通用计划比搜索特定案例更好。

结果：更聪明、更快、更便宜

团队在六个不同的基准测试上测试了 MEMCON，涵盖了从虚拟房屋导航（ALFWorld）到解决科学谜题（ScienceWorld）以及回答棘手常识问题（GAIA）。他们尝试将其应用于三种不同的机器人框架和三种不同的“大脑”（底层 AI 模型）。

结果令人印象深刻。MEMCON 始终优于现有的最佳记忆系统。

更高的分数： 在某些测试中，MEMCON 将机器人的成功率提高了多达 15.2 个百分点。例如，在 ALFWorld 基准测试中，它达到了 67.9% 的成功率，是所有测试过的记忆系统中得分最高的。
更少的浪费： 通常情况下，当你让系统变得更聪明时，它会消耗更多的计算资源。但 MEMCON 恰恰相反。通过精确知道要检索什么，它避免了引入无用信息。这减少了机器人需要处理的数据量 5% 到 20%。
零额外成本： 不同于其他一些要求 AI “思考”要记住什么的系统（这会产生额外的成本和时间），MEMCON 使用简单的查找表在毫秒内做出决策。它对 AI 模型的使用次数增加了零。

为什么这很重要

这篇论文表明，智能机器人的未来不仅仅在于构建更大的大脑或更大的笔记本，而在于为这些笔记本构建更好的管理者。

作者证明了，记忆不应该是一个你只需把数据丢进去并祈祷它能正确出来的静态流水线。相反，记忆应该是一个受控的过程。通过让智能体学习如何访问自己的经验，我们可以创造出不仅更聪明，而且更高效的机器人。它们学习得更快，犯错更少，也不会被自己的历史记录所困扰。

简而言之，MEMCON 教会了机器人成为自己记忆的主人，确保当它需要线索时，能在正确的时间找到正确的线索，而不会迷失在无关笔记的汪洋大海中。这虽然只是管理记忆方式的一个微小改变，但它似乎极大地提升了这些数字智能体学习和成长的方式。

技术摘要：作为受控过程的记忆 (MEMCON)

问题陈述

大型语言模型 (LLM) 智能体日益依赖外部记忆系统来积累跨任务的经验。然而，现有的方法——从图结构记忆到反思性洞察存储——通常通过固定的、人工设计的启发式算法来访问记忆。这些系统采用静态流水线，无论智能体当前处于何种状态，都会调用具有硬编码参数（例如 top- $k$ 、图跳跃深度、查询模板）的单一全局检索器。

作者认为，这种静态视角是智能体学习的一个根本瓶颈，因为最优的记忆行为是依赖于上下文的：

任务早期阶段： 由于记忆稀疏，受益于最小化的检索；无差别的检索会稀释提示词（prompt）。
重复的目标类型： 受益于计划重用（提炼后的模板），而非通用的最近邻查找。
陷入困境的智能体： 受益于使用替代查询进行的重新检索，而非反复阅读失败的 top- $k$ 结果。
长任务流： 需要整合与剪枝，以防止记忆库变得过于庞大且难以处理。

没有任何单一的固定启发式算法能满足所有这些场景。此外，虽然一些工作（如 MemGPT）通过使用 LLM 本身作为控制器使记忆具有自适应性，但这会带来每次记忆操作都需要额外调用一次 LLM 的成本。本文认为，需要一种学习型的、轻量级的控制器，能够在无需额外 LLM 调用的情况下实现自适应。

方法论：MEMCON

作者引入了 MEMCON（Memory as a Controlled Process，作为受控过程的记忆），该框架将记忆操作建模为一个序列决策问题。

1. 记忆马尔可夫决策过程 (MDP)

MEMCON 将记忆访问重新表述为一个 MDP， $\mathcal{M}_{mem} = (\mathcal{S}, \mathcal{A}, \mathcal{T}, \mathcal{R}, \gamma)$ ：

状态 ( $\mathcal{S}$ )： 融合了任务进度信号（目标类型、步骤阶段、“陷入困境”指示器、已访问位置）和记忆状态（大小、计划可用性、学习阶段）。状态被离散化为紧凑的可哈希键 $\phi(s)$ ，以实现表格化学习。
动作 ( $\mathcal{A}$ )： 一组有限的记忆操作及其参数：
- 操作： RETRIEVE（检索）、PLANINJECT（注入提炼后的成功计划）、RE-RETRIEVE（使用替代查询进行重新检索）、CONSOLIDATE（整合）、FORGET（遗忘）以及 NOOP（无操作）。
- 参数： top-k、insight-k 和 hop（跳跃）深度。
奖励 ( $\mathcal{R}$ )： 在任务结束时根据环境反馈（成功/失败）和效率（Token/步数计数）进行观察。成功的、高效的轨迹会获得更高的信用。
转移 ( $\mathcal{T}$ )： 环境转移对控制器而言是透明的；系统将该 MDP 视为一个具有回合级（蒙特卡洛）反馈的上下文多臂老虎机 (Contextual Bandit)。

2. 在线策略学习

MEMCON 在部署期间进行在线策略学习，具有零预训练和零额外 LLM 调用的特点。

算法： 使用置信区间上界 (UCB) 探索的轻量级表格上下文多臂老虎机。
热启动先验 (Warm-Start Priors)： Q 值使用可解释的先验进行初始化（例如，对 RETRIEVE 和 PLANINJECT 赋予正值，对 NOOP 赋予负值），以加速在前几个任务中的收敛。
信用分配： 更新使用反向折扣蒙特卡洛回报 (Reverse-discounted Monte-Carlo return)。接近终端结果时采取的动作会获得更强的信用，从而使系统能够学习哪些记忆操作促成了成功或导致了失败。
持久化： Q 表被持久化到磁盘，允许学习过程跨运行和任务流持续进行。

3. 后端无关的封装器

MEMCON 不是一个新的记忆存储系统，而是一个薄封装器，它拦截现有任何记忆后端的抽象 retrieve（检索）和 store（存储）入口点。

它决定了如何调用后端（使用哪种操作及参数）以及基于学习到的策略。
它支持两个增强操作：
1. 广义计划注入 (Generalized Plan Injection)： 从成功的任务中提取动作序列，将特定实例的标识符替换为占位符（例如，shelf 3 $\to$ [shelf]），并将模板前置于未来同类型查询中。
2. 目标分解 (Goal Decomposition)： 一种针对复合任务（例如，“放两个手机”）的确定性启发式算法，用于注入处理对象的顺序策略。

核心贡献

形式化： 作者将智能体记忆管理形式化为一个记忆 MDP，并引入了一个后端无关的封装器，将控制策略与存储后端解耦，使得任何现有的或未来的记忆系统都能继承自适应控制能力。
算法： 他们提出了一个带有 UCB 探索、热启动先验和反向折扣信用分配的在线上下文多臂老虎机策略。该策略在无需预训练且无需额外 LLM 调用的情况下，能在数十个任务内收敛。
评估： 通过 6 个基准测试（交互式决策以及 QA/Web/工具使用）、3 个智能体框架和 3 个 LLM 底座进行的广泛评估，证明了其在准确性和 Token 节省方面的持续增益。

实验结果

作者将 MEMCON 与 9 种强大的记忆基线（包括向量检索、技能库、轨迹摘要、基于洞察的学习以及图结构记忆）以及无记忆基线进行了对比评估。

性能： MEMCON 始终取得了最佳或接近最佳的任务成功率。
- 在 GPT-4.1-mini 上，MEMCON 在 18 个“框架 $\times$ 基准测试”单元格中取得了最高分中的 9 个。
- 在 Claude Sonnet-4 上，它在 18 个单元格中取得了 15 个最高分。
- 在 DeepSeek-V3.2 上，它在 9 个交互式单元格中表现最优，并在 18 个整体单元格中取得了 15 个最高分。
- 增益在交互式决策任务（如 ALFWorld, PDDL, ScienceWorld）中尤为显著，MEMCO 在这些任务中的成功率比基线提升了高达 15.2 个百分点。
效率： 与“更好的性能需要更多上下文”的直觉相反，MEMCON 在提高准确性的同时，减少了每个任务 5%–20% 的 Token 消耗。学习到的策略成功地在记忆稀疏或不相关时抑制了检索，并在存在模板时用计划注入取代了最近邻检索。
泛化性： 该框架在 QA 和 Web/工具使用基准测试（TriviaQA, WebWalkerQA, GAIA）中表现出良好的泛化能力，表明自适应控制在纯交互式环境之外同样具有益处。
消融实验： 组件分析显示，学习到的 UCB 控制器是性能提升的最大贡献者（贡献了优于静态后端的绝大部分提升），而增强操作（计划注入、目标分解）在特定场景下提供了额外但可选的收益。

重要性与主张

本文主张，有效的长期记忆对于 LLM 智能体而言，不仅取决于存储什么，还在于学习如何随着时间的推移来访问和管理记忆。

通过将记忆操作视为受控决策过程而非静态流水线，MEMCON 证明了：

自适应至关重要： 单一的固定启发式算法无法在不同的任务阶段、记忆状态和智能体进度下优化记忆访问。
轻量级控制是可行的： 可以通过简单的表格化老虎机配合 UCB 来实现学习型控制器，从而避免了使用 LLM 本身作为控制器（如 MemGPT）所带来的计算开销。
解耦是有益的： 将记忆控制策略与存储后端分离，允许模块化改进，使得任何记忆系统都可以在无需重新设计其存储层的情况下，立即获得自适应能力。

作者总结道，用轻量级学习控制器取代固定的记忆流水线，可以在降低计算成本的同时，获得一致的、与框架和底座无关的准确性提升。