🤖 AI

AdMem: Advanced Memory for Task-solving Agents

本文介绍了 AdMem，这是一个统一的、自动化的记忆框架，它在多智能体架构中集成了语义记忆、情景记忆和程序记忆，以实现基于大语言模型的智能体在长程任务中的可扩展、自适应学习并提升性能。

原作者： Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但健忘的助手，他非常擅长一个接一个地解决谜题。然而，如果你要求他在几天内解决一系列漫长且复杂的谜题，他就会变得混乱。他可能还记得第一个谜题的第一步，却忘记了如何解决第二个谜题的第三步，或者会重复昨天犯过的错误，因为他没有从中“学习”。

这篇论文介绍了一个名为 AdMem 的新系统，旨在为这些 AI 助手提供一个超级强大且有组织的“大脑”，使他们能够处理长期、复杂的任务而不会感到困惑或重复错误。

以下是该系统的运作方式，通过简单的概念进行拆解：

1. 问题所在：“注意力涣散”的 AI

目前的 AI 模型就像是拥有极短时记忆的人。如果你给他们一段很长的对话或一个多步骤的任务，他们只能在脑海中保留最近的几句话。

旧方法： 以前试图修复这一问题的尝试就像是给 AI 一个巨大的笔记本。他们会记录下事实（比如“天空是蓝色的”）或事件摘要。但他们大多忘记了“如何做”。如果 AI 在某一步失败了，笔记本并不会告诉它“为什么”失败以及下次如何改进。
差距： AI 需要一种方式来不仅记住“发生了什么”，还要记住“如何做决策”，并且它需要知道哪些记忆是有用的，哪些只是杂乱的信息。

2. 解决方案：一个三人小组

AdMem 并没有让一个 AI 尝试完成所有事情，而是建立了一个由三个专门的“智能体”（AI 工作者）组成的协作小队：

执行者 (The Actor - 实践者)： 这是与你交谈并执行实际工作的核心 AI。它保留着一个“短期记忆”（就像一张便利贴），用于处理眼下的即时任务。
评论家 (The Critic - 教练)： 这是系统中最聪明的部分。当执行者在工作时，评论家会在一旁密切观察。当执行者采取行动时，评论家会询问：“那奏效了吗？是否达到了我们的目标？”如果执行者犯了错，评论家会写下一条关于“为什么失败”以及“下次如何做得更好”的笔记。如果执行者成功了，评论家则会记录下成功的“配方”。
管理员 (The Librarian - 记忆守护者)： 这个智能体负责管理一个庞大且有组织的长期记忆库。它并不只是存储所有内容，而是将其整理成三个特定板块：
1. 语义记忆 (Semantic Memory - 百科全书)： 通用事实和知识（例如：“如何使用某种工具”）。
2. 情景记忆 (Episodic Memory - 日记)： 过去事件的摘要（例如：“上周二，我们尝试预订机票，但失败了”）。
3. 程序记忆 (Procedural Memory - 食谱/指南)： 这是最重要的部分。它存储基于过去成功与失败经验的“操作指南”。它就像一本食谱，上面写着：“如果你尝试做 X，请改用 Y 而不是 Z，因为上次尝试 Z 失败了。”

3. 他们如何协作：“反馈循环”

想象执行者正在尝试烤一个蛋糕（这项任务）。

规划： 执行者查看“食谱手册”（程序记忆），看看以前是否烤过这个蛋糕。
行动： 执行者混合食材。
评审： 评论家进行观察。如果蛋糕烤焦了，评论家不会只说“不好”。它会写下一条具体的笔记：“下次，将温度降低 10 度。”
存储： 管理员获取这条笔记，检查其是否有用，并将其添加到“食谱手册”中。它还会给这条笔记打一个“分值”。如果这条笔记在日后帮助了执行者取得成功，分数就会上升；如果这条笔记从未被使用或导致了错误，管理员最终会将其丢弃以节省空间。

4. “智能过滤器”（为什么不会变得杂乱无章）

记忆系统的一个常见问题是它们会充斥着大量垃圾信息。AdMem 通过一个奖励机制解决了这个问题。

每当 AI 尝试使用其库中的记忆时，系统都会检查：“这条记忆是否帮助我们获胜了？”
如果一条记忆帮助了 AI 取得成功，它就会获得高分并留在库中。
如果一条记忆很少被使用或导致了失败，它的分数就会下降。如果分数降得太低，管理员就会将其删除。
这确保了 AI 只保留“最好的配方”并忘掉那些糟糕的，从而随着时间的推移变得越来越聪明。

5. 结果：通过练习变得更好

作者在各种数字环境（如电子游戏、网页浏览和工具使用）中测试了这个系统。

研究发现： 与其他方法相比，AdMem 在完成长期的、多步骤任务方面表现得更好。
“自我提升”： 当 AI 被要求反复执行相同类型的任务（例如玩第二轮或第三轮游戏）时，它的表现有了显著提升。它学会了从过去的错误和成功中汲取教训，而其他方法则会不断重复同样的错误。

总结

AdMem 就像是给了 AI 一个私人教练和一个智能文件柜。它不仅仅是记住事实，它还在记住“如何思考”和“如何行动”。它不断地审查自己的表现，保留有益的经验，丢弃错误的教训，并利用这些知识在处理复杂问题时变得越来越出色。

技术摘要：AdMem —— 面向任务求解智能体的先进记忆系统

问题陈述

大语言模型（LLMs）在推理和工具使用方面取得了显著进展，但在需要跨会话记忆、组织和重用知识的**长程任务（long-horizon tasks）**方面仍受到限制。虽然先前的研究通过架构变更（如可微注意力机制）或符号/文本存储（如检索增强生成、上下文分页）解决了记忆挑战，但现有方法通常存在以下特定局式：

侧重于事实/情节数据： 许多系统优先存储事实信息或压缩历史记录，忽略了程序性记忆（procedural memory）（即决策指导）。
无效的程序性记忆： 最近的程序性记忆研究往往仅限于重放成功的轨迹，而未能解决失败案例，或无法针对模型通常出错的关键步骤提供细粒度的反馈。
缺乏在线可扩展性： 大多数程序性记忆系统在离线训练-推理设置下运行，依赖稀疏的、二元的任务级反馈。它们缺乏在在线、终身学习环境中进行自动记忆评估、主动擦除、重排序和自适应召回的机制。
理论与实践的差距： 虽然理论框架提出了具有短时/长时、语义/情节/程序性记忆及反馈循环的理想智能体，但实际实现往往忽略了关键组件，如奖励驱动的更新、信念建模和信用分配（credit assignment）。

方法论：AdMem 框架

作者引入了 AdMem，这是一个为终身学习任务求解智能体设计的统一、自动化的记忆框架。它将语义、情节和程序性记忆集成到一个双层设计（短期和长期）中，并采用了一个包含执行者（Actor）、评论者（Critic）和记忆智能体（Memory Agent）的多智能体架构。

1. 多智能体架构

执行者智能体（Actor Agent）： 一个基于 LLM 的智能体，负责与环境交互。它维护一个按轮次更新并在任务结束时清除的**短期记忆（STM）**状态。STM 被编码进长期记忆。执行者使用记忆工具来生成计划、想法和子目标。
评论者智能体（Critic Agent）： 一个基于 LLM 的智能体，负责程序性记忆生成。它接收来自执行者的“半成品”记忆条目（上下文、动作、预期结果）以及实际观测结果。它通过比较预期结果与实际结果来：
- 总结上下文和动作。
- 提出更好的替代方案。
- 分配奖励信号（ $r_t \in \{0, 1\}$ ）并进行反思。
- 生成程序性记忆条目以指导未来的决策。
长期记忆（LTM）智能体： 一个基于检索的智能体，负责管理持久化存储 $M$ $M$ 。它存储三种类型的记忆：
- 语义记忆 ( $M_S$ )： 关于环境/任务的事实和通用知识。
- 情节记忆 ( $M_E$ )： 过去交互事件的摘要。
- 程序性记忆 ( $M_P$ )： 从过去行动中提取的决策指导，包括预期结果和奖励标注。

2. 记忆管理与检索

双层架构：
- 短期记忆 (STM)： 使用受计算机程序执行启发的栈式结构。它维护当前的子目标和计划，并将当前子目标之外的轮次进行压缩，以高效管理上下文长度。
- 长期记忆 (LTM)： 通过基于奖励的评估、合并和修剪进行管理。
程序性记忆检索与评估：
- 系统使用自适应参数 $v_m \in [0, 1]$ 来建模程序性记忆条目 $m$ 的有效性。
- 系统假设任务成功是一个受检索记忆是否提供帮助影响的二元随机过程。
- 使用**期望最大化（EM）**算法根据观测到的奖励来更新 $v_m$ 。
- 检索评分结合了上下文相似度（稠密嵌入）和估计有效性（ $v_m$ ）。
修剪与合并：
- 检索频率低于阈值 $\epsilon$ 的记忆将被删除。
- 经常被同时检索的记忆（频率 $> 1-\epsilon$ ）会被合并，以提高检索效率。

3. 执行流水线

执行者生成动作并对结果产生明确的预期。评论者缓存这些场景。一旦执行者收到实际观测结果，评论者会对预期与实际进行评估，生成奖励，并更新记忆库。这使得系统能够从成功和失败中学习，解决了多步任务中的信用分配问题。

核心贡献

统一的记忆框架： AdMem 是第一个将语义、情节和程序性记忆集成到具有双层（短/长期）设计的统一、自动化系统中的框架。
带有反馈的程序性记忆： 不同于仅仅存储成功工作流的先前研究，AdMem 使用评论者智能体为程序性记忆标注奖励信号和反思，使智能体能够从失败案例和关键步骤中学习。
自适应记忆管理： 该框架引入了一种基于奖励的机制，用于评估、合并和修剪程序性记忆，确保了在在线环境中的可扩展性和持续改进。
多智能体协作： 执行（负责执行）、评论（负责评估）和记忆（负责存储/检索）的职责分离，实现了自动化的记忆生成和自适应检索，无需手动设计策略。

实验结果

作者在 AgentBoard 环境上评估了 AdMem，模拟了跨越多样化领域（具身智能、文字游戏、网络研究、工具调用）的终身、流式多任务设置。其骨干 LLM 为 Claude Haiku 4.5。

基线模型： 与 ReAct（无跨任务记忆）和 AWM（智能体工作流记忆，一种程序性记忆基线）进行了对比。
性能表现：
- AdMem 在大多数领域显著优于基线，特别是在 AlfWorld（完成率 63.4% 对比 AWM 的 47.0%）和 Tool-query（94.7% 对比 55.0%）中。
- 在记忆迁移收益较小的领域，AdMem 保持了与基线持平或略优的性能，避免了朴素记忆实现中常见的“混乱”现象。
消融实验：
- 仅有短期规划可以提高进度，但无法随时长程增加而扩展。
- 仅有长期记忆在没有短期规划工具支持的情况下，会导致早期性能下降（“热身期”问题）。
- 完整的 AdMem 效果最好，随着智能体积累和完善其记忆，性能随多个周期不断提升。
效率： 虽然多智能体流水线会增加额外的 LLM 调用（在简单任务中高达 3 倍），但智能体的并行执行最小化了延迟，且系统优先考虑鲁棒性和学习能力，而非极低的单步成本。

重要性与主张

本文声称 AdMem 弥合了理论认知架构与实际 LLM 智能体实现之间的鸿沟。通过超越简单的实事存储转向自适应程序性学习，该框架使智能体能够：

通过在在线环境中的经验实现自我进化。
根据用户和任务需求定制行为。
在标准 LLM 在上下文限制和信用分配方面表现挣扎的长程、多轮任务中，提高鲁棒性。

作者强调，全面的自适应记忆对于推进 LLM 智能体至关重要，特别是在需要持续交互和迭代改进的场景中。这项工作表明，成功的智能体设计不仅需要存储信息，还需要根据奖励信号主动进行评估、精炼和检索。