💬 NLP

Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory

本文介绍了 Evo-Memory，这是一个全面的流式基准测试与框架，旨在评估并增强大语言模型智能体在持续动态任务环境中的自我演进记忆能力，其特色在于提出了将推理、行动与记忆更新相融合的 ReMem 流程，以实现持续改进。

原作者： Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiy

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiyuan Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢的助手，它能解决复杂的谜题、编写代码，或在虚拟房屋中导航。目前，大多数这类 AI 助手都像是患有失忆症的天才。它们在当下极其聪明，但一旦对话结束或任务完成，就会忘记刚刚学到的一切。如果你第二天让它们解决类似的问题，它们必须从头开始，重犯同样的错误，重新发现同样的解决方案。

论文《Evo-Memory》提出了一种解决之道，即赋予这些助手一种随时间演化的、鲜活的生命记忆。

以下是用简单类比对论文核心思想的拆解：

1. 问题所在：“金鱼”与“学徒”

目前，大多数 AI 记忆的工作方式如同图书馆档案。如果你问一个问题，AI 会查找它之前存储的特定事实（例如“法国的首都是什么？”），然后将其复述出来。这被称为对话回忆。

但作者认为这还不够。真正的智能需要经验复用。

金鱼：记得发生了什么（例如“我试着开门，但门是锁着的”）。
学徒：记得下次该如何处理（例如“下次看到锁着的门，我应该先检查是否有钥匙，或者先试试门把手”）。

论文指出，当前的 AI 系统仍被困在“金鱼”状态。它们记得事实，却无法从过去的失败和成功中习得策略。

2. 解决方案：一本“自我演化”的笔记本

作者引入了Evo-Memory，这是一种测试和构建像学徒一样行动的 AI 代理的新方法。

想象一个 AI 代理有一本笔记本。

旧方法：每次任务结束后，AI 只是把整个对话粘贴进笔记本。笔记本变得巨大、杂乱且难以阅读。
Evo-Memory 方法：每次任务结束后，AI 会做三件事：
1. 思考：“我刚才做了什么？成功了吗？”
2. 行动：完成当前任务。
3. 提炼：“好的，那个解决方案奏效了。我将在笔记本中写下一条简短清晰的规则，说明我如何解决了这个问题，并丢弃那些无关紧要的杂乱部分。”

随着时间的推移，这本笔记本不仅变得更大，而且变得更聪明、更有条理。它将原始经验转化为可复用的策略。

3. 测试：“流式”考试

为了证明这行之有效，研究人员创建了一个名为Evo-Memory的新基准测试。

将其想象成一场马拉松，而非短跑。

旧测试：你给 AI 一道数学题，然后是一道新题，再是一道。它们互不相关。AI 只是逐一解决它们。
Evo-Memory 测试：你给 AI 一个连续的任务流，就像一个难度不断增加的视频游戏关卡。
- 任务 1：解一个简单的方程。
- 任务 2：使用相同的逻辑解一个稍难的方程。
- 任务 3：导航机器人找到番茄，然后将其放入微波炉。
- 任务 4：导航机器人找到杯子，然后将其放在柜台上。

该测试检查：AI 是否因为从任务 3 中学习了知识，而在任务 4 中变得更快、更好？ 如果 AI 真正在“演化”，它应该利用其记忆来跳过步骤，随着任务流的持续更高效地解决问题。

4. 结果："ReMem"代理

论文测试了许多不同类型的记忆系统。他们发现：

静态记忆：仅存储过往对话的代理（如标准聊天机器人）随时间推移几乎没有改进。它们不断重犯同样的错误。
"ReMem"代理：这是论文提出的新方法。它主动思考其记忆。它会问：“这条旧记忆有用吗？我应该删除糟糕的部分吗？我如何利用它来解决新问题？”

类比：

旧代理：就像一个学生参加了一次考试，得了低分，然后立即忘记了这次考试，带着同样的困惑参加下一次考试。
ReMem：就像一个学生参加了一次考试，复习了错误，写了一份包含正确公式的“作弊小抄”，并利用这份小抄在下次考试中取得优异成绩。

5. 主要发现

从失败中学习：表现最好的代理不仅记住了成功，还从失败中学习。如果一个代理尝试开门但门是锁着的，"ReMem"代理会更新其记忆，记住“先检查钥匙”，而不仅仅是记住“我试着开了门”。
效率：拥有这种演化记忆的代理解决问题所需的步骤更少。它们没有浪费时间重复发明轮子。
普适性：无论 AI 是在做数学题、编写代码，还是在虚拟房屋中导航，这种改进都发生了。

总结

论文认为，为了让 AI 在现实世界（任务连续且复杂）中真正发挥作用，它们需要的不仅仅是一个存储事实的硬盘。它们需要一个动态记忆系统，不断审查、组织并升级其自身知识，将“发生了什么”转化为“下次如何做得更好”。

他们构建了一个新测试（Evo-Memory）来衡量这一点，并表明他们的新方法（ReMem）是首个成功让 AI 代理在工作过程中学习和改进的方法，而不是仅仅等待人类稍后对其进行重新训练。

技术摘要：Evo-Memory

问题陈述

当前的大语言模型（LLM）智能体在推理、规划和工具使用方面具备显著能力，但其通过交互维持状态并实现进化的能力仍未得到充分探索。现有的记忆系统主要作为静态对话回忆的被动存储，仅检索过往事实以回答查询，而无法主动从累积的经验中学习以改进未来的决策。尽管最近的基准测试已涉及序列学习或长期一致性，但它们往往未能评估智能体在现实部署场景中跨演化任务流复用推理策略和适应记忆结构的能力。目前缺乏统一的框架来测试 LLM 在部署期间能否持续检索、整合和更新记忆——这一过程被称为测试时进化。

方法论

Evo-Memory 基准测试

为填补这一空白，作者引入了Evo-Memory，这是一个旨在评估 LLM 智能体自进化记忆的综合流式基准测试与框架。

任务流重构：与静态基准测试不同，Evo-Memory 将数据集重构为序列任务流。智能体处理输入 $\{x_1, \dots, x_T\}$ ，其中记忆状态 $M_t$ 在每次交互后发生演化。
统一公式：该框架将记忆增强的智能体建模为元组 $(F, U, R, C)$ $(F, U, R, C)$ ，其中 $F$ $F$ 是基础 LLM， $U$ $U$ 是更新管道， $R$ $R$ 是检索模块， $C$ $C$ 负责构建上下文。智能体按以下循环运行：
1. 搜索：基于当前输入 $x_t$ 检索相关记忆条目 $R_t$ 。
2. 综合：从检索到的项目中构建工作上下文 $\tilde{C}_t$ 。
3. 进化：生成输出 $\hat{y}_t$ ，接收反馈 $f_t$ ，并更新记忆状态 $M_{t+1} = U(M_t, m_t)$ ，其中 $m_t$ 捕获新经验。
数据集范围：该基准测试涵盖多个领域，包括事实知识（MMLU-Pro, GPQA-Diamond）、数学推理（AIME-24/25）、工具使用（ToolBench）以及多轮具身交互（AlfWorld, BabyAI, ScienceWorld, PDDL）。

提出的框架

本文实现并评估了多种记忆架构，引入了两种具体方法来弥合静态回忆与主动进化之间的差距：

ExpRAG（经验检索与聚合）：一种基线方法，将记忆视为检索增强上下文。它将过往任务编码为结构化经验，并检索前 $k$ 个相似示例以调节模型，从而通过上下文学习有效地实现一次性的经验复用。
ReMem（精炼记忆）：一个高级框架，将推理、行动和记忆精炼统一到一个决策循环中。与标准的 ReAct 智能体不同，ReMem 在“思考”和“行动”之外引入了一个**“精炼”**操作。这使得智能体能够对其自身记忆进行元推理——主动评估、剪枝噪声并重组存储的经验，以更好地支持未来任务。这创建了一个马尔可夫决策过程，其中状态包含当前输入、记忆状态和推理轨迹。

关键结果

作者在 Gemini-2.5 和 Claude 模型系列上评估了十种具有代表性的记忆模块（包括 SelfRAG、Mem0、动态作弊表和 Agent Workflow Memory）。

性能提升：自进化记忆架构 consistently 优于静态基线。在单轮推理和问答任务中，ReMem 在 Gemini-2.5 Flash 上实现了 0.65 的平均精确匹配率和 0.85/0.71 的 API 准确率。在多轮具身环境中，ReMem 在 BabyAI 上达到了 0.92/0.96 的成功率，在 ScienceWorld 上达到了 0.78/0.91（Claude 3.7 Sonnet），显著优于非进化基线。
效率：进化记忆方法展现了更优的步骤效率。ReMem 减少了完成任务所需的平均步数（例如，在 AlfWorld 上从 22.6 步减少到 11.5 步），表明记忆精炼带来了更聚焦的推理。
任务相似性与迁移：性能提升与数据集内的任务相似性呈强相关（Pearson $r=0.717$ ）。智能体在具有高结构一致性的环境中受益最大（例如 PDDL、AlfWorld），这表明重复的任务结构有助于有效的记忆复用。
对难度和失败的鲁棒性：
- 序列顺序：无论任务难度顺序如何（由易到难 vs. 由难到易），ReMem 均保持了强劲的性能，而基线方法则表现出显著差异。
- 噪声处理：当暴露于成功和失败的经验时，ReMem 通过主动精炼存储的记忆保持鲁棒性，而失败经验的朴素累积则降低了基线性能。
模型无关性：进化记忆的优势在大型（Sonnet, Pro）和小型（Haiku, Flash-Lite）模型中均被观察到，其中小型模型表现出尤为显著的相对提升。

意义与主张

本文主张，Evo-Memory 建立了一个统一的平台，用于评估 LLM 智能体的“终身智能”，将焦点从被动对话回忆转向主动经验复用。

弥合差距：这项工作强调，虽然智能体能够记住说了什么，但它们往往未能学会学到了什么。Evo-Memory 提供了首个系统框架，用于衡量智能体如何在任务流中积累和精炼策略。
设计洞察：结果表明，明确的任务级利用和记忆的持续重组对于适应性至关重要。ReMem 的成功表明，将记忆精炼与推理和行动交错进行，是创建自我改进智能体的一个有前景的范式。
未来方向：作者将这项工作定位为开发具有可靠、持续改进记忆的 LLM 的基础，指出尽管当前方法显示出希望，但稳定性和程序性复用仍是需要进一步研究的领域。

本文最后发布了代码和配置以促进可复现性，旨在标准化更广泛研究社区中关于测试时学习和自进化记忆的评估。