💬 NLP

EvoArena: Tracking Memory Evolution for Robust LLM Agents in Dynamic Environments

本文介绍了用于评估动态环境中大语言模型智能体的基准测试套件 EvoArena，并提出了 EvoMem，这是一种基于补丁（patch-based）的记忆范式，通过追踪环境演变来显著提升智能体在演进任务和标准任务上的表现。

原作者： Jundong Xu, Qingchuan Li, Jiaying Wu, Yihuai Lan, Shuyue Stella Li, Huichi Zhou, Bowen Jiang, Lei Wang, Jun Wang, Anh Tuan Luu, Caiming Xiong, Hae Won Park, Bryan Hooi, Zhiyuan Hu

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jundong Xu, Qingchuan Li, Jiaying Wu, Yihuai Lan, Shuyue Stella Li, Huichi Zhou, Bowen Jiang, Lei Wang, Jun Wang, Anh Tuan Luu, Caiming Xiong, Hae Won Park, Bryan Hooi, Zhiyuan Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“静态快照”陷阱

想象一下，你雇佣了一位非常聪明的私人助理（AI 智能体）来管理你的生活。你给了他一份规则清单：“我周一喝咖啡”、“我的办公室在 3 楼”以及“我使用蓝色钢笔”。

在目前大多数测试中，研究人员给这位助理的是你生活的静态快照。他们问：“你周一喝什么？”助理查看快照后回答：“咖啡。”完美！

但在现实世界中，生活不是一张快照，而是一部电影。

周二，你换了一份新工作，搬到了 5 楼。
周三，你决定讨厌咖啡，改喝茶。
周四，你的办公大楼更改了安保规则，所以你不能再使用那支蓝色钢笔了。

这篇论文指出，目前的 AI 助理在处理这种“电影版”现实时表现得很糟糕。如果你在周五问他：“你周一喝什么？”他可能仍会说“咖啡”，因为他只记得被告知的最新内容，或者因为记忆被覆盖而感到困惑。他们无法意识到规则是随时间变化的。

解决方案：EvoArena（“时空旅行”测试）

为了解决这个问题，作者构建了一个新的测试场，称为 EvoArena。你可以把它想象成一个游戏关卡，游戏的规则在每一轮开始时都会发生变化，但目标保持不变。

他们创建了三个特定的“世界”来测试 AI：

终端世界（The Terminal World）： 想象一个计算机命令行，文件路径、密码和软件版本在你每次尝试运行脚本时都会发生变化。目标（例如“上传此文件”）保持不变，但“如何实现”在变化。
代码世界（The Code World）： 想象一个软件项目，其代码库不断更新。你昨天做的一个修复可能会破坏你今天需要构建的功能。AI 必须知道哪些旧代码仍然有效，哪些已经过时。
社交世界（The Social World）： 想象一段漫长的对话，用户的偏好在缓慢变化。“我以前喜欢吃辣，后来胃疼了，现在喜欢清淡，但仅限周末。”AI 必须追踪这段历史才能给出正确的建议。

结果： 当他们在 EvoArena 上测试顶尖的 AI 智能体时，它们表现挣扎。它们的任务成功率仅为 40% 左右。它们总是试图用旧规则处理新情况，就像试图用一把古老的钥匙去开一扇现代化的门。

创新点：EvoMem（记忆的“Git”）

作者意识到问题的根源在于 AI 存储记忆的方式。大多数 AI 的工作方式就像一块白板：你写下新的内容，它就会擦除旧的内容。如果你在“我喜欢茶”上面写了“我喜欢咖啡”，那么咖啡的信息就永远消失了。

他们提出了一个新的记忆系统，称为 EvoMem。

类比：大脑的 Git
把 EvoMem 想象成 Git——一种程序员用来追踪代码变更的工具。

普通记忆（白板）： 你写下“我喜欢茶”。原来的“咖啡”就被擦除了。
EvoMem（Git 日志）： 你不擦除“咖啡”。相反，你添加一条新记录：“更新：用户在周二因为胃痛从喝咖啡改为喝茶。”

EvoMem 保留了一个补丁历史（patch history）。它记录了：

什么改变了？（咖啡 $\to$ 茶）
为什么改变？（胃痛）
旧规则在何时有效？（在周二之前）

当 AI 需要回答问题时，它不仅仅查看“当前”状态。它会查看变更历史。如果问题是关于“周一早上”（胃痛发生前）的，EvoMem 会帮助 AI 回忆：“啊，在周一的时候，规则还是咖啡！”

实际运作方式

论文在同样的困难 EvoArena 测试中测试了这个新的记忆系统。

“单步”测试（The "Step" Test）： AI 能否在变化的环境中完成一个特定的任务？
- 结果： EvoMem 略有帮助（提升了约 1.5%）。
“链式”测试（The "Chain" Test）： AI 能否在完成一整套相关的任务序列时而不出错？这是最难的部分。
- 结果： EvoMem 帮助很大！它使平均成功率提升了 3.7%。

为什么“链式”测试很重要：
想象你正在盖房子。

第一步：你打地基。
第二步：你发现地面很湿，于是你修改了地基计划。
第三步：你建造墙壁。

如果你的记忆是白板，到第三步时，你可能会忘记地面曾是湿的，并试图使用原始的地基计划，导致房子坍塌。
如果你的记忆是 EvoMem，你会有一个日志记录着：“我们在第二步因为地面潮湿而更改了地基。”当你进行到第三步时，你会记得保留新的地基。

核心要点

当前的 AI 是“失忆症患者”： 它们擅长静态任务，但极不擅长追踪世界随时间的变化。它们经常忘记昨天学到的规则今天可能不再适用。
EvoArena 是压力测试： 它证明了现实世界的部署需要智能体能够处理不断演进的环境，而不仅仅是静态快照。
EvoMem 是解决方案： 通过将记忆视为更新历史（补丁）而非单一的当前状态，智能体可以进行更好的推理。它们知道什么改变了，为什么改变，以及何时旧规则仍然适用。
它在各处都有效： 这种改进不仅体现在新的测试中，也让它们在标准的、非变化的任务（如 GAIA 和 LoCoMo）上表现得略好，这表明拥有“历史日志”有助于 AI 进行更清晰的思考。

简而言之，这篇论文认为：为了构建可靠的现实世界 AI 助手，我们不能再把它的记忆当作一块白板，而应该把它当作一本版本受控的历史书。

技术摘要：EvoArena 与 EvoMem

问题陈述

大语言模型（LLM）智能体在涉及网络导航、软件工程和工具使用的基准测试中已展现出强大的性能。然而，这些评估主要假设环境是静态的，即界面、规则、代码状态和任务分布在构建基准测试后保持固定。在实际部署中，智能体运行在动态环境中，环境条件会随时间持续演进（例如，API 更新、工作流变更、代码库重构以及用户偏好的转移）。

目前的智能体系统在这些场景下往往会因为状态坍缩（state collapse）而失败。大多数基于记忆的智能体维持着单一的最新状态（例如，一个检索式记忆库或情节存储）。这种设计在新的信息能够安全地取代旧信息时是有效的，但当不同的环境版本需要不同的行为时，这种设计就会变得脆弱。例如，工作流权限的更新可能会覆盖之前仍然对特定遗留版本或组织有效的规则。因此，智能体会丢失解释为何先前行为有效的上下文，导致其重复使用过时的程序。在持续环境演进下评估和提高智能体的鲁棒性存在着关键的技术空白。

方法论

1. EvoArena：持续演进基准套件

为了解决缺乏动态评估的问题，作者引入了 EvoArena，这是一个将环境变化建模为跨三个领域的渐进式更新序列的基准套件：

Terminal-Bench-Evo（可执行工作流演进）： 将静态终端任务转换为版本化的链条。底层目标保持不变，但操作约束随版本演进，包括 I/O 路径、CLI/API 接口、依赖项、工作区布局和安全策略的变化。每个链条包含 4–5 个版本，后续版本会继承前序版本实现的物理环境。
SWE-Chain-Evo（软件演进）： 将软件仓库组织成按时间顺序排列的里程碑链条。智能体必须解决局部开发目标（如修复 Bug、添加功能），其中代码库会累积来自先前里程碑的变化。评估测试智能体是否能在实现新需求的同时，不导致先前已建立的行为发生退化（通过 Pass-to-Pass 测试进行衡量）。
PersonaMem-Evo（社会智能演进）： 扩展了个性化基准测试，以模拟不断变化的个人偏好。智能体不再面对静态画像，而是与长程对话交互，其中用户偏好随时间而变化（例如，根据新体验改变饮品偏好）。该基准要求智能体从分散的历史证据中推断当前偏好，并区分过时状态与有效状态。

EvoArena 使用两种指标评估智能体：

步进准确率（Step Accuracy）： 在单个演进任务上的成功率。
链条准确率（Chain Accuracy）： 在一系列关联任务序列上的成功率，要求智能体在整个演进历史中保持可靠性且不发生错误。

2. EvoMem：基于补丁（Patch-based）的记忆范式

为了提高智能体在这些动态设置下的表现，作者提出了 EvoMem，一种轻量级的、类似 Git 的记忆范式。与将更新合并为单一状态的标准记忆系统不同，EvoMem 将记忆更新视为只增不减的补丁历史（append-only patch history）。

补丁记录： 当智能体更新其记忆时，EvoMem 将非加性变化（修订、覆盖、重新解释）捕捉为显式的补丁。每个补丁 $p_t$ $p_{t}$ 记录了：
- $\tau_t$ ：时间元数据（轮次、会话）。
- $C^-_t, C^+_t$ ：更新前后的记忆内容。
- $r_t$ ：更新的理由（rationale）。
- $z_t$ ：变化的语义摘要。
- $e_t$ ：支持性证据（触发上下文、反馈）。
补丁增强检索： 在推理阶段，智能体默认检索最新的记忆状态。然而，如果查询依赖于被覆盖的状态、时间性变化或特定版本的行为，系统会选择性地检索相关的历史补丁。这使得智能体能够推理出状态为何发生变化以及先前状态在何时有效。

EvoMem 通过定义特定于上下文的“补丁”模式（例如，终端任务中的策略转变、软件工程中的代码逻辑修订或对话中的偏好更新），实例化于不同的智能体架构（Terminus2, OpenHands, A-Mem, Memento-Skill）之中。

核心贡献

EvoArena 基准测试： 一个全面的基准套件，通过终端工作流、软件仓库和社交偏好，评估智能体在持续环境演进下的表现。它引入了链条准确率作为衡量持续可靠性的更严格指标。
EvoMem 范式： 一种保留环境演进痕迹的记忆架构。通过将记忆更新记录为带有理由和证据的结构化补丁，它使智能体能够针对版本相关的状态进行推理，而非仅仅依赖于最新的整合状态。
实证分析： 证明了现有智能体在演进环境中表现挣扎，且 EvoMem 能一致性地提高鲁棒性、证据保留能力和链条级性能。

实验结果

在 EvoArena 上的表现

在多个骨干模型（GPT-5.5, Gemini-3.1-Pro, Kimi-K2.6 等）和智能体框架上的实验表明：

基线表现挣扎： 当前智能体在单步准确率上表现尚可（Terminal-Bench-Evo 平均约为 ~43.6%，SWE-Chain-Evo 约为 ~27.9%，PersonaMem-Evo 约为 ~47.3%），但在链条准确率上遭遇显著下降（例如，在 Terminal-Bench-Evo 上降至 ~21.5%）。这表明解决孤立的步骤并不保证在演进链条中的可靠性。
EvoMem 的改进： 集成 EvoMem 后性能得到一致提升：
- 步进层面： 平均增益为 +2.4% (Terminal), +0.4% (SWE), 和 +1.7% (Persona)。
- 链条层面： 在链条层面的增益更为显著，平均提升分别为 +6.1% (Terminal), +2.1% (SWE), 和 +3.2% (Persona)。这表明 EvoMem 在维持依赖型任务序列的一致性方面特别有效。

对标准基准测试的泛化能力

EvoMem 在标准的非演进基准测试上也提升了性能：

GAIA： 平均提升 +6.1%。
LoCoMo： 平均提升 +4.8%。
这表明，即使在静态设置下，将更新历史作为可检索证据也能使智能体受益，这可能通过改善长程推理并减少对过去状态的幻觉来实现。

机理分析

操作化（Operationalization）： 在 Terminal-Bench-Evo 中，当智能体不仅检索补丁示例，而且将其操作化（即将转换信息融入其推理和执行的命令中）时，增益最高。
减少回归： 在 SWE-Chain-Evo 中，EvoMem 显著减少了 Pass-to-Pass 失败（回归），表明其能更好地保留历史代码约束。
证据保留： 在 PersonaMem-Evo 中，EvoMem 改善了行级证据捕获，这意味着它能更好地保留下游推理所需的完整偏好证据，特别是在处理时间轨迹和多模式综合问题时。

重要性与主张

论文声称，要在现实世界中可靠地部署智能体，需要将记忆视为一个基于落地更新的演进历史，而非静态快照。

弥合差距： EvoArena 解决了静态基准评估与现实世界部署的动态性质之间的脱节，在现实中，API、工作流和用户需求在不断变化。
版本感知推理： 结果强调，智能体必须保留最新记忆，同时能够恢复相关的先前状态，并理解更新发生的原因。
设计启示： 作者认为，鲁棒的智能体记忆系统应当将更新历史作为可检索的证据进行保留。这种方法允许智能体区分当前知识与先前有效的知识，从而防止应用过时的行为。

研究结论指出，通过 EvoArena 进行评估以及通过 EvoMem 进行记忆架构建模，对于构建能够可靠适应变化条件的智能体至关重要。