🤖 AI

AdaMEM: Test-Time Adaptive Memory for Language Agents

该论文介绍了 AdaMEM，一种结合了长期轨迹存储与动态生成短期策略的测试时自适应记忆框架，旨在使语言智能体能够在不更新模型参数的情况下持续适应动态环境，并在 ALFWorld 和 WebShop 等基准测试中实现了显著的性能提升。

原作者： Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个非常漫长且复杂的谜题，就像是在一个巨大的迷宫中穿行，或者是在一个规模宏大的网站上寻找特定的商品。你有一个聪明的助手（一个 AI 智能体）在协助你。

问题所在：“一劳永逸”的指南
目前的 AI 助手大多像是一个拿着一张静态地图开始旅行的游客。他们读完地图，记住地图，然后开始行走。

问题： 如果游客遇到了死胡同，或者地图说“左转”，但那里却有一堵墙，游客就会陷入困境。他们无法修改地图，因为地图在开始时就已经印好了。他们会不断尝试向左转进墙里，感到挫败，直到最终放弃。
论文术语： 这被称为“静态检索”（static retrieval）。AI 在开始时检索一次计划并始终坚持执行，即使情况发生了变化。

解决方案：ADAMEＭ（适应性旅行者）
作者提出了一种名为 ADAMEM 的新系统。与其给出一个静态地图，不如想象你的助手拥有两个特殊的工具：

巨型图书馆（长期记忆）： 这是一个庞大的档案库，记录了其他人曾完成过的每一次成功的旅程。里面充满了原始的故事：“我去了这里，做了这件事，并且成功了。”
聪明教练（短期记忆）： 这是神奇的部分。助手并不只是阅读整个图书馆，它会在旅程的每一步都停下来。它观察自己此时此刻所处的位置，检查图书馆中是否有类似的场景，然后询问“聪明教练”：“基于别人在这个精确位置所取得的成功，我下一步应该做什么？”

教练会写下一张微小的、新鲜的便条（即“策略”），专门针对这一时刻。它可能会说：“好吧，地图说向左走，但其他人在这个位置发现物品是在柜台上，而不是在橱柜里。让我们去检查一下柜台吧。”

它是如何运作的

第 1 步： 智能体处于一个十字路口。
第 2 步： 它询问图书馆：“有人来过这里吗？”
第 3 步： 图书馆找到了成功案例。
第 4 步： 智能体的“大脑”（LLM）阅读这些故事，并立即写出一条新的、定制化的指令用于下一步行动。
第 5 步： 智能体遵循这条新指令。

如果计划稍后失败了，智能体不会惊慌失措。它只需重复这个过程：检查图书馆，获取新的教练便条，然后尝试另一条路径。这就像是一个每当你错过路口时都会重新计算路线的 GPS，而不是一个只会告诉你“继续前进”直到你撞车为止的导航。

“训练”技巧（STEP-MFT）
论文还介绍了一种教导智能体成为更好“教练”的方法。

问题： 有时教练会写出模糊的建议，比如“小心点！”，这实际上并没有什么帮助。
解决方法： 作者创建了一种名为 STEP-MFT 的技术。他们教导智能体只从那些其建议“真正改变了结果”的时刻中学习。
类比： 想象一名学生正在为考试学习。如果他学习了一个章节后，无论读了什么内容，答案都是对或错，那么这个章节就没用。但如果他读到了一个具体的窍门，改变了自己的答案，并因此答对了，那么这就是有价值的教训。STEP-MFT 过滤掉了无聊的内容，只针对那些“改变局势”的建议对智能体进行训练。

实验结果
论文在三个不同的“游戏”上测试了它：

ALFWorld： 一个虚拟房屋，智能体必须寻找并移动物体（例如把肥皂块放入垃圾桶）。
WebShop： 一个虚构的在线商店，智能体需要寻找特定的产品。
HotpotQA： 一个问答游戏，智能体需要通过搜索大量文档来回答一个难题。

他们的发现：

更高的成功率： ADAMEM 智能体解决任务的能力显著高于“静态地图”智能体（在某些情况下高出 13%）。
无需重新训练： 智能体在游戏过程中变得越来越聪明，而不需要从头开始重新学习。它只是更好地利用了它的记忆。
高效性： 通过将冗长的故事总结成简短、精悍的笔记，智能体不会被过量的信息所淹没（这会减慢其他智能体的速度）。

总结
ADAMEM 将一个僵化、固执的 AI 变成了一个灵活、学习型的旅行者。它不再盲目地遵循开始时制定的计划，而是不断检查自己的历史，从过去的成功中学习，并为紧接着的下一步编写一个更好的计划。这就像是游客与当地向导之间的区别：前者因为忽视路标而迷路，而后者则能根据当前的交通状况准确知道该往哪里走。

技术摘要：ADAMEM – 面向语言智能体的测试时自适应记忆

1. 问题陈述

语言智能体面临着一个核心挑战：如何利用过去的经验来适应动态的、长程的任务。尽管近期在智能体记忆机制方面的进展展现了潜力，但现有系统通常将记忆检索限制在**回合启动（episode initiation）**阶段。这造成了“刚性瓶颈”：智能体依赖于静态的指导（例如，单一检索到的轨迹或蒸馏后的策略），而无法针对任务过程中出现的中间失败、子目标转移或分布偏移进行调整。

传统的测试时自适应方法（如在线更新模型参数）对于长程设置而言成本过高。相反，无需训练的提示词自适应方法往往受到局限，即其检索到的上下文会随着任务的展开而变得失配。本文确定了两个主要研究问题：

智能体记忆如何克服静态检索的刚性，以实现推理过程中的持续自适应？
如何高效地训练智能体来合成策略，从而显式地优化这种测试时自适应？

2. 方法论

作者提出了 ADAMEM（Adaptive Memory Agent），这是一个混合记忆框架，它通过将记忆存储与抽象解耦，实现在不更新模型参数的情况下进行逐步的测试时自适应。

2.1 混合记忆架构

ADAMEM 通过两个不同的记忆组件运行：

长期轨迹记忆 ( $M$ )： 一个可扩展的、离线的原始经验仓库。它存储由状态嵌入索引的成功轨迹 $\tau = \{(s_t, a_t, r_t)\}$ 。与存储蒸馏见解的系统不同， $M$ 保留了完整的交互历史，以确保可靠的上下文检索。
短期策略记忆 ( $z_t$ )： 在推理过程中根据当前状态实时生成的动态、特定于状态的策略。智能体不是直接检索原始日志，而是根据当前状态 $s_t$ 和检索到的经验 $E_{ret}$ 合成一段简洁的自然语言策略。该策略作为下一步行动的具体指导。

2.2 推理模式

为了平衡 Token 效率与自适应能力，ADAMEM 引入了两种推理模式：

ADAMEM-HIGH (高自适应强度)： 如果智能体决定需要检索，则优先考虑鲁棒性，在每个关键决策步骤重新生成新鲜的策略 $z_t$ 。该策略是瞬态的，并在使用后丢弃，以确保智能体永远不会依赖过时的指导。
ADAMEM-LOW (低自适应强度)： 优先考虑效率，在上下文中维持一个持久的策略 $z_{curr}$ 。智能体根据当前状态预测是否需要“刷新”策略。如果不需要刷新，现有的策略将指导多个步骤；如果触发了刷新，则会合成一个新的策略并替换持久策略。

2.3 STEP-MFT: 逐步记忆微调

虽然 ADAMEM 可以通过零样本提示进行操作，但作者引入了 STEP-MFT 来训练策略以生成高价值的策略。

挑战： 标准的基于结果的监督具有噪声，因为即使某个特定的策略是冗余或误导性的，它也会将成功轨迹中的所有步骤平等地归功于结果。
解决方案： STEP-MFT 使用带有双重过滤器机制的拒绝采样方法来筛选训练数据：
1. 结果成功： 轨迹必须是成功的。
2. 动作变化： 生成的策略必须相对于无记忆基准策略产生因果性的动作改变（即 $a_t \neq a'_t$ ）。
理论依据： 作者证明，如果一个策略要比基准策略具有严格的正向优势，它必须改变智能体的动作。该过滤器确保模型学习生成能够主动驱动决策而非仅仅是重复上下文的策略。
训练： 经过过滤的数据集被用于通过交叉熵损失进行有监督微调 (SFT)，旨在优化策略以合成能够提高成功率的“银质（silver）”策略。

3. 核心贡献

ADAMEM 框架： 一种新型混合记忆系统，通过动态合成上下文感知的策略而非检索静态人工制品，实现了持续的测试时自适应。
STEP-MFT 技术： 一种利用过程级奖励（具体为动作变化）来教导智能体生成高实用性策略的训练方法，避免了仅基于结果监督带来的噪声。
新的缩放维度： 本研究确立了动态记忆策展是智能体推理的一个关键缩放维度，在推理成本与任务性能之间提供了更优的帕累托前沿（Pareto frontier）。

4. 实验结果

作者在三个基准测试上评估了 ADAMEM：ALFWorld（具身导航）、WebShop（网页购物）和 HotpotQA（多跳搜索）。

性能提升：
- ALFWorld： 在未见分割集上，ADAMEM-LOW 相比静态记忆基线实现了 13% 的相对增益（58.2% 对比 Synapse 的 52.2%）。
- WebShop： ADAMEM-LOW 实现了 11% 的相对增益（74.2% 对比 Synapse 的 65.4%）。值得注意的是，静态基线在 WebShop 上出现了负迁移现象，表现甚至不如无记忆基线，而 ADAMEM 扭转了这一趋势。
- HotpotQA： 在迭代式跨回合搜索设置下，ADAMM 表现出持续领先的性能（41.1% 成功率）。
STEP-MFT 的影响： 使用 STEP-MFT 进行训练带来了进一步的提升。在 ALFWorld 上，MFT 版本相比静态基线实现了 17% 的相对增益（65.5% 成功率），显著优于无需训练的 ADAMEM 和基于结果的 MFT 变体。
效率与自适应性：
- ADAMEM 的表现随检索预算 ( $k$ ) 单调缩放，而像 Synapse 这样的静态基线由于原始轨迹注入导致的上下文溢出而性能下降。
- 通过合成简洁的策略而非处理冗长的原始日志，ADAMEM 比 Synapse 降低了 16% 的推理延迟。
跨模型泛化： 在离策（off-policy）设置下（使用 Gemma-27b-it 配合 Qwen 生成的记忆），ADAMEM-LOW 保持了稳健的改进，证明了该框架有效地实现了存储与策略模型的解耦。

5. 重要性与主张

本文声称 ADAMEM 解决了当前智能体记忆系统存在的根本刚性问题。通过将长期存储与短期抽象解耦，ADAMEM 使智能体能够：

部署后自我进化： 智能体可以适应动态环境并纠正过时的先验，而无需昂贵的在线参数更新。
优化计算权衡： 该框架支持灵活的推理模式（LOW/HIGH）和训练变体（STEP-MFT），允许从业者在 Token 效率与自适应能力之间进行权衡。
实现持续推理： 这项工作表明，动态记忆策展是智能体在开放式、现实世界环境中运行的一个必要的缩放维度，实现了从静态检索向持续、状态感知推理的跨越。

作者承认了局限性，例如 ADAMEM-LOW 中的“策略惯性”（即智能体可能无法在必要时触发刷新），以及目前仅依赖成功轨迹来填充记忆，并将这些视为未来的研究方向。