🤖 AI

Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks

本文介绍了“记忆即行动”（MemAct）框架，该框架将工作记忆管理视为可学习的策略动作，并通过强化学习进行优化，从而为长程智能体任务实现高效、自适应的上下文管理，在显著缩短上下文长度的同时达到了更大规模模型的精度。

原作者： Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一个庞大、多步骤的谜题，比如规划一次复杂的旅行或调试一个庞大的软件程序。你有一块巨大的白板（即计算机的内存），你在上面写下每一个想法、搜索结果和发现的线索。

问题：
随着任务变长，你的白板变得杂乱无章。你开始记下所有事情：“我查了天气”、“我查看了列车时刻表”、“我阅读了这座城市的历史”、“我又查了一次天气”。最终，板上写满了潦草的字迹，以至于你再也找不到重要的线索了。你迷失在自己笔记的“中间”。

当前的 AI 助手也会做同样的事情。它们只是不断在页面底部添加笔记，从不擦除任何内容，直到页面变得过于混乱而无法有效阅读。

解决方案：“记忆即行动”（MemAct）
这篇论文提出了一种 AI 思考的新方式。AI 不再只是被动地做笔记，而是被教导去主动操作它自己的记忆。这就像给 AI 配备了一把剪刀和一支荧光笔。

作者将这一框架称为MemAct。简单来说，其工作原理如下：

1. “编辑”按钮

在旧方法中，AI 只是不停地说话。而在 MemAct 中，AI 拥有一个名为**剪枝与写入（Prune & Write）**的特殊工具。

剪枝（剪刀）： AI 审视其历史记录并决定：“我不再需要那 10 条旧的搜索结果了；我已经知道了那部分的答案。”于是它将它们剪掉。
写入（荧光笔）： 在剪掉之前，AI 会将从那些旧笔记中学到的内容写成一个简短、整洁的摘要。
结果： 杂乱冗长的历史被一个干净、简短的摘要所取代。AI 保留了含义，但去除了杂乱。

2. “明智”的决策

棘手之处在于知道何时进行剪枝。如果剪得太早，你会丢失重要事实；如果剪得太晚，白板就会过于混乱。

旧方法： 人类程序员设定一条规则，例如“每 5 分钟删除最旧的笔记”。这很僵化，且经常删除错误的东西。
MemAct 方法： AI 学会自己做出决定。这就像一个学生学会了“当我解完数学题的第一部分时，我可以擦掉草稿，以便为下一部分腾出空间”。AI 通过试错（强化学习）来掌握这种策略。

3. “铁轨”挑战（DCPO）

存在一个巨大的技术障碍。想象一列火车在铁轨上向前行驶。如果 AI 突然删除了它身后的某段铁轨，火车（AI 的思维过程）可能会撞毁，因为它的构建基于一个假设：铁轨只会增加，永远不会被移除。

作者发明了一种巧妙的修复方法，称为DCPO（动态上下文策略优化）。

类比： 想象你在拍摄一部电影。如果演员忘词，导演喊“卡！重拍那个场景”，你不会只是继续拍摄覆盖那个错误。你会回到过去，重拍那个场景，并将新的、正确的镜头剪辑进电影胶卷中。
修复： DCPO 为 AI 的训练做了同样的事情。当 AI 编辑其记忆时，系统会在逻辑上“倒带”，并将训练数据重新组织成干净、独立的片段。这使得 AI 能够学习如何编辑其记忆，而不会因自身的更改而感到困惑。

结果：更小、更快、更智能

这篇论文使用了一个 140 亿参数的 AI 模型（这很大，但不是最大的）对此进行了测试。

对比： 他们将其与一个拥有巨大内存但不知道如何清理的“巨型”AI 模型（2350 亿参数）进行了比较。
结果： 较小的 MemAct AI 表现与巨型模型一样好，但它使用的内存空间减少了 51%。
优势： 因为它保持了“白板”的整洁，所以速度更快，且不会被无关信息搞糊涂。它学会成为一名“外科医生”式的编辑，仅移除必要的部分以保持其专注力敏锐。

总结

该论文声称，通过教导 AI 主动管理其短期记忆——决定保留什么、总结什么以及删除什么——它可以更高效地解决复杂、长期的问题。它将记忆管理从一个被动的存储问题转变为一种主动的、习得的技能，从而使较小的模型能够发挥出超越其体量的实力。

技术摘要：记忆即行动（MemAct）

1. 问题陈述

长程代理任务（如深度研究和软件工程）要求大语言模型（LLM）维持广泛的工作记忆。尽管长上下文 LLM 扩展了容量，但当上下文被无关信息填满时，它们会遭受注意力稀释和“迷失在中间”的行为影响。

当前管理此类上下文的方法分为两类次优方案：

被动压缩：如令牌级压缩或定期摘要等方法，在缺乏对代理特定推理状态感知的情況下运作，存在丢失语义关键依赖的风险。
外部控制器：利用启发式规则或外部模块来管理记忆的系统，将上下文策展与代理的核心推理策略解耦。这阻碍了信息保留与任务性能之间的端到端优化。

识别出的核心挑战是上下文策展：即需要战略性地选择、整合和修剪信息，以维持专注且与目标相关的推理轨迹。现有方法未能将此视为代理内在的、可学习的能力。

2. 方法论：记忆即行动（MemAct）

本文提出了MemAct，这是一个将上下文管理重新概念化为统一策略空间内的一组可学习行动的框架，而非外部机制。

2.1 核心框架

MemAct 将上下文策展直接整合到代理的行动空间中（ $\mathcal{A} = \mathcal{A}_{task} \cup \mathcal{A}_{mem}$ ）。

统一策略：单一策略 $\pi_\theta$ 同时决定任务行动（如搜索、工具使用）和记忆行动。
修剪与写入算子：主要的记忆行动是一种原位编辑操作。当被触发时，代理会：
1. 修剪：移除由唯一 ID 标识的特定历史交互回合。
2. 写入：合成新的记忆笔记（包含摘要、事实或规划），并将其附加到上下文中。
状态表示：工作记忆被建模为一系列可唯一寻址的交互记录序列 $H_t = [z_1, z_2, \dots, z_k]$ ，其中每条记录包含一个行动、一个观察结果和一个唯一 ID。

2.2 训练挑战：动态上下文更新

训练 MemAct 的一个重大障碍是训练 - 推理不匹配。因果 LLM 假设上下文单调增长。当 MemAct 删除内容时，后续令牌键值（KV）缓存中编码的因果依赖关系将失效（被“删除”的信息在物理上仍会影响在删除前生成的令牌的隐藏状态）。简单的注意力掩码不足以解决这个问题，因为它无法切断这些因果依赖。

2.3 解决方案：动态上下文策略优化（DCPO）

为了在动态上下文更新下实现高效的强化学习（RL），作者引入了DCPO。

轨迹分割：DCPO 在每次记忆编辑点逻辑上分割代理的交互轨迹。
独立片段：轨迹被重组为 $K+1$ 个独立片段 $\{\sigma_i\}$ 。在每个片段内，上下文前缀是固定的，从而恢复了标准自回归因果结构，这是稳定梯度计算所必需的。
优化：策略在这些重构的、逻辑一致的片段上使用组相对归一化方案（类似于 GRPO）进行优化，确保梯度是针对正确的上下文历史计算的。

3. 主要贡献

范式转变：提出记忆即行动，将工作记忆管理从外部启发式转变为内在的、可学习的策略能力。这使得代理能够自主平衡上下文策展和任务执行。
技术创新：
- 将工作记忆形式化为具有基于 ID 的可寻址序列和用于细粒度编辑的修剪与写入算子的马尔可夫决策过程（MDP）。
- 开发了DCPO，这是一种轨迹分割算法，能够在无需定制修改的标准基础设施上，将动态上下文更新与高效的 RL 训练相协调。
实证验证：证明了学习到的记忆策略是高效、自适应且可泛化的。

4. 实验结果

作者在合成多目标问答数据集（基于 HotpotQA）和公开基准（2WikiMultihopQA, Bamboogle, Frames, BrowseComp-Plus）上评估了 MemAct。

性能与效率：
- MemAct-RL-14B（140 亿参数）在多目标任务上达到了 59.1% 的准确率，优于 Qwen3-235B（2350 亿参数，53.1%）和专用模型 Tongyi-DeepResearch（56.0%）。
- 尽管规模较小，MemAct-RL-14B 将每步平均上下文长度减少了 51%（3,500 个令牌对比约 7,000 个令牌），并将总令牌消耗减少了 51%。
- 它在计算成本显著更低的情况下，达到了规模大 16 倍 的模型的准确率。
泛化能力：
- 该模型在最多 3 个目标 的任务上训练，但成功泛化到 8 个目标 的任务，在基线模型遭遇性能饱和时仍保持了高准确率。
- 它在不同模型规模（7B 和 14B）以及新工具环境（BrowseComp-Plus）中均表现出鲁棒性。
学习到的策略：
- 7B 模型：学会了执行频繁且激进的修剪（每次行动移除约 7 条记录），以弥补有限的上下文容量。
- 14B 模型：发展出双模策略：在推理过程中进行细粒度修剪（约 2 条记录）以去除噪声，在完成子目标后进行粗粒度修剪（约 6 条记录）以清除中间步骤。
延迟：由于减少了预填充时间和提高了前缀缓存命中率，MemAct 将总推理时长比 Search-R1（一种无记忆行动的 RL 基线）缩短了 40%。

5. 意义与主张

本文主张，自主上下文策展可以被内化为一种可学习的技能，作为代理行为的基础且可扩展的架构构建块。

内在能力：结果表明，代理不需要外部记忆管理器；它们可以学习“编辑”自己的工作记忆以维持推理焦点。
可扩展性：该框架允许较小的模型通过优化信息密度而非仅仅依靠原始容量，来与更大的模型竞争。
适应性：该系统自主发现针对骨干模型特定容量的策略，根据任务复杂度调整记忆行动的强度。

作者承认了局限性，指出该方法依赖于稀疏奖励，这使得信用分配变得困难，且压缩的有损性质意味着一旦数据被摘要，原始数据就无法恢复。然而，他们提出，这种方法在决策层提供了一个原则性的接口，与系统级基础设施相辅相成。