🤖 machine learning

ECHO: Prune to act, trace to learn with selective turn memory in agentic RL

该论文介绍了 ECHO，一种针对长程语言智能体的选择性轮次记忆框架，它通过将环境轮次压缩为源索引记录，以实现可追溯的强化学习和细粒度的证据复用，从而在 BrowseComp-Plus 等基准测试中，相比现有的上下文管理方法实现了更优越的性能和泛化能力。

原作者： Zijun Xie, Binbin Zheng, Enlei Gong, Jihua Liu, Yuyang You, Lingfeng Liu, Jiayao Tang, Guanqun Zhao, Aoqi Hu, Zeyu Chen

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zijun Xie, Binbin Zheng, Enlei Gong, Jihua Liu, Yuyang You, Lingfeng Liu, Jiayao Tang, Guanqun Zhao, Aoqi Hu, Zeyu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解复杂谜团的侦探。你的笔记本（即你的“上下文窗口”）空间有限，你需要用它来记录线索、询问证人并形成理论。如果案件持续数日，你的笔记本就会写满。

问题：“黑洞”笔记本
目前的 AI 侦探也面临类似的问题。当他们进行长时间调查时，必须丢弃旧笔记以腾出空间。

旧方法（总结法）： 一些侦探试图通过为上周发生的所有事情写一段一句话的总结来解决这个问题。“我们查看了银行，然后去了公园，最后去了图书馆。”
- 缺陷： 如果侦探后来意识到关于银行监控摄像头的那个特定细节才是破案的关键，他们再也找不回它了。总结得太笼统了。
- 学习缺陷： 如果侦探破了案，老师（AI 训练师）并不知道究竟是哪个特定的线索导致了解决方案。是因为银行的笔记？公园的笔记？还是仅仅因为侦探猜对了？老师最终会奖励整个混乱的笔记本，包括其中无用的部分。

解决方案：ECHO（“索引卡”系统）
这篇论文介绍了一种新方法——ECHO。ECHO 不再是将旧笔记扔掉或将其总结成一片模糊的文字，而是将调查中的每一个步骤都视为一张独立的、带有编号的索引卡。

以下是 ECHO 的运作方式，使用简单的比喻：

1. 修剪以行动（智能文件柜）

当侦探的笔记本变满时，ECHO 不仅仅是删除旧页面。相反，它会为每一个完成的步骤创建一个紧凑的索引卡。

卡片内容： 它包含一个极其简短的事件摘要（例如：“在公园发现了一只红鞋”）以及一个永久地址（指针）指向原始的完整报告。
筛选过程： 当侦探需要开始调查的新阶段时，他们不需要阅读整个历史记录。他们向自己的 AI 助手提问：“这些索引卡中，哪些对于解决接下来的谜团实际上是有用的？”
结果： 侦探只提取他们当前笔记本中需要的特定且相关的卡片。他们不需要随身携带整个历史，只需携带最重要的碎片。

2. 溯源以学习（“金线”）

这是最聪明的部分。当侦探最终破案并获得“成功！”奖励时，ECHO 会利用这些索引卡来追踪究竟该把功劳归于哪里。

旧方法： 老师说：“做得好！”并给侦探写的每一个字都给予奖励，包括那些搜错了街道或写了无用总结的时候。这会让侦探感到困惑。
ECHO 方法： 老师观察侦探在最终方案中选择带入的索引卡。
- “最后的答案做得很好。”
- “挑选那张‘红鞋’卡做得很好。”
- “做出‘决定查看那张卡’这个动作做得很好。”
- “忽略你搜错街道的那些时刻；我们不会奖励那些。”

通过将奖励直接与特定的证据以及选择该证据的行为联系起来，AI 学习得更快、更准确。

为什么这很重要（结果）

论文在“BrowseComp-Plus”基准测试上对该方法进行了测试，这是一个类似于极难的多步互联网搜索挑战。

竞争对手： 其他方法（如 GRPO 和 SUPO）要么过早放弃，要么不停地搜索，迷失在冗余步骤的海洋中。
ECHO 的表现： ECHO 解决了更多的题目（准确率 43.4%）。至关重要的是，它在没有陷入无休止循环的情况下完成了任务。它使用的轮次更少，产生的“垃圾”数据也比总结法更少。

核心要点
ECHO 教会了 AI 智能体成为精明的档案管理员。它说：“不要只是总结你的过去；要保留一份关于过去的带标签的地图。当你成功时，观察那张地图，看看你挑选了哪些线索，并为自己能成为一名聪明的挑选者，而不仅仅是一个幸运的猜谜者而奖励自己。”

这种方法帮助 AI 智能体在处理长期、复杂的任务时，既不会被自己的历史所淹没，也不会在无用的搜索上浪费时间。

技术摘要：ECHO —— 通过选择性轮次记忆实现“为行动而剪枝，为学习而追踪”的智能体强化学习

1. 问题陈述

在工具使用环境（如搜索、编程、深度研究）中运行的长程语言智能体面临一个根本性的瓶颈：如何在受限的上下文窗口内保留有用的历史观测，同时识别出哪些特定的过去轮次对最终成功的结局做出了贡献，以进行强化学习（RL）。

现有的上下文管理方法（截断、摘要、检索）虽然能够实现更长的展开过程，但也引入了两个耦合的局限性：

细粒度证据的丢失： 随着轮次数量的增加，远处的观测要么被移除，要么被压缩进压缩状态（例如滚动摘要）。这使得智能体越来越难以复用复杂推理所需的特定、细粒度的证据。
信用分配的可追溯性丧失： 一旦原始轮次不再具有来源可寻性（即原始 Token 被替换为摘要），基于结果的 RL 就失去了将策略更新与支持成功答案的具体证据进行对齐的明确路径。在 GRPO 等方法中使用的标准轨迹级优势分配（trajectory-level advantage assignment），会将信用过度密集地分散到所有生成的 Token 上，从而同时强化了冗余搜索、偶然推理以及摘要生成 Token，而非真正有用的证据收集步骤。

这种缺乏来源可寻性的问题导致了经验性的失败模式，即更长的展开会导致“轮次激增”、轨迹体积增大，且在准确率没有比例提升的情况下训练速度变慢。

2. 方法论：ECHO

作者提出了 ECHO（选择性轮次记忆框架），这是一个旨在通过**来源索引重构（source-indexed reconstruction）**共同解决历史塌陷和可追溯学习问题的系统。ECHO 的运行原则是“为行动而剪枝，为学习而追踪”。

2.1 选择性轮次记忆重构

ECHO 不会将历史塌陷为单一的摘要状态，而是维护一组非塌陷的记忆记录。

来源索引轮次记忆： 在每个完成的工具使用轮次 $u_i = (a_i, o_i)$ 之后，智能体会生成一个紧凑的局部发现 $s_i$ ，并将其解析为记忆记录 $e_i = (i, \alpha_i, m_i)$ 。其中， $i$ 是来源轮次索引， $\alpha_i$ 是动作/工具调用的紧凑呈现，而 $m_i$ 是解析后的发现。即使原始观测超出了活跃上下文，这组 $M_j$ 仍与原始环境轮次保持关联。
自回归记忆选择： 在压缩边界处，策略会被提示选择对继续任务有用的历史记忆子集。选择上下文包括当前的受限状态和渲染后的来源索引记忆列表。策略输出用于复用证据、约束或失败尝试的来源索引 ( $bI^{sel}_j$ )。
受限上下文重构： 下一阶段的策略上下文通过渲染选定的来源记忆 ( $M_j[bI^{sel}_j]$ ) 并追加最近的局部交互来重建，确保上下文保持在预算 $B$ 之内。

2.2 溯源引导的信用分配

ECHO 利用用于上下文重构的相同来源索引来路由结果信用，从而创建一个“溯源追踪（provenance trace）”。

Token 级硬信用掩码： 与将轨迹级优势分配给所有 Token 的标准方法不同，ECHO 构建了一个掩码 $\mu^{(n)}_q$ $μ_{q}^{(n)}$ ，将特定 Token 标记为“信用 Token”：
1. 最终响应段中的 Token。
2. 被选入最终重构上下文的来源轮次中的动作 Token。
3. 对应于那些被选中的来源轮次的“最后轮次发现”的 Token。
4. 在记忆选择动作跨度期间生成的所有 Token。
正向优势路由： 对于二元验证器奖励，如果轨迹具有正向的组相对优势 ( $A^{(n)}_+ = \max(A^{(n)}, 0)$ )，则优势仅通过这些信用 Token 进行路由。如果展开错误或低于基准线，则不会分配可追溯的信用，以避免从可能具有误导性的选定轮次中获得噪声监督。

3. 核心贡献

论文形式化并实现了以下贡献：

统一的重构接口： 形式化了一种上下文管理的多轮 RL，将历史状态管理、受限上下文重构和来源级可追溯性分离。该框架明确指出，塌陷历史的方法是如何牺牲了进行结果信用分配所需的溯源性的。
ECHO 框架： 一种选择性轮次记忆方法，它将完成的轮次存储为来源索引记忆，并通过学习到的选择而非全局历史塌陷来构建受限上下文。
溯源引导的信用分配： 一种机制，通过复用选定的来源索引，将正向结果优势专门路由至最终答案、选定的历史证据轮次、其记忆发现以及选择动作本身。
经验验证： 证明了 ECHO 在提高准确率的同时，相比于滚动摘要基准，能减少轮次激增和轨迹体积，并在密集型（dense）和混合专家（MoE）骨干网络上均有持续收益。

4. 实验结果

实验主要在 BrowseComp-Plus（一个长程工具使用问答基准）上进行，使用的是 Qwen3-32B-Instruct 和 Qwen3-30B-A3B-Instruct（MoE）骨干网络。

在 BrowseComp-Plus 上的表现： ECHO 实现了 43.4% 的留出集准确率，显著优于 GRPO (28.9%) 和滚动摘要基准 SUPO (36.1%)。
效率： 虽然 SUPO 提高了相对于 GRPO 的准确率，但它遭受了快速轮次激增的问题（SUPO 为 62.5 轮，而 ECHO 为 45.3 轮）以及 4.18 倍的轨迹分裂率。ECHO 以更少的轮次 (45.3) 维持了更高的准确率，且轨迹体积更低 (每次展开 3.13 个轨迹)。
零样本泛化： ECHO 在多目标问答、代码生成和深度信息寻求基准测试中展示了卓越的泛化能力。在密集型骨干网络上，ECHO 平均达到 40.2%，优于 SUPO (34.8%) 和 GRPO (33.6%)。在 MoE 骨干网络上也观察到了类似的趋势。
消融研究：
- 将学习选择替换为静态语义 top-k 检索会显著降低准确率，证实了策略驱动选择的必要性。
- 移除可追溯信用掩码（回退到密集分配）会降低准确率和稳定性，验证了溯源引导更新的重要性。

5. 重要性与主张

论文声称，在上下文管理过程中保留溯源性是使长程搜索不仅是“更长”而且“更有用”的一个切实机制。

行动与学习的对齐： 通过使用来源索引重构，ECHO 将保留用于未来决策的证据与在成功展开后进行强化的证据对齐。这解决了上下文效率（行动）与信用分配（学习）之间的张力。
超越摘要化： 结果表明，仅仅通过摘要化来延长展开过程（如 SUPO）是不够的，这可能导致低效的搜索行为。可追溯的重构允许智能体为行动而剪枝历史，同时保留用于有效 RL 更新的特定“面包屑”。
泛化性： 该框架不限于特定的骨干架构，在两种密集型和 MoE 模型上均表现出稳健的性能，并能有效地迁移到多种零样本领域。

作者承认存在局限性，指出 ECHO 使用“最终追踪近似（final-trace approximation）”进行信用分配（并非递归地跟踪选定轮次的完整依赖链），并且主要关注基于文本的工具使用智能体，将 GUI 和多智能体设置留作未来工作。