🤖 AI

Improving Language Agents through BREW: Bootstrapping expeRientially-learned Environmental knoWledge

本文介绍了 BREW，这是一个通过一种新颖的“扩展与收集”蒙特卡洛树搜索算法（Expand-and-Gather Monte Carlo Tree Search algorithm）和后验重标记（hindsight relabeling）技术，将过去的交互轨迹蒸馏为结构化的、可检索的自然语言配方知识库，从而增强基于大语言模型（LLM）智能体的框架，该框架在多个基准测试中显著提升了任务成功率和执行效率。

原作者： Shashank Kirtania, Param Biyani, Priyanshu Gupta, Yasharth Bajpai, Roshni Iyer, Sumit Gulwani, Gustavo Soares

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shashank Kirtania, Param Biyani, Priyanshu Gupta, Yasharth Bajpai, Roshni Iyer, Sumit Gulwani, Gustavo Soares

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人助手，它会点击按钮、打开文件，还能和你聊天。它才华横溢，但有一个奇怪的记忆缺陷：每当你要求它做一件它以前做过的事情时，它表现得就像是第一次做一样。它会忘记“文件 > 导出为 PDF”是保存文档的“魔法咒语”，或者忘记在处理退货前需要检查用户 ID。它会从头开始重新发现解决方案，甚至经常犯昨天犯过的错误。

开发这篇论文的研究人员提出了 BREW，他们通过给机器人一本“食谱”而不是仅仅一个大脑来解决这个问题。

问题所在：患有失忆症的机器人

想象一下人类学习烹饪的过程。在做了几次炒蛋之后，你不会去记忆烹饪过程中的每一个秒刻。相反，你会内化一个食谱：“打蛋、加热平底锅、加入黄油、轻轻搅拌。”你知道什么时候使用这个食谱（早餐时间）、要做什么，以及需要注意什么（不要烧焦黄油）。

目前的机器人智能体就像是那些在每次做完饭后都会忘记食谱的厨师。它们每次都必须重新发明轮子。一些科学家尝试通过“训练”机器人的大脑（改变其内部权重）来修复这个问题，但这就像是通过重新排列面粉中的原子来烤蛋糕——这会让机器人的行为变成一个无法被检查或轻松修复的“黑盒”。另一些人则尝试给机器人一大堆原始笔记（记忆），但这些笔记要么太乱（只是点击记录的列表），要么太模糊（比如“要小心”）。

解决方案：BREW（基于经验学习的环境知识引导）

作者提出了 BREW，该系统将机器人的过往冒险转化为结构化的、易于阅读的食谱书。

它是这样运作的，分步骤如下：

经验（The Experience）： 机器人尝试执行任务（如整理文件或预订航班）。有时它成功了，有时它失败了。
反思（The Reflection）： 一个特殊的“反思者（Reflector）”智能体观察这些尝试。如果机器人失败了，反思者会问：“哪里出了问题？”如果成功了，它会问：“秘诀是什么？”
“后视”技巧（The "Hindsight" Trick）： 这是聪明之处。有时机器人失败是因为它试图执行错误的任务。该系统使用一种称为*后视重标记（Hindsight Relabeling）*的技术。它观察一次失败的尝试并说：“等等，如果目标实际上是这个*而不是那个*，那么机器人的动作就是完美的！”它将失败重新标记为针对略微不同目标的成功。这把“错误”转化为了“新的食谱”，使机器人能从中学习到的有用知识量翻倍。
食谱书（知识库）： 系统将这些见解组织成一个整洁的自然语言食谱库。每个食谱都有一个标题（例如“压缩并解压文件”）、一个“何时使用”部分，以及一个带有要点的“如何执行”部分。它不是代码，而是任何人都能读懂的纯英文指令。
搜索（EG-MCTS）： 编写一本完美的食谱书很难。如果你写的食谱太具体，它就无法帮助处理新任务；如果太模糊，机器人就会感到困惑。作者发明了一种智能搜索算法，称为扩展与收集蒙特卡洛树搜索（Expand-and-Gather Monte Carlo Tree Search, EG-MCTS）。想象一个侦探通过并行测试数千个变体来寻找最佳版本的食谱，保留效果最好的版本并丢弃其余的。这确保了最终的食谱书既准确又易于查找。

结果：食谱书有效吗？

研究人员在三个现实世界的挑战上测试了 BREW：

OSWORLD： 一个测试，机器人必须控制计算机（点击菜单、移动文件）。
$\tau^2$ -Bench： 一个测试，机器人扮演电信、零售和航空业的客户服务代理。
SpreadsheetBench： 一个测试，机器人必须操作复杂的 Excel 表格。

结果非常理想。使用 BREW 时，机器人：

比没有食谱书的机器人多解决了 10–20% 的任务。
完成工作所用的步骤减少了 10–15%。
表现优于其他记忆系统，那些系统有时甚至会因为喂给机器人错误的信息而让机器人的表现变得更差。

例如，在计算机控制测试中，使用 BREW 的机器人成功率从 53.30% 提高到了 61.70%。在电子表格测试中，成功率从 44.30% 跳升至 48.50%。

这篇论文排除了哪些可能性

作者非常明确地说明了哪些方法是行不通的。他们反对仅仅将机器人过去动作的原始、混乱的日志倾倒进它的记忆中。他们发现，那些仅仅存储“瞬态轨迹片段”（即逐个点击的原始日志）的系统往往会干扰机器人，导致其表现甚至比完全没有记忆时还要差。他们还指出，仅仅通过“微调”机器人的大脑（改变其内部权重）会创建一个难以检查或更新的“黑盒”，而 BREW 的食谱书则是透明且可编辑的。

我们有多确定？

论文根据在这些特定基准测试上运行智能体的测量结果展示了这些发现。这些改进（如 10–20% 的增益）是实验中的测量值，而非猜测。作者认为这种方法是微调的一种强有力的替代方案，但他们也指出，系统的成功取决于训练数据的质量。他们并未声称这解决了所有机器人随处可见的所有问题，但他们展示了对于这些特定的、复杂的任务，拥有一个结构化的、人类可读的食谱书会带来显著且可衡量的差异。

简而言之，BREW 教会了机器人停止重复造轮子，转而开始使用一本它们能够真正阅读并理解的、结构良好的、人类友好的说明手册。

技术摘要：通过 BREW 提升语言智能体能力

问题陈述

基于大语言模型（LLM）的智能体在处理复杂的、多步骤的任务（如 GUI 自动化、工具使用和数据处理）方面展现出了日益增长的能力。然而，一个根本性的局限性依然存在：这些智能体无法从经验中学习。在每一次新的会话中，智能体都必须从零开始重新发现解决方案，重复之前已经解决过的错误、冗余的 API 调用以及失败的操作。

现有的智能体记忆方法存在特定的缺陷。权重优化（例如微调）将知识固化在不透明的模型参数中，难以进行检查或模块化更新。相反，记忆增强型智能体存储的信息往往粒度不对：要么保留缺乏泛化性的瞬时、原始轨迹片段，要么存储缺乏执行引导所需的特异性的高层反思。此外，先前的方法往往无法在不同环境间实现泛化，或者在检索到的上下文不匹配时导致性能下降。

方法论：BREW 框架

作者引入了 BREW（通过经验学习环境知识，Bootstrapping expeRientially-learned Environmental knoWledge），这是一个旨在将智能体过去的交互轨迹提炼为结构化的、可检索的自然语言“食谱”（recipes）知识库（KB）的框架。与用于程序合成的代码原语不同，BREW 针对的是适用于通过语言描述和交互的环境（如 GUI、对话界面）的自然语言抽象。

该框架通过以下核心组件运行：

1. 轨迹生成与事后重标记（Hindsight Relabeling）

过程始于使用 LLM 驱动的智能体为一组查询生成全长轨迹（rollouts）。为了丰富训练信号，BREW 采用了事后重标记技术。系统会对失败的轨迹进行采样，并由 LLM 生成另一种任务描述，使得智能体观察到的行为在该描述下构成有效的解决方案。通过在这些重构的任务上重新执行智能体，原本约一半的失败轨迹被转化为成功的演示，从而改变了有效的数据分布并挖掘出潜在的能力。

2. 反思智能体与集成智能体

反思智能体（Reflector Agent）： 获取一次 rollout 及其评估标签，输出映射到特定概念（例如“压缩并解压文件”）的句子级见解。
概念去重（Concept Deduplication）： 生成的概念通过语义聚类形成一组紧凑的“元概念”（meta-concepts），确保知识库保持模块化且无冗余。
集成智能体（Integrator Agent）： 增量式地构建和精炼知识库文档。知识库并非扁平的记忆，而是被划分为多个局部文档，每个文档都与一个元概念相关联。这种结构支持高效、特定于上下文的检索以及模块化更新。

3. 扩展与收集蒙特卡洛树搜索（EG-MCTS）

为了优化知识库的内容，BREW 将构建过程形式化为一个状态空间搜索问题。由于自然语言食谱缺乏编译代码那种清晰的验证信号，作者引入了 EG-MCTS，这是一种受奖励引导的算法，用于在可能的知识库配置空间中进行导航。

并行搜索： 算法为每个元概念维护并行的搜索树。
扩展阶段（Expand Phase）： 对于每个概念，基于来自轨迹的见解生成新的变体，从而扩展当前最佳的文档状态。
收集阶段（Gather Phase）： 从所有概念树中收集最佳状态，以形成一个“运行最优”的知识库状态。该状态被用于评估扩展节点的奖励，确保一个概念的优化考虑到了其与其他知识库内容的交互。
奖励目标： 搜索过程优化一个复合奖励函数，平衡正确性（下游推理的准确性）和可检索性（给定不断增长的知识库时，文档被检索的有效程度）。

核心贡献

从轨迹中学习食谱： 一种从智能体交互中提炼概念级程序化食谱的技术，该技术由人工验证的标准和特定任务的评分器引导。它将原始经验划分为模块化、人类可解释的知识。
用于优化的状态空间搜索： 将知识库精炼形式化为一个通过 EG-MCTS 解决的搜索问题，解决了通过自然语言抽象进行优化时固有的噪声和歧义问题。
通过事后重标记扩大覆盖范围： 调整了事后重标记技术，以增加学习到的食谱的多样性，将接近成功的轨迹转化为正向演示，从而揭示智能体的潜在能力。
实证性能： 在领域落地基准测试中展示了卓越的性能，显示出在任务成功率和效率方面的显著提升。

实验结果

BREW 在三个基准测试上进行了评估：OSWORLD（计算机使用自动化）、 $\tau$ 2-Bench（工具使用）和 SpreadsheetBench（数据处理）。

任务成功率： 与基础智能体和现有的记忆增强基线（Cognee, Agent-Mem）相比，BREW 实现了 10–20% 的成功率提升。例如，在 OSWORLD（GTA1-7B + o3）上，BREW 将成功率从 53.30% 提高到了 61.70%。
效率： 该框架减少了 10–15% 的执行步骤，表明知识库有助于智能体绕过冗余的探索。
基线对比： 值得注意的是，现有的基线有时会导致性能低于无记忆智能体（例如，Agent-Mem 在 OSWORLD 上降至 43.83%，而基线为 53.30%），这表明朴素的记忆注入可能会产生负面影响。BREW 通过其奖励驱动的状态搜索避免了这种失效模式，该搜索在部署前会对知识库内容进行优化。
消融研究：
- 搜索策略： EG-MCTS 优于迭代精炼（Iterative Refinement）和贪婪搜索（Greedy Search），尤其是在需要更广泛探索的复杂领域（如 OSWORLD）中。
- 事后重标记： 在所有基准测试和搜索策略中都实现了持续的改进，将训练分布转向包含更多样化的成功演示。
- 忠实度 vs. 泛化性： 虽然其他方法在训练数据上表现出高忠实度，但往往无法泛化到测试集（负迁移）。BREW 通过提炼以环境状态为索引的“条件-动作”规则，使其能够在具有共享程序化子结构的各项任务间实现泛化。

意义与主张

本文声称 BREW 提供了一个透明、可控且模块化的智能体优化底层结构，为直接的模型微调提供了一种替代方案。通过将智能体记忆分解为概念级文档，并通过状态空间搜索优化其内容，BREW 允许智能体内化“食谱”——即关于何时应用何种操作以及需要注意什么的通用模式——而非仅仅记忆原始的点击序列。

作者强调，生成的知识库是可检查且可扩展的。与不透明的策略更新不同，知识库捕捉了可重复使用的行为模式，这些模式可以直接进行审查和更新。这项工作表明，对于需要长期一致性和适应性的现实环境，由经验驱动并经过搜索优化的结构化记忆是语言智能体发展的关键一步。该框架在实现这些改进的同时，保持了与基础 LLM 相当的内存和计算成本，且在分摊到各个测试回合时，知识库的构建成本仅占总计算预算的极小部分。