💬 NLP

ExpGraph: Model-Agnostic Experience Learning with Graph-Structured Memory for LLM Agents

ExpGraph 是一个与模型无关的框架，它通过将历史轨迹组织成一个包含可重用技能和失败教训的自演进图谱来增强冻结的 LLM 智能体，并通过图扩散和基于效用的排序进行检索，从而在无需参数更新的情况下，显著提升其在多样化任务中的性能和效率。

原作者： Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 ExpGraph 论文的解释，已将其翻译成通俗易懂的中文。

核心问题：那个“失忆症”天才

想象你有一个才华横溢但患有失忆症的助手（LLM Agent/大模型智能体）。这位助手在解决问题、编写代码或在虚拟房屋中导航方面极其聪明。然而，每当你给他们布置一项新任务时，他们表现得就像第一天上班一样。他们不记得上周用过的巧妙技巧，也不记得昨天犯过的错误。他们每次都要从零开始解决每一个问题。

通常，为了让他们记住，你必须对他们进行“重新训练”。但重新训练就像是每次想让他们学个新招都要回学校读一整年书一样。这既昂贵又缓慢，而且如果你换了一个更聪明的新助手，你又必须把所有的训练过程重来一遍。

解决方案：ExpGraph（“聪明的图书管理员”）

研究人员提出了 ExpGraph，这是一个让助手无需重返校园就能学习的系统。他们不是改变助手的“大脑”，而是在助手旁边建立了一个专门的图书馆。

以下是它的工作原理，使用了三个主要的比喻：

1. 经验图谱（知识之网）

大多数记忆系统就像一个扁平的列表（比如简单的待办事项清单）。如果你询问“如何烤蛋糕”，它只会寻找“蛋糕”这个词并向你展示最匹配的内容。

ExpGraph 则不同。它将记忆组织成一个巨大的、互联的蜘蛛网。

节点（蜘蛛）： 每一块知识都是一个节点。有些节点是“技能”（例如：如何成功烤好蛋糕），有些则是“教训”（例如：不要忘记预热烤箱，否则蛋糕会烧焦）。
边（丝线）： 这些节点被连接在一起。如果你学会了如何烤蛋糕，系统也会将该节点与“烤面包”或“使用烤箱”联系起来，因为它们是相关的。
为什么重要： 当你想烤蛋糕时，系统不仅仅是在寻找“蛋糕”。它会沿着丝线寻找与烤箱或定时相关的相关教训，如果你只看最匹配的内容，可能会错过这些细节。

2. 检索副驾驶（聪明的图书管理员）

执行者（助手）是固定的，无法改变。因此，系统使用了一个轻量级的“图书管理员”（Copilot）来提供帮助。

当新任务到达时，图书管理员会查看这张蜘蛛网。
图书管理员有两个旋钮来控制搜索方式：
- 旋钮 A（探索度）： 我们是紧贴原话题，还是沿着相关的路径游走以寻找隐藏的宝藏？
- 旋钮 B（信任度）： 我们是选择最“相似”的记忆，还是选择历史上“效果最好”的记忆？
图书管理员经过训练，能够为每一个特定的任务确定这两个旋钮的最佳设置。

3. 反馈循环（成绩单）

图书管理员是如何变得更聪明的？

系统会对任务进行两次尝试：一次是在图书管理员的帮助下，另一次是在没有帮助的情况下。
如果“有图书管理员帮助”的版本做得更好，图书管理员就会获得一个“做得好”的奖励。
如果图书管理员挑选的记忆没有起到帮助，它就会收到一个“再试一次”的信号。
随着时间的推移，图书管理员会精准地学到哪些记忆是真正有用的，而不仅仅是哪些记忆听起来很相似。

实验结果如何？

研究人员在各种挑战中测试了这个系统，从回答棘手的科学问题、解决数学问题，到在虚拟房屋中导航以及管理应用程序的工作流。

结果： 当这些固定的助手配备了这种“聪明的图书管理员”和“蜘蛛网图书馆”后，他们在工作中的表现显著提升。
惊喜之处： 该系统在“较弱”的助手身上表现得甚至更好。这就像是给一名初级员工一份资深导师的笔记；初级员工的表现实现了跨越式提升，而资深员工（本身已经很优秀）也得到了进步，只是提升幅度较小。
效率： 助手们不仅变得更聪明，而且更快了。由于不需要每次都“重新发明轮子”，他们犯的错误更少，完成任务所用的步骤也更少。

总结

ExpGraph 是一种为 AI 智能体提供“第二大脑”（外部的、不断进化的记忆）的方法，而无需重新训练它们实际的大脑。它将过去的成功与失败组织成一个互联的网络，并使用智能搜索工具在正确的时间找到正确的建议。这意味着我们可以使用强大的、固定的 AI 模型，同时仍能让它们学习并适应新情况，从而节省时间和成本。

技术摘要：ExpGraph

问题陈述

大语言模型（LLM）智能体已展示出强大的推理、工具使用和多步环境交互能力。然而，一个关键的瓶颈仍然存在：大多数智能体是“一次性执行器”（one-shot executors），它们在每次处理任务时都是从零开始，无法系统地复用成功的策略或从失败中吸取教训。虽然通过收集经验对执行器进行微调是一种常见的补救措施，但随着 LLM 的快速演进，这种方式变得日益僵化。当出现更强或更合适的执行器时，经验学习过程通常需要重新训练特定的模型实例，这使得系统与特定模型紧密耦合。此外，许多优秀的 LLM 是闭源的、规模过大或更新成本过高，使得参数级修改变得不切实际。

这项工作解决的核心挑战是：如何在保持执行器本身冻结且可替换的前提下，让 LLM 智能体从积累的经验中学习？ 现有的方法通常将可复用的经验视为孤立的记录或依赖于扁平的最近邻匹配，未能捕捉到策略、约束和失败模式之间的关系本质。此外，表层语义的相关性并不总等于下游的效用；一个看起来相似的经验可能几乎没有帮助，而一个结构相关的经验则可能提供至关重要的可迁移策略。

方法论：ExpGraph

作者提出了 ExpGraph，这是一个模型无关的经验学习框架，通过自演进的关系记忆和可训练的检索副驾驶（retrieval copilot）来提升冻结的 LLM 执行器的性能。该框架将执行与经验学习解耦，允许同一个外部系统在不修改参数的情况下改进不同的冻结执行器。

核心组件

经验图构建：
- 历史轨迹 ( $\tau = (x, \xi, y, s)$ ) 被总结为紧凑的自然语言经验单元 ( $e$ )。
- 高分轨迹被提炼为技能（成功的模式、启发式方法），而低分轨迹被提炼为教训（失败模式、约束）。
- 这些单元构成一个稀疏的无向图中的节点。边根据余弦相似度阈值连接语义或策略相关的经验，从而创建一种超越扁平列表的结构。
效用引导的图检索：
- 检索副驾驶（Retrieval Copilot）： 一个轻量级的可训练策略 ( $\pi_{ret}$ $π_{r e t}$ ) 为每个任务预测两个自适应控制变量：
  - $R$ （扩散深度/Diffusion Depth）：控制图探索的广度。
  - $W$ （效用-效用权衡/Utility-Utility Trade-off）：控制语义相似度与历史效用之间的平衡。
- 语义种子（Semantic Seeding）： 系统首先通过任务嵌入的余弦相似度识别前 $M$ 个种子节点。
- 图扩散（Graph Diffusion）： 使用个性化 PageRank（Personalized PageRank），系统从种子集开始在图中进行扩展。重启概率由 $R$ 控制，允许检索过程保持在局部或进一步传播以寻找结构相关的经验。
- 效用感知排序（Utility-Aware Ranking）： 候选节点使用结合了语义相关性和估计效用分数 ( $u_v$ ) 的置信上限（UCB）分数进行重新排序。这鼓励利用高价值经验，同时探索未经过充分测试的节点。
从效用反馈中学习：
- 系统采用基于效用的奖励机制。对于每个任务，冻结的执行器会被评估两次：一次带有检索到的经验 ( $s_{with}$ )，一次不带检索到的经验 ( $s_{without}$ )。
- 奖励计算为 $r = (s_{with} - s_{without}) + \eta s_{with}$ ，旨在衡量检索带来的边际增益，同时确保绝对的任务质量。
- 副驾驶优化： 检索副驾驶使用近端策略优化（PPO）进行优化，以最大化该奖励，从而学习检索那些真正能提升执行效果而非仅仅是语义匹配的经验。
- 在线图演进： 检索到的节点会根据奖励更新其新的效用统计数据。新的轨迹会被总结并插入图中，而低效用的节点会被剪枝，从而实现记忆的自演进。

主要贡献

模型无关设计： ExpGraph 是第一个同时支持图结构化经验、图扩散、效用感知排序和针对冻结执行器的自适应检索的框架。它不需要重新训练底层的 LLM。
关系记忆： 与扁平记忆系统不同，ExpGraph 将经验组织为图，从而能够发现并非直接语义邻居的可迁移策略和失败模式。
自适应检索策略： 引入了检索副驾驶，动态控制扩散深度和相关性-效用的权衡，使系统能够适应任务复杂度和执行器能力。
基于效用的学习： 通过基于实际下游性能增益（而非仅仅是相似度）来优化检索，系统学会了区分仅仅是“相关”与真正“有用”的经验。

实验结果

作者在 ExpSuite 上评估了 ExpGraph，涵盖了单轮静态任务（问答、数学推理、代码生成）和多步智能体环境（ALFWorld、AppWorld）。

性能提升：
- 静态任务： 在使用较小执行器（Llama-3.2-3B）时，ExpGraph 比最强的基线平均提高了 12.2%；在使用较大执行器（Llama-3.1-8B）时，提高了 4.7%。
- 智能体环境： 提升更为显著，在智能体环境中，相比最强基线，加权平均得分分别提高了 21.4%（小型执行器）和 12.7%（大型执行器）。
- 效率： 与最具效率的竞争基线相比，ExpGraph 在智能体设置中减少了平均交互步骤，降幅分别为 12.7% 和 21.6%。
泛化能力： 该框架展示了强大的零样本迁移能力。从较小执行器学到的经验组件能有效地迁移到较大的执行器上，且来自非推理型执行器的组件能很好地泛化到具备推理能力的模型中。
消融实验： 移除任何关键组件（图结构、扩散、效用排序或相似性过滤）都会导致性能持续下降，证实了联合设计的必要性。

重要性与主张

论文声称 ExpGraph 提供了一条实用且与执行器无关的路径，使 LLM 智能体能够在不重新训练底层执行器的情况下从经验中学习。作者强调：

经验复用对弱执行器至关重要： 相对收益在较小、能力较弱的模型上显著更高，这表明外部经验可以补偿其内置推理或规划能力的不足。
长程任务中的价值： 在需要长程决策的智能体环境中，收益最为明显，因为先前的轨迹可以直接引导行动并减少不必要的探索。
解耦学习与执行： 通过将执行器视为可替换的任务求解器，并学习如何通过外部系统提供上下文，ExpGraph 解决了在快速演进的 LLM 背景下基于微调方法的僵化问题。

作者总结道，在执行器无法更新的情况下，对经验间的关系建模以及学习效用感知的自适应检索，对于使 LLM 智能体有效地积累和迁移任务知识至关重要。