💬 NLP

ExpWeaver: LLM Agents Learn from Experience via Latent RAG

ExpWeaver 是一个端到端的优化框架，它使 LLM 智能体能够通过潜在检索增强生成（latent retrieval-augmented generation）从经验中学习，在实现多样化任务中最先进性能的同时，与传统的基于文本的检索方法相比，显著降低了 Token 开销并提升了跨领域泛化能力。

原作者： Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但有点健忘的助手，他正在尝试解决一个谜题。每当他卡壳时，他都会向你寻求帮助。

旧方法（现有方法）：
过去，为了帮助这位助手，你会掏出一本厚厚的物理笔记本，里面记录了每一次他解决类似谜题时的笔记。你会翻阅页面，找到最相关的笔记，然后在助手再次尝试之前，将整篇笔记大声读出来。

这种方法有两个大问题：

缓慢且昂贵： 读完一整页文本需要时间，并且会消耗大量的“注意力标记”（就像有限的精神能量预算）。如果笔记本非常庞大，助手就会感到不堪重负。
僵化： 助手只是听到了文字。在他们自己处理文本之前，他们并不能真正“感受到”旧笔记与新问题之间的联系。这就像是在听别人讲故事，而不是让解决方案直观地产生共鸣。

新方法 (ExpWeaver)：
这篇论文介绍了一种更聪明的方法，来帮助助手从经验中学习。与其使用物理笔记本，不如想象助手自己的大脑里有一个隐形的秘密图书馆。

以下是 ExpWeaver 的工作原理，我们使用简单的类比来解释：

1. 隐形图书馆（潜空间/Latent Space）

ExpWeaver 不再将经历写成冗长的段落文字，而是将每一次成功或失败压缩成一个微小、稠密的**“精神指纹”**（一个数学向量）。

类比： 把它想象成 Spotify 的“随机播放”按钮。你不需要播放整首歌（文本）来唤起某种氛围，它只需播放 3 秒钟的哼鸣，就能瞬间触发你对那首歌的记忆。助手不需要阅读整个故事；他只需要那个“哼鸣”来唤起记忆。

2. 即时连接（潜检索/Latent Retrieval）

当助手面临新问题时，他不是去搜索图书馆。相反，他会立即将当前的思考与图书馆中的“精神指纹”进行比对。

类比： 这就像有一位超级聪明的图书管理员，不需要你描述你想找的书。你只需思考这个问题，管理员就会瞬间递给你那个与你当前心境相匹配的“精神指纹”。这在助手的脑海中瞬间完成，无需任何朗读过程。

3. 智能混合器（门控集成/Gated Integration）

一旦助手找到了正确的“精神指纹”，他并不会直接将其粘贴进自己的思绪中。他会使用一个特殊的混合阀门（一种门控机制）。

类比： 想象你正在炖一锅肉汤。你有当前的食材（新问题），也有你的秘密香料配方（旧经验）。一个厨艺糟糕的人会把整罐香料都倒进去，毁掉这道菜。ExpWeaver 则是一位大师级厨师，他会品尝肉汤的味道，然后加入恰到好处的量。有时加一点，有时加多一点，取决于这道菜现在的需求。这确保了旧经验能提供帮助，而不会压倒新的逻辑。

4. 结果：更快、更聪明

论文在 13 种不同类型的任务上测试了这种新方法，从解决数学问题、编写代码，到预测化学反应和推荐电影。

得分： ExpWeaver 在 13 项任务中的 12 项上都击败了现有的最佳方法。
效率： 因为它不需要“阅读”长篇文本笔记，所以比旧方法节省了 30% 到 50% 的计算能力（标记）。这就像是用更小的电池实现了同样的答案。
适应性： 当助手被抛入一个完全不同类型的问题（例如从普通数学转向化学）时，ExpWeaver 比其他方法学得更快。它意识到解决问题的模式是相似的，即使文字内容不同。

总结：
ExpWeaver 是一个让 AI 智能体学习过去错误与成功的系统，它不是通过阅读日记，而是通过感受记忆来进行学习。它将经历压缩成高效的微小信号，并将其直接混合进思考过程中，使 AI 变得更聪明、更快、更具适应性，而不会在阅读长文本上浪费能量。

技术摘要：ExpWeaver：通过潜在 RAG 实现 LLM 智能体从经验中学习

问题陈述
将过去的交互作为可重用的经验进行集成，是增强大语言模型（LLM）智能体规划与推理能力的关键方法。然而，现有方法大多局限于显式文本空间。目前的方法通常将经验存储为文本摘要，并通过语义相似度进行检索，然后将其拼接至模型的上下文窗口中。这种范式引入了显著的低效性：

Token 开销： 显式拼接消耗了大量的上下文窗口空间，限制了可检索经验的数量，并增加了推理成本。
架构解耦： 大多数方法采用独立的检索增强生成（RAG）模块（例如基于嵌入的检索器或搜索引擎），该模块独立于 LLM 的内部表示运行。这种分离导致无法针对下游任务目标实现检索与生成的联合优化。
表示瓶颈： 文本级检索依赖于表层语义相似度，这可能无法捕捉复杂推理或编程任务中所需要的深层结构对应关系。

方法论：ExpWeaver
为了解决这些局限性，作者提出了 ExpWeaver，这是一个使 LLM 智能体能够通过**潜在检索增强生成（latent retrieval-augmented generation）**从经验中学习的框架。与以往的工作不同，ExpWeaver 直接在 LLM 的潜在空间内执行检索，无需独立的 RAG 模块。该框架由三个核心组件组成：

具有在策略对齐（On-Policy Alignment）的经验库：
- 过去的轨迹（查询、推理链、输出、奖励）被压缩为文本摘要，并使用用于生成的同一个 LLM ( $p_\theta$ ) 被编码为稠密潜在嵌入 ( $z$ )。
- 具体而言，嵌入是从最后一个 Transformer 层的最后一个 token 的隐藏状态中导出的 ( $z = h_\theta(s)$ )。
- 这种设计确保了在策略对齐：随着策略在训练过程中不断演进，近期的经验会自然地落在兼容的嵌入区域内，从而产生类似于在策略强化学习的隐式近期偏好（recency bias）。
潜在检索增强生成：
- 潜在检索： 在每个解码步骤 $t$ ，当前的隐藏状态 $h_t$ 作为查询，通过余弦相似度从经验库中检索出前 $K$ 个经验嵌入（ $Z_t$ ）。无需外部检索器。
- 交叉注意力聚合： 检索到的嵌入通过一个使用可学习查询 token ( $u$ ) 的交叉注意力机制进行聚合。这使得模型能够根据经验与当前生成状态的相关性来动态分配权重。
- 门控集成： 聚合后的经验信号通过门控残差机制集成到隐藏状态中。可学习的保留门 ( $r_t$ )、输入门 ( $i_t$ ) 以及混合系数 ( $a_t$ ) 控制着保留原始隐藏状态与引入外部知识之间的平衡。这防止了过度的经验影响破坏模型的推理流。
基于强化学习的端到端训练：
- 整个流水线（策略 $\theta$ 和经验参数 $\psi_{exp}$ ）使用**组相对策略优化（GRPO）**进行联合优化。
- 该框架既支持生成式任务（如问答、编程），通过经验增强的解码产生文本输出；也支持排序任务（如推荐），通过计算最终隐藏状态与候选嵌入之间的相关性得分来实现。

核心贡献

统一的潜在空间框架： ExpWeaver 将检索与生成统一在共享的表示空间内，消除了对独立检索器的需求，并避免了文本拼接带来的 Token 开销。
自适应检索： 通过在每个解码步骤基于当前隐藏状态执行检索，系统能够学习到依赖于查询的经验利用方式，从而捕捉深层结构模式而非表层文本重叠。
任务无关性： 该架构自然地扩展到多种任务类型，包括问答、数学推理、代码生成、科学预测和序列推荐。

实验结果
作者在 ExpBench 上评估了 ExpWeaver，该基准测试涵盖了三个场景下的 13 个多样化任务：通用型（问答、推理、编程）、科学型（药物化学）和推荐型。

性能： ExpWeaver 在 13 项任务中的 12 项取得了最先进的结果（SOTA），平均超越最强的基线模型（Search-R1）达 6.8%。
Token 效率： 虽然像 Search-R1 这样的基于文本的检索方法由于显式拼接需要 1.5–2 倍的 Token，但 ExpWeaver 保持了与非检索基线（如 HRPO）相当的 Token 效率，仅多消耗约 10% 的 Token，却提供了显著更高的准确率。
泛化能力： ExpWeaver 展示了卓越的跨领域泛化能力。在零样本迁移设置下，它比最强的基线高出 16.32%；在少样本迁移中高出 15.21%，表明潜在经验表示能够捕捉更具迁移性的问题解决模式。
消融实验： 实验证实了使用交叉注意力聚合优于简单池化（pooling）的必要性，并确定了平衡经验集成与隐藏状态保留的最佳混合系数初始化范围。

意义与主张
论文声称 ExpWeaver 代表了 LLM 智能体经验学习的一次重大转变。通过从显式文本级操作转向潜在空间集成，该框架克服了以往方法的扩展性和适应性瓶颈。作者断言，这种方法使智能体能够更高效地从过去的交互中学习，以更低的计算成本实现更优的性能。此外，所展示的跨领域泛化能力表明，潜在经验表示足够鲁棒，可以将学习到的模式迁移到未知领域，从而可能加速在标注数据稀缺的专业领域（如科学研究）的发展。这项工作将 ExpWeaver 定位为迈向更高效、统一且有效的 LLM 知识利用的一步。

1. 隐形图书馆（潜空间/Latent Space）

2. 即时连接（潜检索/Latent Retrieval）

3. 智能混合器（门控集成/Gated Integration）

4. 结果：更快、更聪明

技术摘要：ExpWeaver：通过潜在 RAG 实现 LLM 智能体从经验中学习

类似论文