🤖 machine learning

Training Language Agents to Learn from Experience

本文介绍了上下文训练（ICT）框架及一个基于强化学习的流程，该流程使语言智能体能够从过往交互中提炼经验并转化为可复用的系统提示，从而在无需人工监督的情况下实现跨任务自我提升并泛化至未见环境。

原作者： Yuval Shalev, Zifeng Ding, Mateja Jamnik

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuval Shalev, Zifeng Ding, Mateja Jamnik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但略显天真的机器人如何玩电子游戏。

问题：“一次性”失忆症
目前，这些被称为“语言智能体”的 AI 机器人擅长从错误中学习，但方式非常局限。如果它们在某一关游戏中失败，它们可以回顾并说：“哦，我撞错了墙”，然后立即重试。它们在那个特定关卡上会变得更擅长。

然而，一旦它们通过了那一关，就会忘记一切。如果你给它们一个略有不同的新关卡，它们表现得就像从未玩过这个游戏一样。它们必须从头开始重新学习教训。这就像一个学生为数学考试刻苦学习，得了 A，然后第二天走进物理课堂时，却表现得好像从未见过数字一样。它们无法将通用的教训（例如“始终检查周围环境”）“提炼”成可复用的规则手册。

解决方案：“教练”与“玩家”
本文作者引入了一个名为**上下文训练（In-context Training, ICT）**的新框架。这可以想象为一个两人团队：

玩家（执行者）： 这是试图完成任务的机器人。它玩游戏、犯错，并收集事件发生的“回放”。
教练（反思者）： 这是第二个 AI，它观看玩家的回放。教练的任务不是玩游戏，而是为玩家撰写新的操作手册（系统提示）。

这里的奥秘在于：教练不只是说“别撞那堵墙”。它会查看玩家刚刚尝试的一系列不同关卡，找出共同模式，并为玩家撰写一条通用规则，供玩家在未来未见过的关卡中使用。

训练：学习如何执教
最大的问题是：我们能否教会教练如何编写这些更好的手册？

研究人员没有使用人类教师或预先编写的示例。相反，他们使用了一个“试错”循环（强化学习）：

教练编写一本手册。
玩家使用该手册尝试解决一批新的、未见过的谜题。
如果玩家表现良好，教练会收到“干得好”的信号；如果玩家失败，教练会收到“再试一次”的信号。
教练从这些反馈中学习，以便下次编写出更好的手册。

结果：从国际象棋到烹饪
该团队在两个截然不同的“电子游戏”（模拟环境）上测试了这种方法：

ALFWorld： 一个基于文本的房屋环境，机器人需要找到物体、清洁它们，并将它们放置在特定位置（例如“冷却土豆并将其放入冰箱”）。
MiniHack： 一个网格世界游戏，机器人需要导航迷宫、进食或使用魔法棒。

他们的发现：

教练变得更聪明了： 经过训练的教练在编写操作手册方面比未训练的教练出色得多。它们成功地教会了玩家如何解决从未见过的新类型谜题，仅仅通过观察不同类型谜题的示例。
跨游戏魔法： 令人惊讶的是，研究人员将一位仅在网格世界游戏（MiniHack）上训练过的教练，用来指导玩家在房屋游戏（ALFWorld）中的表现。尽管这两个游戏完全不同，但教练仍然成功编写出了一本手册，帮助玩家的表现优于完全没有接受过指导的机器人。它学会了学习的技能，而不仅仅是特定游戏的规则。
回合越多，结果越好： 教练练习编写手册的次数越多（经历的“元回合”越多），玩家的表现就越好，甚至超过了教练在训练期间所经历的练习回合数。

工具包：MetaGym
最后，作者发布了一个名为MetaGym的免费软件工具。这可以想象为研究人员使用的“乐高套装”。它允许任何人轻松构建自己的“教练对玩家”训练环境，以测试其 AI 是否能从经验中学习。

** nutshell**
这篇论文证明，AI 智能体可以被训练成不再做“失忆者”。通过使用一位观察玩家经历并为未来编写更好规则的教练，AI 可以学习适用于新挑战的通用教训，这些挑战是它们之前从未见过的。这之间的区别在于：是一个只死记硬背一张地图的机器人，还是一个学会了如何阅读任何地图的机器人。

技术摘要：训练语言智能体从经验中学习

问题陈述

当前基于反思的大型语言模型（LLM）智能体方法主要侧重于单一任务实例内的自我修正。虽然这些方法通过多次尝试在特定问题上有效优化了行为，但它们未能将经验提炼为可复用的教训，从而提升对未来未见任务的表现。这一局限性在现实场景中至关重要，因为任务往往无法重复（例如国际象棋对局或烹饪），且理想情况下，从一个任务实例中获得的见解应能泛化到类似的未见任务。本研究的核心问题是：LLM 能否被训练以生成促进跨任务自我提升的自我反思？如果可以，如何在无需人类提供示例的情况下实现这一目标？

方法论

上下文训练（ICT）任务

作者引入了上下文训练（In-context Training, ICT）任务，这是一个旨在评估 LLM 从经验中学习以实现跨任务自我提升能力的框架。该框架采用双 LLM 架构：

执行器（ $LLM_{act}$ ）： 一个基于系统提示与环境交互的操作智能体。关键在于，在 ICT 任务的每一轮中，执行器面对的是全新的、未见过的任务批次，且每个任务仅有一次尝试机会。
反思器（ $LLM_{refl}$ ）： 一个元智能体，它观察由执行器收集的轨迹，并生成改进后的系统提示（ $sp_i$ ），旨在提升执行器在下一批未见任务上的表现。

目标是让反思器分析训练集（ $E_{train}$ ）中的回合，并生成一个系统提示，以最大化执行器在保留的验证集（ $E_{val}$ ，包含未见任务类型）上的累积奖励。

训练流程

为了使反思器能够习得这种能力，作者提出了一种基于强化学习（RL）的微调流程：

数据集构建： 使用基础模型多次运行 ICT 循环，生成由元组 $(sp_i, obs_i, \text{任务批次})$ 构成的数据集。这捕获了多样化的系统提示及其对应的元观察（交互轨迹）。
奖励信号： 训练奖励直接源于经验。对于反思器生成的候选系统提示，奖励是通过让执行器模型在新提示下重放前一批任务来计算的。这鼓励反思器识别前一批次中的性能问题并提出具有泛化能力的修复方案，而不是过拟合到当前的即时批次。
优化： 反思器使用GRPO（组相对策略优化）算法进行微调。在训练期间，反思器采样多个候选提示，这些提示通过让冻结的执行器重放任务进行评分。评分驱动优势估计和参数更新。

基础设施：MetaGym

作者介绍了MetaGym，这是一个通用的 Python 库，用于从现有的类 Gym 环境构建元环境。该工具促进了 ICT 所需的双 LLM 设置的创建，管理任务实例化、并行执行以及执行器与反思器之间的交互。

主要贡献

跨任务自我提升的训练流程： 一种微调 LLM 以生成反思的方法，旨在提升其在未见任务实例上的表现，且无需依赖人类提供的标签或示例。
上下文训练（ICT）任务： 一种新颖的评估框架，用于衡量在线自我提升能力，其中任务不可重复，迫使模型学习可迁移的策略，而非记忆特定解决方案。
MetaGym： 一个开源库，支持构建元环境，用于研究自我提升的语言智能体。

实验结果

该方法在两个基准测试上进行了评估：ALFWorld（基于文本的家庭任务）和MiniHack（2D 网格世界任务）。在这两种情况下，任务类型被划分为元训练集和元测试集，以确保反思器学习的是可泛化的策略，而非记忆特定的任务实例。

跨任务提升： 在两个基准测试中，经过训练的反思器在几乎所有保留的未见任务类型上，表现均一致优于未训练的基线模型（Qwen2.5-7B-Instruct）和初始提示。这表明从经验中学习的能力本身是一种可学习的元技能。
超越训练的泛化： 在某些情况下，在 MiniHack 上训练的反思器成功提升了 ALFWorld 任务的表现（反之亦然），表明在截然不同的环境之间存在可迁移性。
元轮次与视野： 性能在训练期间看到的元轮次（第 4 轮）之后继续提升，表明模型能够递归地优化其生成的提示。
批次大小效应： 较大的批次大小（ $k=5$ ）通常能产生更好的结果，特别是在 MiniHack 中，因为它提供了更多样化的经验并减少了奖励信号的稀疏性。然而，在 ALFWorld 中，较小的批次（ $k=3$ ）有时已足够，这表明根据环境不同，增大批次带来的收益会递减。

意义与主张

论文主张从经验中学习是一种可习得的能力。通过将焦点从单一任务内的自我修正转移到跨任务家族的自我提升，作者为开发能够适应开放环境的通用智能体提供了一条途径。

这项工作强调：

反思机制可以被训练以提取可复用的教训，超越当前智能体必须为每个新任务“重新学习”教训的范式。
这种能力可以在没有人类监督的情况下获得，仅依赖智能体自身的交互数据。
所提出的框架（ICT）和工具（MetaGym）提供了一种标准化的方法来评估和研究自我提升的智能体，可能将领域的注意力转向跨任务泛化。

作者对局限性保持谦逊，指出维护独立的执行器和反思器模型计算成本高昂，且当前依赖固定的保留集进行评估可能无法完美镜像现实中此类集合不可用的场景。他们建议未来的工作可以探索无需固定停止标准的全生命周期学习。