技术摘要：通过早期经验进行智能体学习

1. 问题陈述

语言智能体的长期目标是通过其在复杂现实世界任务中的自身经验进行学习和改进。然而，当前的训练范式面临显著局限：

• 强化学习（RL）： 虽然在具有可验证奖励的领域（如游戏）中取得了成功，但将 RL 应用于现实世界的语言智能体却十分困难。许多环境（如网站、多轮工具使用）缺乏可验证或稠密的奖励信号，或者需要低效的长视野 rollout，导致信用分配不稳定。
• 监督微调（SFT/模仿学习）： 大多数当前的智能体依赖于使用专家策划数据的 SFT。虽然高效，但这种方法存在固有的局限性：
  • 分布偏移： 智能体在训练期间不与环境交互，因此从未观察到非专家行动的后果。这导致当智能体偏离训练分布时，误差会不断累积。
  • 泛化能力有限： 专家演示仅捕捉了狭窄的场景范围，限制了智能体泛化到未见情况或从失败中恢复的能力。
  • 可扩展性： 高质量的专家演示难以规模化扩展。

核心挑战在于如何训练智能体不依赖外部奖励信号，也不受限于人类演示的覆盖范围，而是从自身经验中成长。

2. 方法论：早期经验范式

作者提出了早期经验（Early Experience），这是一种介于模仿学习和强化学习之间的中间范式。在此设定下，智能体不仅从人类策划的数据中学习，还从其在环境中由自身提议行动所驱动的未来状态中学习。这些未来状态作为监督信号，无需外部奖励。

该范式利用专家轨迹数据集 $D_{expert} = \{(s_i, a_i)\}$，并辅以 rollout 数据集 $D_{rollout} = \{(s_i, a^j_i, s^j_i)\}$，其中 $a^j_i$ 是从智能体策略中采样的替代行动，$s^j_i$ 是环境中观察到的相应下一状态。

在此范式下研究了两种具体的训练策略：

A. 隐式世界建模（IWM）

• 概念： 智能体将观察到的未来状态集合视为辅助预测任务，以内部化环境动态。
• 机制： 对于 rollout 数据集中的每个状态 - 行动对 $(s_i, a^j_i)$，模型被训练以预测产生的下一状态 $s^j_i$。
• 目标： 训练目标为下一个 token 预测损失：$L_{IWM} = -\sum \log p_\theta(s^j_i | s_i, a^j_i)$。
• 优势： 这使得策略能够直接学习环境行为中的规律（转换、副作用、无效结果），将智能体扎根于其操作环境中，而无需单独的模拟器模块。

B. 自我反思（SR）

• 概念： 智能体通过将其次优行动与专家行动进行比较，并生成自然语言解释来说明为何专家选择更优，从而从次优行动中学习。
• 机制： 对于每个专家状态 $s_i$，智能体执行专家行动 $a_i$ 得到 $s_{i+1}$，并执行替代行动 $a^j_i$ 得到 $s^j_i$。随后，模型被提示生成思维链解释 $c^j_i$，论证基于结果差异为何 $a_i$ 优于 $a^j_i$。
• 目标： 模型被训练为在给定状态 $s_i$ 的情况下联合预测推理过程 $c^j_i$ 和专家行动 $a_i$：$L_{SR} = -\sum \log p_\theta(c^j_i, a_i | s_i)$。
• 优势： 这从智能体自身的探索性失败中提取了细粒度、可迁移的决策原则（例如约束满足），超越了死板的模仿。

3. 主要贡献

1. 早期经验的形式化： 本文倡导并将早期经验形式化为模仿学习与 RL 之间可扩展、无奖励的桥梁。它赋予智能体将自身交互转化为学习信号的能力，而无需外部奖励。
2. 两种训练策略： 作者提出并系统研究了隐式世界建模（通过状态预测内部化动态）和自我反思（通过推理次优行动提炼决策原则）。
3. 综合评估： 该方法在八个多样化的环境（具身导航、网页导航、多轮工具使用、科学模拟和规划）以及多个模型系列（Llama-3.2-3B、Qwen-2.5-7B、Llama-3.1-8B）上进行了评估。

4. 实验结果

评估结果表明，相较于纯模仿学习基线，该方法表现出一致的改进：

• 有效性： 在所有八个基准测试和模型规模中，IWM 和 SR 均优于标准 SFT。
  • IWM 在具有可预测动态的结构化环境中显示出稳步提升（例如 ALFWorld、ScienceWorld、WebShop）。
  • SR 在需要多步推理和约束满足的任务中带来了显著改进（例如 TravelPlanner、BFCLv3）。
  • 值得注意的是，在 WebShop 上，IWM 将成功率提高了高达 18.4%（相较于模仿学习）。
• 域外（OOD）泛化： 早期经验方法 consistently 恢复了域外划分中相当一部分的性能差距。在某些情况下（例如 SearchQA），域外设置中的相对增益甚至超过了域内设置，这表明从自身 rollout 中学习使智能体能够应对演示未覆盖的状态。
• 数据效率： 即使使用显著更少的专家演示（例如 WebShop 上仅为 1/8 的数据），早期经验仍保持对模仿学习的领先优势。
• 模型扩展： 随着模型规模扩展至 70B 参数（Llama-3.3-70B），其优势依然存在，早期经验检查点始终占据性能曲线的顶端。
• RL 的基础： 当对经过早期经验训练的检查点应用后续的 RL（使用 GRPO）时，最终的性能上限显著高于从纯模仿学习检查点开始的情况。这表明早期经验为“经验时代”提供了稳健的初始化。

5. 意义与主张

本文将早期经验定位为自主语言智能体发展的必要垫脚石。其意义在于：

• 弥合差距： 它为奖励不可用或不可靠的环境提供了切实可行的解决方案，允许智能体从后果中学习，而不仅仅是从静态演示中学习。
• 可扩展性： 通过利用智能体自身的行动生成监督信号，减少了对昂贵的高质量人类演示的依赖。
• 面向未来： 它充当“中期训练”桥梁，一旦新环境中出现可验证的奖励，即可为完全由经验驱动的学习（RL）做好准备，从而在不从头训练的情况下解锁进一步的增益。

作者得出结论，早期经验使智能体能够现在就从自身交互中成长，解决了当前基于模仿方法的局限性，同时为未来由经验驱动的智能体时代奠定了基础。