💬 NLP

Why Do LLM Agents Fail in Exploring New Environments? A World-Modeling Perspective

本文将“探索崩溃”（exploration collapse）识别为一种关键的失效模式，即大语言模型（LLM）智能体在强化学习过程中，在陌生环境中失去了发现新解的能力，并提出了 SPA 方法，该方法通过在优化奖励之前，先通过自我经验监督微调使智能体在状态和转移预测方面实现落地，从而提升性能。

原作者： Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Ruochen Zhou, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

发布于 2026-09-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Ruochen Zhou, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个旨在像人类一样思考和行动的计算机程序，它能够解决谜题、在虚拟世界中导航，甚至可以使用网络浏览器来查找信息。这些被称为大型语言模型的程序，通过在互联网上的海量文本上进行训练，学习如何预测句子中下一个出现的词。当研究人员要求这些模型扮演“智能体”（agents）——即采取步骤来实现某个目标时，他们通常使用一种称为“强化学习”的方法。这是一个模型尝试不同动作，并根据其成功或失败获得反馈，进而逐渐学会重复那些能导致成功的动作的过程。这是一种强大的方法，可以教会机器去做那些它并未被明确编程执行的事情。然而，当这些智能体被置于全新的、陌生的情境中时，一个关键问题出现了。虽然它们可能学会了解决以前见过的特定谜题，但它们往往难以弄清楚如何探索一个完全新的环境，容易陷入一种狭隘的思维方式，从而阻碍它们找到最佳解决方案。

一个研究小组致力于研究为什么这些智能智能体在遇到未知情况时会失败。他们发现了一种他们称之为“探索崩溃”（exploration collapse）的特定现象。简单来说，当智能体在处理一项新任务时，它往往学会了寻找一条特定的成功路径，然后忽略所有其他可能性。它变得如此专注于那单一的路线，以至于失去了尝试不同方法的能力。研究人员通过观察两个不同的指标来衡量这一点：一个追踪智能体的“最佳猜测”是否奏效，另一个追踪它的“许多不同猜测”中是否有任何一个奏效。在熟悉的任务中，随着智能体的学习，这两个得分都会提高。但在新的、困难的环境中（例如一个需要将箱子推向特定目标的网格谜题），代表单个最佳猜测的得分略有上升，而代表尝试多种路径的得分实际上却下降了。智能体正在变得对一个错误的习惯更加自信，而不是变得更加灵活。发生这种情况是因为智能体并没有真正理解它所处的新世界的规则；它是在没有坚实基础的情况下进行猜测。

为了解决这个问题，研究人员开发了一种名为 SPA（Self-Experience Agent，自我经验智能体）的新型训练方法。他们并没有立即尝试教智能体如何获得奖励，而是先教它如何理解周围的世界。他们给智能体一个机会，让它在没有得分压力的情况下自主探索环境。在这个阶段，智能体被要求描述它所看到的内容，并预测如果它采取某种行动，接下来会发生什么。例如，如果智能体看到一个箱子在特定位置，并决定推动它，它必须首先陈述箱子的位置，然后预测它最终会停在哪里。研究人员随后利用来自环境的实际、正确的结果来纠正智能体的预测，这实际上是在教它该特定游戏的“物理定律”。这个过程在智能体的思维中创建了一种类似于内部地图或“世界模型”的东西，将其理解锚定在现实之中，而非模糊的猜测。

一旦智能体建立了这种对世界运作方式的内部理解，研究人员就开始了标准的训练过程，以教它如何获胜。结果是令人惊叹的。在测试一个名为“推箱子”（Sokoban）的益智游戏（智能体必须将箱子推向目标点）时，标准训练方法仅能让智能体取得约 25% 的成功率。使用这种新方法后，成功率跃升至接近 60%。在另一个涉及冰冻湖泊的谜题中，成功率从约 22% 提升到了 70% 以上。或许最令人惊讶的是，一个使用这种方法训练的极小型计算机模型，其表现竟然超越了一个使用旧有标准方法训练的更大、更强大的模型。这个小模型因为先学习了游戏的规则，因此能够比那个仅仅试图通过猜测来获取奖励的巨型模型更有效地应对复杂的谜题。

研究人员还测试了这种方法是否适用于其他类型的任务，例如逻辑谜题“数独”以及一个模拟家务劳动的环境。在每种情况下，这种先教智能体理解世界状态、再尝试获胜的方法都取得了更好的结果。他们发现，成功的关键不在于拥有更多的数据或更大的计算机，而在于学习发生的顺序。通过强制智能体首先学习环境的结构，它避免了陷入单一且脆弱策略的陷阱。智能体学会了保持多种选择的可能性，因为它理解了行为的后果，从而能够进行探索。这种方法表明，对于人工智能要实现真正的适应新环境和复杂情况的能力，它需要在尝试优化成功之前，建立起对现实的可靠理解。这项研究表明，当一个智能体植根于环境的实际机制时，它可以更有效地进行探索，并解决以前无法解决的问题。

技术摘要：为什么 LLM Agent 在探索新环境时会失败？——基于世界模型的视角

1. 问题陈述：未知环境中的探索崩溃

本文识别了当智能体（Agent）部署在与其预训练分布不符的陌生环境中时，智能体强化学习（Agentic RL）的一种关键失效模式。虽然标准的强化学习（RL）可以提高在熟悉设置（如 ALFWorld、WebShop）下的单轨迹成功率（Pass@1），但在陌生环境（如 Sokoban、FrozenLake、Sudoku）中，它会导致作者所称的**探索崩溃（Exploration Collapse）**现象。

在这些由相对于模型先验知识的高状态困惑度（State Perplexity）所刻画的陌生领域中，标准 RL 会导致 Pass@k（即 $k$ 次采样轨迹中至少有一个成功的概率）随着训练过程显著下降，即便 Pass@1 略有上升。这种背离表明策略变得日益脆弱，趋向于收敛到狭窄、利用性的解路径，同时失去了多样化尝试或稳健泛化的能力。作者将这种崩溃归因于对环境状态和动力学的**接地（Grounding）**能力的缺失；智能体未能内化环境底层规则的“世界模型”，导致状态解析能力差且信用分配（Credit Assignment）无效。

2. 方法论：SPA（自我经验智能体）

为了缓解探索崩溃，作者提出了 SPA，一个“先探索后利用”的框架，旨在通过在优化奖励之前先为智能体建立接地能力。与在规划期间查询显式世界模型的经典基于模型的 RL 不同，SPA 将世界建模内化为策略本身的一个冷启动初始化过程。

该框架由两个主要阶段组成：

A. 状态估计（接地）

为了解决原始符号状态字符串（如网格地图）具有高困惑度的分布偏移问题，SPA 使用一个抽象的、结构化的表示 $b_t$ 来增强原始状态 $s'_t$ 。

机制： 模型被提示在生成原始观测的同时，生成当前状态的结构化自然语言描述（例如：玩家、箱子和目标的坐标）。
目标： 这降低了状态的困惑度，并将陌生的符号输入转化为熟悉的、可解释的表示，从而促进更好的推理。

B. 自我经验监督微调（SFT）

在进行 RL 之前，智能体通过使用自身的交互轨迹进行监督微调阶段，以学习转移动力学（Transition Dynamics）。

数据收集： 基础模型自由地探索环境以收集轨迹 $\tau = (s_0, o_0, a_0, \dots)$ 。
世界建模目标： 在推理过程中（位于 <thought> 和 </thought> 标签之间），模型被提示显式描述当前状态（<observation>）并预测下一个状态（<prediction>）。
真值监督： 至关重要的是，模型自生成的关于当前和下一状态的信念会被环境模拟器提供的真值状态（ $s_t, s_{t+1}$ ）所替换。随后，模型通过 SFT 进行训练，以预测这些接地的状态及随后的动作。
损失函数： 训练过程最小化包含状态描述和预测的推理跨度上的掩码标记级交叉熵损失，从而有效地教会智能体环境的转移核 $p(s_{t+1} | s_t, a_t)$ 。

C. RL 训练

经过 SFT 训练、现已具备接地内部世界模型的智能体，作为标准近端策略优化（PPO）的初始化。RL 阶段使用接地的状态表示来优化任务奖励，而不会添加可能干扰主要目标的辅助世界建模奖励。

3. 核心贡献

诊断探索崩溃： 本文通过实验表征了陌生环境中 Pass@1 与 Pass@k 之间的背离，并将其识别为接地失败而非通用的 RL 低效问题。
SPA 框架： 提出了一种简单且可扩展的方案，将世界建模（SFT）与奖励优化（RL）解耦，利用自我经验数据来初始化策略。
消融实验与机制分析： 通过受控研究，作者分离出驱动 SPA 成功的四个关键因素：
- 接地状态表示： 将原始状态抽象为结构化坐标。
- 显式转移建模： 学习预测下一个状态，而不只是动作。
- 自我经验轨迹： 从足够强大的探索策略中收集数据（随机动作无法带来收益）。
- 充足的数据覆盖： 确保足够的转移数据和格式遵循。
在 3B 以下模型的表现： 该方法使小型模型（如 Qwen2.5-1.5B）在复杂的空间推理任务上显著超越了规模大得多的基线模型（如 GPT-OSS-20B）。

4. 实验结果

作者在多个模型家族（Qwen2.5, LLaMA-3.2, GPT-OSS）和环境（Sokoban, FrozenLake, Sudoku）中评估了 SPA。

性能提升： 在 Qwen2.5-1.5B-Instruct 模型上，SPA 将 Sokoban 的成功率（Pass@1）从 25.6%（Vanilla RL）提升至 59.8%，将 FrozenLake 从 22.1% 提升至 70.9%。
恢复探索能力： 与 Vanilla RL 中 Pass@k 退化的现象不同，SPA 持续提升了 Pass@1 和 Pass@k（例如，Sokoban Pass@8 从 34.0% 上升至 69.5%）。
基线对比： SPA 优于“状态估计 RL”（缺乏转移建模）以及 VAGEN（一种基于奖励塑造的世界建模基线）。作者指出，VAGEN 的在线奖励塑造会干扰 RL 目标，而 SPA 的离线 SFT 方法提供了更纯净的初始化。
泛化性： 在简单变体（如 4x4 FrozenLake）上训练的 SPA 成功迁移到了更难的变体（6x6），展示了“由易到难”的迁移能力。然而，跨游戏泛化（从 Sokoban 到 FrozenLake）仍然困难，这表明世界模型是针对特定环境家族的。

5. 重要性与主张

本文声称，在陌生环境中扩展智能体 RL 的主要障碍不是缺乏奖励信号，而是缺乏接地的状态和转移理解。通过在优化奖励之前显式地教导智能体建模环境动力学，SPA 恢复了智能体探索多样化解路径的能力。

作者强调，SPA 是一种以策略为中心的方法，其中世界模型被内化为一个先验，而不是在推理时使用的外部模拟器。他们得出结论，通过自我经验 SFT 来实现策略接地，是对于在分布外设置中进行有效 RL 的必要前提，为构建在陌生环境中稳健的智能体提供了一个可复现的起点。

承认的局限性：
作者指出，目前的研究结果主要限于网格类交互式基准测试和中小规模的开源模型。他们承认 SPA 在 SFT 阶段依赖于访问真值状态（特权信息），如果没有额外的感知模块，这在许多现实世界的部署中可能无法获得。此外，跨游戏的泛化仍然是一个挑战。