🤖 AI

A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

该论文提出了一种结合子目标分解的在线规划框架与基于里程碑的密集奖励强化学习训练方法（MiRA），显著提升了大语言模型代理在长周期任务（如网页导航）中的规划能力与成功率，使其在开源模型上的表现超越了包括 GPT-4o 在内的现有最先进系统。

原作者： Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

发布于 2026-03-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个大问题：让大语言模型（LLM）像人类一样，能够独立完成那些步骤很多、时间很长的复杂任务（比如在网页上找东西、填表单），而不是做着做着就“迷路”或“卡死”了。

想象一下，你让一个刚学会开车的人（现在的 AI 模型）去开长途车，从北京开到广州。

现在的 AI 问题： 它可能刚开出几百公里，看到路边有个加油站，就忘了要去广州，开始研究怎么加油；或者在某个路口转圈，怎么也找不到正确的路，最后车没油了（任务失败）。
论文的核心思想： 给这个司机（AI）配一个**“智能导航仪”，并且给司机安排“里程碑式”的奖励机制**。

下面我用三个生动的比喻来拆解这篇论文的两个核心贡献：

1. 核心痛点：为什么 AI 做长任务会“翻车”？

现在的 AI 就像一个**“记性不太好且容易走神”的实习生**。

在线执行时（推理阶段）： 当任务变长，它看着眼前的网页，容易忘记最初的目标。比如老板让它“找一家离 CMU 50 英里内最近的咖啡馆”，它可能搜着搜着，看到个“汉堡王”就点进去了，完全忘了还要找“咖啡馆”。它会在错误的路上越走越远，最后死循环（卡在原地转圈）。
训练时（强化学习阶段）： 如果只告诉它“最后成功了给 100 分，失败了 0 分”，它根本不知道中间哪一步做对了。就像你让实习生去修一台复杂的机器，只有修好才给奖金，修不好就扣钱。实习生在中间拆了 100 个螺丝，根本不知道哪个螺丝是关键的，最后只能靠运气瞎蒙。

2. 解决方案一：在线“智能导航仪” (Subgoal Decomposition)

比喻：把“爬珠峰”变成“登台阶”

论文提出了一种**“子目标分解”**的方法。

以前： 直接给 AI 一个终极目标：“爬上海拔 8848 米的珠峰”。AI 看着山顶，不知道第一步该迈哪条腿，容易慌。
现在（MiRA 框架）： 利用一个更聪明的“大老师”（Google 的 Gemini 模型），把大目标拆解成一个个具体的**“路标” (Subgoals)**：
1. 先穿上登山鞋。
2. 走到大本营。
3. 适应高海拔。
4. 冲顶。

怎么工作？
AI 每走一步，都会停下来问自己（通过“自我反思”机制）：

“我刚才走到大本营了吗？”（检查路标 1 是否完成）
“我现在该去适应高海拔了吗？”（规划下一步）
“我是不是在原地转圈了？”（发现卡死，立刻纠正）

效果： 这就像给 AI 装了一个实时导航。即使它偶尔走错，导航也会立刻发现：“嘿，你偏离路线了，快回到‘大本营’这个路标上来！”这让 AI 不容易迷路，大大减少了“卡死”的情况。

3. 解决方案二：训练时的“里程碑奖励” (MiRA - Milestoning your Reinforcement Learning)

比喻：把“期末考”变成“闯关游戏”

在训练 AI 时，传统的做法是**“期末考”：只有最后任务完全成功才给奖励。这太难了，AI 学不会。
论文提出了 MiRA 框架，把训练变成了“打怪升级的闯关游戏”**。

传统训练： 只有通关（比如成功买到票）才给金币。AI 试了 100 次，99 次失败，1 次成功，它根本不知道那 99 次里哪一步做对了。
MiRA 训练： 设置**“关卡奖励”**。
- 打开了网页？给 1 分。
- 找到了搜索框？给 2 分。
- 输入了关键词？给 3 分。
- 最后买到了票？给 100 分。

关键点：
论文设计了一个**“潜力评估员” (Potential Critic)。它就像一个“进度条”**。

它不只看最后结果，而是实时计算：“你现在完成了任务的 30% 还是 60%？”
只要 AI 往前走了一步（比如完成了子目标），它就立刻给奖励。
这样，AI 就能清楚地知道：“哦！原来点击这个按钮是通往成功的关键一步！”

4. 最终成果：小模型逆袭大模型

这篇论文最厉害的地方在于，它让开源的小模型（Gemma-3-12B） 变得比谷歌自家的超级大模型（Gemini-2.5 Pro） 还要聪明。

数据说话： 在复杂的网页导航测试中，原本只有 6.4% 成功率的小模型，用了这套方法后，成功率飙升到了 43.0%！
对比： 这个成绩甚至超过了 GPT-4o (13.9%) 和 GPT-4-Turbo (17.6%)。

为什么能赢？
因为大模型虽然聪明，但如果没有好的“导航”和“奖励机制”，它在长任务中也会走神。而小模型虽然底子弱，但通过**“拆解任务（导航）”和“步步有奖励（闯关）”**，它学会了如何稳扎稳打，不再乱跑。

总结

这篇论文就像给 AI 装上了两样神器：

一副“千里眼”和“指南针”： 在做事的时候，时刻提醒它“你现在的目标是什么，你走到哪一步了”，防止它走神或迷路。
一套“即时反馈系统”： 在训练的时候，每完成一个小任务就给糖吃，让它知道怎么一步步走向成功，而不是等到最后才给糖。

通过这两招，AI 终于能像经验丰富的老手一样，从容地处理那些繁琐、漫长的数字世界任务了。这不仅是技术的进步，更是让 AI 从“聊天机器人”进化为真正的“数字员工”的关键一步。

1. 研究背景与核心问题 (Problem)

背景：
基于大语言模型（LLM）的智能体（Agents）已成为操作数字环境（如网页导航、操作系统控制）的强大工具。然而，在处理**长视野（Long-Horizon）**任务时，现有的智能体表现出明显的规划能力不足。

核心痛点：

在线执行中的迷失： 随着新信息的涌入，智能体容易失去对最终目标的追踪，缺乏清晰且自适应的路径，导致陷入非生产性的动作循环（"Stuck Midway"）或选择次优路径。
强化学习（RL）微调中的稀疏奖励： 在 RL 微调阶段，由于奖励信号稀疏且延迟（仅在任务结束时给出成功/失败信号），智能体难以识别哪些中间动作导致了成功，难以在长任务中维持连贯的推理。
现有方法的局限：
- 监督微调（SFT）受限于静态数据，泛化能力差。
- 现有的分层规划或过程奖励模型（PRM）往往依赖隐式表示或易受噪声干扰的软信号，导致训练不稳定或推理开销过大。

量化分析发现：
作者通过自动化失败分析发现，**“中途卡死”（Get Stuck Midway）**是现有模型（包括专有模型如 Gemini-2.5-Pro 和开源模型如 Gemma）最主要的失败模式（占比约 42%-49%）。这表明缺乏有效的实时规划和里程碑意识是主要瓶颈。

2. 方法论 (Methodology)

作者提出了一个统一的子目标驱动框架，结合了推理时的在线规划和训练时的离线强化学习。该方法包含三个核心组件：

2.1 子目标生成 (Subgoal Generation)

机制： 利用强大的教师模型（Gemini-2.5-pro）将高层任务指令分解为结构化的、可验证的中间子目标（里程碑）。
验证： 通过大量轨迹分析验证，生成的子目标与最终成功具有高度的单调相关性（完成更多子目标意味着更高的成功概率），可作为可靠的进度信号。

2.2 推理时动态里程碑规划 (Inference-Time Dynamic Milestoning)

框架： 引入“动态里程碑”机制（Dynamic Milestoning），让智能体在执行每一步前进行回溯性反思（Retrospective Reflection）。
流程：
1. 智能体查询历史轨迹（截图、动作日志）。
2. 回答三个关键问题：“我已达成哪些里程碑？”、“当前子目标是否完成？”、“下一步应达成什么里程碑？”。
3. 利用“自动评分器（AutoRater/LLM-as-Judge）”将当前状态与子目标清单进行比对，更新显式的进度向量。
优势： 这种机制将模糊的执行状态转化为结构化的上下文，使智能体能够实时检测偏差并进行自我纠正，防止错误传播。

2.3 MiRA：基于里程碑的强化学习微调 (MiRA: Milestoning your Reinforcement Learning Enhanced Agent)

这是一个离线 RL 训练框架，旨在解决稀疏奖励问题：

双 Critic 架构：
1. 价值 Critic ( $V_\phi$ )： 学习最终任务的成功概率（稀疏奖励）。
2. 潜力 Critic ( $P_\psi$ )： 基于子目标完成度学习的密集进度模型。它预测当前状态距离最终目标的“距离”或进度。
基于潜力的奖励塑形 (Potential-Based Reward Shaping)：
- 将离散的子目标完成信号转化为连续的进度标签（通过线性插值）。
- 训练 $P_\psi$ 回归这些进度标签。
- 在 RL 更新中，引入辅助奖励 $r' = r + \alpha(P_\psi(s_{t+1}) - P_\psi(s_t))$ ，为中间步骤提供密集的反馈信号，指导智能体逐步接近目标。
策略优化： 采用基于均方误差（MSE）的回归目标来优化策略（Actor），而非传统的 KL 散度最小化。这使得模型能够利用离策略（Off-policy）数据，并更有效地处理正负优势动作的权重调整。
迭代课程学习： 结合自动化失败分析，将失败轨迹转化为更难的课程任务，迭代更新策略，不断修补智能体的弱点。

3. 主要贡献 (Key Contributions)

自动化失败分析器： 开发了一个系统化的分析工具，能够量化并分类智能体的失败模式（如“中途卡死”、“错误终止”），揭示了长视野任务中规划能力的缺失是核心瓶颈。
推理时子目标规划框架： 提出了一种轻量级的子目标引导规划机制，直接集成到推理循环中，显著提升了专有模型和开源模型的长视野推理能力。
MiRA 训练框架： 提出了 MiRA，利用基于里程碑的密集奖励塑形（Potential-Based Reward Shaping）和双 Critic 架构，有效解决了 Web 导航任务中的稀疏奖励和信用分配难题。

4. 实验结果 (Results)

实验在 WebArena-Lite 基准（包含 165 个真实世界任务）上进行：

开源模型性能突破：
- 将开源模型 Gemma-3-12B 的成功率从 6.4% 提升至 43.0%。
- 这一成绩超越了专有模型 GPT-4-Turbo (17.6%) 和 GPT-4o (13.9%)，也超过了之前的开源 SOTA WebRL (38.4%)。
专有模型增强：
- 将 Gemini-2.5-Pro 结合推理时规划（SGO）后，成功率从 23.0% 提升至 32.1%（绝对提升约 10%）。
失败模式分析：
- 在 Gemini-SGO 中，“中途卡死”（Stuck Midway）的错误率从 48.41% 降至 39.87%，证明了动态里程碑机制在打破局部最优和导航死循环方面的有效性。
消融实验：
- 移除潜力 Critic（密集奖励）导致性能停滞在 ~35%。
- 移除双重鲁棒优势估计（Doubly-Robust Estimation）导致训练早期崩溃。
- 使用 KL 散度替代 MSE 回归导致性能显著下降，证明了 MSE 回归在离策略学习中的优越性。

5. 意义与展望 (Significance)

解决长视野瓶颈： 该研究证明了通过显式的推理时规划与基于里程碑的密集奖励相结合，可以显著提升 LLM 智能体在复杂、多步任务中的表现。
开源模型超越闭源： 展示了通过精心设计的训练框架（MiRA），中等规模的开源模型（12B 参数）可以超越参数量大得多的专有模型，降低了构建高性能自主智能体的门槛。
自我进化的潜力： 框架展示了“规划 - 诊断 - 训练”的闭环潜力。利用教师模型生成子目标和课程，智能体可以自主地从失败中学习，为构建真正**自我进化（Self-Evolving）**的自主系统铺平了道路。
工程与科学价值： 不仅提供了提升 Web 智能体性能的工程方案，还从科学角度揭示了当前 LLM 智能体在长视野任务中失败的根本原因（缺乏里程碑意识和规划），为未来的研究指明了方向。

总结： 这篇论文提出了一套系统性的解决方案，通过“拆解目标”和“密集反馈”两个核心策略，成功解决了 LLM 智能体在长视野任务中“走不远、易迷路”的难题，实现了开源模型在复杂 Web 导航任务上的 SOTA 表现。