💬 NLP

Milestone-Guided Policy Learning for Long-Horizon Language Agents

本文介绍了 BEACON，这是一个里程碑引导的策略学习框架，它通过在里程碑边界划分轨迹并应用双尺度优势估计，解决了长程语言智能体中的信用误分配和样本效率低下问题，并在 ALFWorld 等基准测试中实现了最先进的性能。

原作者： Zixuan Wang, Yuchen Yan, Hongxing Li, Teng Pan, Dingming Li, Ruiqing Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zixuan Wang, Yuchen Yan, Hongxing Li, Teng Pan, Dingming Li, Ruiqing Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人管家去打扫一间凌乱的屋子。这项任务漫长而复杂：“找到蓝色钥匙，打开储藏室，把猫抱出来，然后喂它。”

如果机器人在最后一步失败（比如它忘了喂猫），传统的训练方法会说：“你失败了！回去把你做过的所有事情都撤销。”这意味着机器人会因为它早期做得好的事情（比如找到钥匙和打开门）而受到惩罚。它会感到困惑，因为它在开始时做对了，却因最后的失误而得了“差评”。

本文介绍了一种名为BEACON的新训练方法，旨在解决这种困惑。以下是其工作原理，通过简单的类比来说明：

问题：“全有或全无”的评分

现有方法（如 GRPO）将机器人一整天的表现视为一次单一的测试。

缺陷：如果机器人完美完成了 99% 的工作，却在最后一步绊倒，那么这一整天的表现都会被标记为失败。
结果：机器人无法从那 99% 的出色工作中吸取任何教训。它也会感到困惑，因为有时它执行了相同的动作（比如“找到钥匙”）会收到“做得好”的信号，而有时却收到“做得差”的信号，仅仅因为后续的步骤出了错。这就像学生因为忘记在试卷顶部写名字，尽管解对了每一道方程，却在数学考试中得到 F 的成绩。

解决方案：BEACON（“检查点”系统）

BEACON 通过将长任务分解为更小的章节，即里程碑，从而改变了游戏规则。将这些里程碑想象成电子游戏中的检查点。

1. 将旅程分解为段落
BEACON 不再等到最后才给机器人评分，而是寻找自然的停顿点。

示例：“你找到钥匙了吗？”（检查点 1）。“你打开门了吗？”（检查点 2）。
一旦机器人到达一个检查点，游戏就会“重置”它关于如何到达那里的记忆。机器人找到钥匙时走了多么奇怪的路并不重要；重要的是它现在就在钥匙旁边。

2. 为部分进展给予认可
在旧系统中，如果机器人在最后失败，它一整天的表现都得零分。

BEACON 的妙计：如果机器人找到了钥匙但后来失败了，它仍然会因为找到钥匙而获得“部分学分”的奖励。
比喻：想象一场接力赛。如果跑者在最后一圈掉了接力棒，旧系统会说整个团队都得零分。BEACON 则说：“第一棒跑得太棒了！他们完美地传递了接力棒。让我们给他们击掌并给点小奖励，即使最后一棒跑者掉了棒子。”这鼓励机器人继续努力到达下一个检查点。

3. “双尺度”教练
BEACON 使用两种类型的教练来提供反馈：

全局教练：关注最终结果。猫被喂了吗？是/否。这使机器人专注于最终目标。
分段教练：只关注当前章节。“你高效地打开门了吗？”这位教练只将机器人与那些也到达了“打开门”阶段的其它机器人进行比较。
这为何有帮助：它防止机器人因在它完成工作之后发生的事情而受到惩罚。如果机器人完美地打开了门，但组里的下一位机器人没能喂猫，第一位机器人不会因第二位机器人的失败而受责备。

结果：更聪明、更快速的学习者

作者在三个不同的“世界”中测试了这种方法：

ALFWorld：一个基于文本的家务清洁游戏。
WebShop：一个在线购物模拟。
ScienceWorld：一个虚拟科学实验室。

发生了什么？

旧方法：随着任务变长，机器人的表现变得更差。它们变得困惑并停止学习。
BEACON：机器人的表现越来越好，即使在非常长的任务中也是如此。
- 在最难的家务清洁任务中，BEACON 的成功率为93%，而旧方法的成功率仅为54%。
- BEACON 使训练效率大大提高。旧方法会丢弃 76% 的练习运行（因为它们在最后失败），而 BEACON 通过奖励部分成功，在**82%**的运行中找到了有用的教训。

总结

BEACON 就像一位聪明的老师，不仅仅看期末考试成绩。相反，这位老师在每一步都检查你的作业。如果你前三章做对了，但最后一章搞砸了，老师会说：“前三章做得太棒了！让我们修正最后一章。”这防止了学生放弃，并帮助他们更快地学习复杂、漫长的任务。

技术摘要：面向长视野语言智能体的里程碑引导策略学习（BEACON）

问题陈述

通过强化学习（RL）训练语言智能体执行长视野任务（需要数十个连续决策）时，面临基于轨迹级优化方法（如 GRPO）所固有的两个根本性局限：

信用误分配：当前方法仅依据最终结果分配信用。因此，如果后续动作导致失败，正确的早期动作也会受到惩罚。这导致针对相同的状态 - 动作对，根据下游随机性产生矛盾的梯度信号，随着任务视野的延长，引发梯度冲突和学习崩溃。
样本低效：随着任务视野变长，成功的轨迹变得稀缺。关键在于，那些实现了重要子目标但最终未能完成整体目标的轨迹，与完全失败的轨迹一样获得零奖励。这丢弃了来自“部分成功”的宝贵学习信号，导致大量样本无法提供有用的梯度。

现有尝试通过密集化信用分配的方法，如过程奖励模型（PRMs）或蒙特卡洛价值估计，引入了高昂的标注成本、计算开销，或依赖于在长视野场景中逐渐减弱的状态重复模式。

方法论：BEACON 框架

作者提出了BEACON（面向行动导航的基准环境），这是一个利用长视野任务组合结构来解耦各阶段信用分配的框架。其核心假设是里程碑马尔可夫性质：一旦语义子目标（里程碑）达成，未来的轨迹分布主要取决于剩余子目标，而非完整的执行历史。

BEACON 通过三个集成机制运行：

1. 里程碑边界处的轨迹划分

BEACON 不将轨迹视为扁平序列，而是根据指示子目标完成的可观测状态转换（例如，拾取物体、到达网页）将其划分为若干片段。里程碑检测器 $\Phi$ 从环境反馈中识别这些转换，无需学习模型或人工标注。

结果：轨迹被划分为由里程碑 $M_k$ 界定的片段 $Seg_k$ 。

2. 时间奖励塑形

为解决样本低效问题，BEACON 在片段内分配塑形奖励以信用化部分进展。

机制：对于成功到达里程碑的片段中的动作，分配带有时间衰减（ $\gamma^{t_k - t}$ ）的正奖励。对于未能到达里程碑的片段中的动作，分配零奖励。
效果：这将稀疏的终端信号转化为密集的反馈，确保智能体能够从那些完成了子目标即使最终任务失败轨迹中学习。

3. 双尺度优势估计

为了解决信用误分配，BEACON 在两个尺度上估计优势：

轨迹级优势（ $A_{traj}$ ）：基于终端结果全局计算（类似于 GRPO），以保持与整体任务成功的一致性。
片段级优势（ $A_{seg}$ ）：局部计算，仅将片段的回报与那些到达相同里程碑的其他轨迹进行比较。
方差隔离：通过将比较组限制在共享相同里程碑历史的轨迹上， $A_{seg}$ 将局部动作的质量与后续片段引入的方差隔离开来。这防止了早期正确动作因后续失败而受到惩罚。
组合：最终优势是加权和： $\hat{A} = A_{traj} + \lambda \cdot A_{seg}$ 。

主要贡献

局限诊断：本文通过实证识别并量化了信用误分配（在长任务中，超过 40% 的梯度更新包含矛盾信号）和样本低效（部分成功获得零奖励）是长视野 RL 性能崩溃的根本原因。
BEACON 框架：引入了一种里程碑引导的策略学习框架，该框架划分轨迹、应用时间奖励塑形，并利用双尺度优势估计，将局部动作质量与下游方差解耦。
理论保证：提供了一项证明，表明在里程碑马尔可夫性质下，片段级优势将局部动作质量与下游方差隔离开来，直接解决了信用误分配问题。
实证验证：在三个多样化的基准测试（ALFWorld、WebShop、ScienceWorld）中进行了全面评估，证明 BEACON 能随任务视野有效扩展，而现有基线则不能。

实验结果

实验使用 Qwen2.5-1.5B 和 Qwen2.5-7B 模型在 ALFWorld、WebShop 和 ScienceWorld 上进行。

长视野任务性能：在 ALFWorld 上，BEACON 在长任务上实现了**92.9%的成功率，几乎是 GRPO 实现的53.5%**的两倍。相比之下，GRPO 在短任务上的 76.7% 急剧下降至长任务上的 53.5%。
样本效率：BEACON 将有效样本利用率从 GRPO 的23.7%提升至82.0%，成功从其他方法丢弃的部分成功中提取了学习信号。
梯度质量：零优势比率（获得接近零优势的样本）从约 55%（GRPO）降至约 10%（BEACON），且矛盾动作比率显著降低。
与 SFT 的比较：BEACON 在神谕轨迹上优于监督微调（SFT）（91.4% 对比 43%），证实了收益源于策略优化发现了优于神谕的策略，而非简单的模仿。
鲁棒性：BEACON 在短、中、长视野下均保持鲁棒性能，而 GRPO 和 GiGPO 等基线随着任务长度增加表现出显著的性能下降。

意义与主张

本文主张，基于里程碑锚定的信用分配代表了训练长视野语言智能体的有效范式。通过利用智能体任务固有的组合结构，BEACON 克服了与决策序列增加相关的系统性性能崩溃。

作者强调，他们的方法不需要昂贵的过程奖励模型或额外的学习评论家。相反，它利用可观测的状态转换来提供精确的信用分配，使智能体能够从部分成功中高效学习并解决梯度冲突。结果表明，结构先验（里程碑）对于在语言智能体中扩展 RL 至关重要，为构建更强大的自主系统提供了途径，以应对网页导航、具身控制和科学实验等复杂的多步骤任务。