🤖 machine learning

Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning

本文提出了严格子目标执行（SSE），这是一种基于图的层次强化学习框架，它利用前沿经验回放来区分可行与不可行的子目标，从而提升稀疏奖励环境中的长程规划效率与成功率。

原作者： Jaebak Hwang, Sanghyeon Lee, Jeongmo Kim, Seungyul Han

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jaebak Hwang, Sanghyeon Lee, Jeongmo Kim, Seungyul Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人穿越一个巨大而复杂的迷宫，以寻找特定的宝藏。这是一项“长视野”任务：宝藏远在前方，机器人只有在真正找到宝藏时才会收到“做得好”的信号（奖励）。这使得学习变得极其困难，因为机器人必须在没有任何反馈的情况下，对很长一段时间内的行动进行猜测。

本文介绍了一种名为**严格子目标执行（Strict Subgoal Execution, SSE）**的新训练方法，旨在帮助机器人更可靠地解决这些棘手难题。其工作原理可分解为以下简单概念：

1. 问题：“虚假成功”的陷阱

过去，当机器人尝试学习这些任务时，它们使用了一种称为“事后经验回放”（Hindsight Experience Replay, HER）的技巧。想象一个机器人试图跳过墙壁到达目标，却失败并掉进了沟里。HER 会审视这次失败，并说：“好吧，你没到达墙壁，但你确实到达了沟里！让我们假装沟里原本就是目标。”

虽然这有助于机器人学习如何到达沟里，但它给长距离规划带来了严重问题。机器人的“大脑”（高层规划器）开始想：“哦，我能到达沟里，所以这是一个有效的步骤！”它会不断选择实际上是死胡同或无法到达的步骤，浪费时间和能量。这就像是一个 GPS 不断告诉你转向一条通往悬崖的道路，仅仅因为你曾经成功地把车开到了悬崖边缘一次。

2. 解决方案：“严格子目标”规则

作者提出了严格子目标执行（SSE）。SSE 不再假装每一次失败都是成功，而是规定：“如果你没有到达我指定的确切位置，那这次尝试就是失败。”

类比：想象一位教练告诉一名跑步者：“跑到红色圆锥桶那里。”如果跑步者绊倒并停在蓝色圆锥桶处，教练不会说：“到达蓝色圆锥桶，干得好！”教练会说：“你没能到达红色圆锥桶。让我们精确分析你停在哪里以及为什么。”
结果：机器人学会了在选择“子目标”（ waypoints）时非常谨慎。它不再选择无法实现的目标，而只规划那些它确定能够完成的路线。

3. “前沿经验回放”（FER）地图

为了让这一严格规则生效，作者构建了一个特殊的记忆系统，称为前沿经验回放（Frontier Experience Replay, FER）。你可以将其想象成一张地图，它在“我们肯定能到达的地方”和“我们无法到达的地方”之间画出一条分界线。

失败转换：如果机器人试图前往某处却撞上了，FER 会将该位置标记为“危险区域”。
部分成功：如果机器人在中途停止，FER 会将该中途点标记为“最后安全停留点”。
优势：这创造了一个清晰的“前沿”或边界。机器人学会停留在安全线的一侧，避免规划通往“危险区域”的路线。

4. 两位专门的探索者

为了确保机器人不会被困在迷宫的某个角落，SSE 为探索过程使用了两种不同的“角色”：

利用者（规划者）：这是智能规划器，它利用地图选择通往目标的最佳、最可靠的路线。它只选择它确信能够到达的目标。
探索者（冒险家）：这是大脑中专门负责发现新领域、未探索区域的部分。它故意选择奇怪、随机或“新奇”的地点进行访问。
类比：想象一个寻宝团队。探索者跑进树林寻找新路径并绘制未知区域的地图。规划者则留在基地，查看探索者绘制的地图，仅利用探索者发现的安全路径，规划出通往宝藏的最有效路线。

5. “道路修复”机制

有时，即使一条路径在地图上看起来很短，也可能布满导致机器人撞毁的坑洼（障碍物）。SSE 拥有一个名为**故障感知路径优化（Failure-Aware Path Refinement）**的功能。

工作原理：如果机器人在某座狭窄的桥上反复撞毁，系统不会忽视它，而是在机器人内部地图上的那座桥上竖起一块巨大的“道路封闭”标志（增加该路径的成本）。
结果：机器人的规划器（Dijkstra 算法）会自动寻找一条绕过桥梁的更长、更安全的替代路线，而不是试图强行穿过撞毁区域。

结果总结

该论文在 9 种不同的困难机器人任务上测试了这种方法，包括具有狭窄瓶颈的迷宫，以及机器人必须先捡起钥匙才能打开宝箱的任务。

结果：SSE 始终优于其他先进方法。它学习得更快，犯错更少，并且在解决漫长而复杂的任务方面表现更好。
关键要点：通过严格界定什么是“成功”，并利用智能地图避开已知的故障区域，机器人能够在长距离规划中更加高效，而不会迷失方向或陷入死循环。

作者还指出，他们的代码对他人开放使用，并且该方法在不同类型的机器人环境中表现良好，从二维迷宫到三维导航均适用。

技术摘要：严格子目标执行（SSE）

问题陈述

当目标遥远且奖励稀疏时，长视野目标条件强化学习（GCRL）面临根本性挑战。尽管分层强化学习（HRL）试图通过将任务分解为高层子目标和底层执行来解决这一问题，但现有方法往往遭受子目标不可行性的困扰。

传统的基于图的 HRL 方法通常依赖事后经验回放（HER），将中间状态重新标记为成功的子目标。作者认为，这种方法在长视野设置中存在缺陷，因为它在未验证智能体是否实际到达预期子目标的情况下，将失败的轨迹视为成功。这导致了：

低效的高层规划：高层策略学会选择不可靠或无法到达的子目标，导致不必要的长轨迹和不稳定的训练。
信用分配问题：奖励分散在过多的步骤中，阻碍了对早期关键决策的强化。
可扩展性限制：随着当前状态与最终目标之间距离的增加，所需的高层决策数量随之增长，导致训练不稳定。

方法论：严格子目标执行（SSE）

本文提出了严格子目标执行（SSE），这是一种基于图的 HRL 框架，旨在强制子目标选择和执行的可靠性。SSE 基于以下原则：仅当底层策略能在单个高层步骤内到达子目标时，该高层子目标才被视为有效。

1. 前沿经验回放（FER）

SSE 的核心创新是前沿经验回放（FER），它用一种明确区分可达与不可达子目标的机制取代了标准的 HER。FER 不再将所有访问过的状态重新标记为成功，而是将高层转换分为三类：

成功：底层策略在定义的阈值（ $\lambda$ ）内到达子目标。该转换以完整的累积奖励存储。
失败即停止：底层策略未能到达子目标。 episode 立即终止，奖励设为零，该转换被存储以惩罚选择此子目标的行为。
部分成功：如果智能体未能到达最终子目标，但到达了规划路径上的特定航路点，则该“最后可靠到达”的状态被记录为部分成功。

该机制划定了一条可达性前沿，使智能体能够识别并避开不可靠的子目标，同时仅强化可行的转换。

2. 解耦探索策略

为了抵消严格失败惩罚带来的保守性（这可能导致智能体避免探索风险高但必要的区域），SSE 采用了一种解耦探索策略（ $\pi_{exp}$ ）。

利用策略（ $\pi_h$ ）：在 FER 上训练，用于选择到达最终目标的最佳子目标。
探索策略（ $\pi_{exp}$ ）：一个专门针对目标空间中未充分探索区域的策略。它从新区域（通过基于网格的访问计数或基于模型的预测误差识别）中采样子目标，以确保对状态空间的广泛覆盖。
智能体在由探索比率 $\eta$ 控制的这两个策略之间交替，确保智能体即使在稀疏奖励环境中也能发现可达的子目标。

3. 失败感知的路径优化

SSE 引入了对用于路径规划（如 Dijkstra 算法）的图边成本的动态调整。

该框架根据底层执行统计信息，跟踪特定区域（网格单元或节点）的失败比率。
对于导致高失败率区域的转换，边成本会增加： $\tilde{d}(v_1 \to v_2) = d(v_1 \to v_2) \times \max(1, c_d \cdot \rho_f(v_2))$ 。
这将高层规划器从不稳定转换（例如狭窄瓶颈或易碰撞区域）引导至更安全、更可靠的路径。

4. 实现变体

作者提出了两种 SSE 变体以处理不同维度的目标空间：

SSE (Grid)：使用基于网格的目标空间划分进行地标选择、新颖性估计和失败跟踪。适用于 2D/3D 环境。
SSE (Model)：使用基于模型的方法（随机网络蒸馏用于新颖性，失败预测网络用于可靠性）来处理网格离散化不可行的高维目标空间。

主要贡献

前沿经验回放（FER）：一种新颖的回放机制，分离失败和部分成功转换以定义可达性前沿，消除了长视野任务中传统事后重新标记带来的噪声。
解耦探索：一种将目标达成策略与探索策略分离的策略，使智能体能够在不损害高层规划器稳定性的情况下覆盖未充分探索的区域。
失败感知的路径优化：一种根据观察到的底层失败统计信息动态调整图边成本的方法，提高了规划子目标序列的可靠性。
实证验证：在九个不同的长视野基准测试（包括 AntMaze、KeyChest 和 Reacher 任务）中进行了广泛评估，证明了其优于最先进 HRL 和基于图方法的性能。

实验结果

作者在九个具有挑战性的环境中评估了 SSE，范围从简单的迷宫到需要中间目标（例如收集钥匙）的复杂任务。

成功率：在所有环境中，SSE 始终比基线（包括 HIRO、HRAC、HIGL、DHRL、NGTE 和 BEAG）取得更高的成功率。
样本效率：SSE 收敛速度显著更快，特别是在瓶颈和多步任务中。例如，在AntDoubleKeyChest任务中，SSE 以最少的步骤数解决了任务，而基线大多失败或需要过多的时间步。
鲁棒性：在随机目标设置中，SSE 保持了强大的性能，而许多基线由于缺乏结构化探索机制而表现挣扎。
消融研究：移除 FER、探索策略或路径优化会导致性能显著下降，证实了每个组件的必要性。具体而言，使用 HER 或标准回放缓冲区的方法在复杂序列任务中未能学习。

意义与主张

本文主张 SSE 解决了分层强化学习中的一个关键差距：高层规划与底层执行能力之间的脱节。通过强制严格的子目标可达性，SSE 使智能体能够：

以更少的高层决策解决复杂、长视野的任务，通常在策略训练完成后，即可在单个高层步骤内到达遥远目标。
通过防止信用通过不可靠或失败的轨迹传播，实现稳定的训练。
在稀疏奖励环境中有效运行，而无需依赖大量的重新训练或手动课程设计。

作者将 SSE 定位为一种可扩展的分层控制框架，提高了目标条件智能体的效率和可靠性，使其成为需要稳健长视野规划的现实世界应用的有前途的方法。该工作强调，该框架的有效性源于其学习可实现边界的能力，而不是假设所有中间状态都是有效的子目标。