🤖 machine learning

S3: Stable Subgoal Selection by Constraining Uncertainty of Coarse Dynamics in Hierarchical Reinforcement Learning

本文提出了 S3，这是一种层次化强化学习方法，通过引入一种动力学感知型内在奖励，旨在通过混合密度网络对粗粒度的多步环境转移进行建模，从而最小化预测不确定性，以此在非平稳长程环境中稳定高层子目标选择。

原作者： Kshitij Kumar Srivastava, Kshitij Jerath

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Kshitij Kumar Srivastava, Kshitij Jerath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图教一个机器人如何在复杂且混乱的世界中导航。在人工智能领域，这被称为强化学习（Reinforcement Learning）。把它想象成训练一只狗：当它做得对时，你给它零食；做得不对时，则什么也不给。但如果零食只在一段漫长而艰辛的旅程结束时才出现呢？这只狗可能会感到困惑，忘记究竟是哪一步导致了奖励。这就是“稀疏奖励（sparse reward）”问题。

为了解决这个问题，科学家们发明了分层强化学习（Hierarchical Reinforcement Learning, HRL）。把这想象成一家拥有**经理（Manager）和员工（Worker）**的公司。经理是大局的规划者，负责设定目标，比如“去厨房”；而员工是亲力亲为的执行者，负责处理微小的细节，比如“迈左腿，再迈右腿，然后转身”。经理不需要知道如何走路，他们只需要知道该去哪里。这种团队协作帮助机器人解决那些单个大脑无法独立完成的巨大且复杂的任务。然而，这里有一个陷阱：如果经理选定的目标是员工实际上无法达到的，整个团队就会失败。经理可能会不断大喊：“跳过那堵墙！”而员工其实太矮了，根本跳不过去，这会导致挫败感和时间的浪费。

这个谜题在名为**《S3：通过约束粗略动力学不确定性实现稳定的子目标选择》（S3: Stable Subgoal Selection by Constraining Uncertainty of Coءe Dynamics）**的新论文中得到了探讨。来自马萨诸塞大学洛厄尔分校的研究人员 Kshitij Kumar Srivastava 和 Kshitij Jerath 提出了一个简单而强大的问题：我们如何教经理去选择那些员工确实有信心达到的目标？

他们的答案是一个被称为 S3 的巧妙技巧。S3 并不是仅仅告诉经理“跑快点”，而是给了经理一个特殊的“不确定性测量计”。想象一下，经理拥有一个水晶球，可以显示员工在尝试到达某个目标后可能落下的所有位置。如果水晶球显示的是一片模糊、散乱的云团（意味着员工可能会落在任何地方），经理就会意识到这是一个高风险的目标。但如果水晶球显示的是一个紧凑、锐利的集群（意味着员工几乎肯定会精准落在预定位置），经理就会因为选择了这个目标而获得“加分”。

论文指出，通过使用这个“不确定性测量计”，经理学会了避开危险或不可能的任务，并专注于可靠的目标。他们在虚拟世界中使用一个机器人狗（称为“Ant”）在三种不同场景下测试了这个想法：在迷宫中导航、推行重物以及通过搭桥跨越缝隙。在这些模拟实验中，S3 方法帮助机器人团队的学习速度更快，成功率更高，尤其是在那些一步错就会满盘皆输的棘手任务中（比如把物体掉进缝隙里）。

研究人员发现，这种方法在环境不可预测或存在“瓶颈”（即需要极高精确度的狭窄路径）时效果最好。在更简单的直线型任务中，这种额外的帮助并非必要。但在这种混乱、类似现实世界的挑战中，S3 方法就像一位睿智的教练，教会经理说：“现在先别跳那堵墙；咱们先把目标瞄准门口，因为我知道员工确实能到那里。”这不仅让机器人变得更聪明，也让整个团队更加稳定，不易崩溃。

技术摘要：S3 —— 通过约束分层强化学习中粗粒度动力学不确定性实现稳定的子目标选择

1. 问题陈述

分层强化学习（HRL）通过将战略规划（高层“管理者/Manager”）与原始执行（低层“工作者/Worker”）分离，来解决长时程和复杂任务。尽管这种方法很有效，但 HRL 面临着一个关键挑战：非平稳性（non-stationarity）与稀疏反馈（sparse feedback）。

非平稳性： 高层智能体必须在学习分配子目标的同时，应对低层智能体能力的演进，反之亦然。低层智能体面临不断变化的子目标分配，而高层智能体则面临不断变化的执行环境。
稀疏反馈： 高层智能体仅在任务完成后才能获得延迟且稀疏的外在奖励，这导致探索效率低下。
现有局限性： 现有的方法（如 Hindsight Experience Replay (HER) 或可达性约束方法，如 HRAC）通常将低层策略视为平稳的，或者仅关注可达性而未考虑结果的可预测性（predictability）。它们处理的是非平稳性的症状，而非高层智能体需要选择不仅是“可达”的、而且是基于当前工作者能力而言具有“可预测性”的子目标的根本需求。

核心问题在于：如何使高层智能体能够进行具备动力学感知的战略性子目标选择，从而考虑到低层执行过程中的随机性和不确定性，进而稳定学习过程。

2. 方法论：稳定子目标选择 (S3)

所提出的方法 S3 引入了一种面向高层智能体的动力学感知内在奖励机制。其核心理念是：管理者应当被激励去选择那些工作者能够以高确定性执行的子目标，从而有效地建模环境的“粗粒度动力学（coarse dynamics）”。

2.1 粗粒度动力学与预测不确定性

S3 并非建模原始状态转移，而是建模粗粒度动力学：即在低层智能体执行固定时间步长 $c$ 的子目标 $g_t$ 后，从状态 $s_t$ 到落地状态 $s_{t+c}$ 的转移。

目标： 最小化这些粗粒度转移的预测不确定性。
原理： 如果低层智能体对于到达特定子目标存在不确定性（例如，挤过一道窄门），则高层智能体应避免分配该目标。相反，如果结果是可预测的（例如，到达一个走廊路口），则该子目标更受青睐。这促进了“风险规避型”的子目标选择。

2.2 基于势函数的潜在奖励塑造

为了在不改变最优策略的前提下提供密集反馈，S3 采用了基于势的奖励塑造（Potential-Based Reward Shaping, PBRS）。

势函数 ( $\Phi$ )： 定义在粗粒度动力学分布的离散度（方差）之上。
内在奖励 ( $r_{int}$ )： 计算为时间步之间的势能差：
$r_{int}^{hi} = \gamma \Phi(s_{t+c}, g_{t+c}) - \Phi(s_t, g_t)$
离散度度量： 势函数会对预测终端状态分布的总方差（协方差矩阵的迹）进行惩罚。较低的方差（更高的可预测性）会产生更高的内在奖励。

2.3 实现方式：混合密度网络 (MDN)

由于环境动力学未知且低层策略具有随机性，粗粒度转移分布 $p(s_{t+c} | s_t, g_t)$ 使用混合密度网络 (MDN) 进行近似。

架构： MDN 将分布建模为 $K$ 个高斯分布的混合：
$\hat{p}_{\theta_{MDN}}(s_{t+c} | s_t, g_t) = \sum_{k=1}^{K} \alpha_k(s_t, g_t) \mathcal{N}(s_{t+c}; \mu_k, \Sigma_k)$
训练： MDN 与 HRL 智能体并行训练，利用从经验回放池中收集的元组 $(s_t, g_t, s_{t+c}})$ 进行更新。
不确定性估计： 总预测协方差 ( $\Sigma_{mix}$ $Σ_{mi x}$ ) 被分解为：
1. 模态内方差（Within-mode variance）： 特定结果场景内的变异性。
  1. 模态间方差（Between-mode variance）： 关于哪种结果场景会发生的歧义性。
    内在奖励源自该总协方差矩阵的迹。

2.4 算法流程

执行： 管理者选择一个子目标 $g_t$ 。工作者尝试在 $c$ 个步长内到达该目标。
数据收集： 将元组 $(s_t, g_t, s_{t+c})$ 存储在经验回放池中用于 MDN。
模型更新： MDN 更新其参数，以更好地预测 $s_{t+c}$ 的分布。
奖励计算： MDN 预测当前 $(s_t, g_t)$ 的分布，计算协方差迹，并计算内在奖励。
策略更新： 使用外在奖励加上内在塑造项来更新管理者策略。

3. 核心贡献

稳定子目标选择 (S3)： 一个全新的框架，其中高层智能体学习基于低层执行的可预测性而非仅仅是可达性来选择子目标。
粗粒度动力学建模： 引入了一个时间抽象尺度，在该尺度下，环境动力学被建模为 $c$ 步转移的分布，从而抽象掉了细粒度的原始动作。
动力学感知内在奖励： 一种基于势的内在奖励，通过惩罚粗粒度动力学分布的离散度，为管理者提供密集反馈，引导其走向可靠、可重复的结果。
与 MDN 的集成： 使用混合密度网络来显式建模多模态结果，并量化不确定性（包括模态内和模态间）。
泛化性： 该方法被设计为一个模块化的内在奖励层，可以应用于现有的 HRL 算法（已在 HRAC 上得到验证）。

4. 实验结果

作者在三个 MuJoCo 连续控制基准测试上评估了 S3：Ant Maze、Ant Push 和 Ant Fall。

Ant Fall： S3 显著优于基准模型（HIRO, HRAC），实现了 0.374 的成功率，而 HIRO 为 0.059，HRAC 为 0.000。该任务涉及不可逆转换（掉入缝隙），S3 规避高不确定性子目标的能力在此至关重要。
Ant Push： S3 达到了 0.186 的成功率，优于 HIRO (0.134)，并与 HRAC (0.180) 持平。该任务需要精确的物体操控以避免阻塞路径。
Ant Maze： S3 达到了 0.827，与 HRAC (0.832) 和 HIRO (0.790) 相当。作者指出，在运动轨迹高度可预测的纯导航任务中，粗粒度动力学建模带来的边际收益较低。
定性分析：
- 风险规避： 在 Ant Push 中，S3 学会了避开“危险区域”（即从南侧推动方块会导致路径被永久阻塞的区域）。随着训练进行，终端状态分布向远离该危险区的方向集中。
- 轨迹稳定性： 可视化结果显示，与 HRAC 较为分散的策略相比，S3 的管理者轨迹更加集中，且与任务方向保持一致，尤其是在存在瓶颈的任务中。
- 时间步长： 敏感性分析表明，当管理者步长 $c=10$ 时，在抽象程度与可预测性之间达到了最佳平衡。

5. 重要性与主张

论文声称 S3 解决了 HRL 中管理者与工作者之间的根本关系。通过显式建模低层智能体的预测不确定性，S3 稳定了高层策略。

稳定性： 该方法通过奖励高层智能体选择当前“安全”且可执行的子目标，缓解了由低层策略演进引起的非平稳性。
效率： 这种密集的、具备动力学感知的内在奖励加速了在稀疏奖励环境中的学习，特别是在具有长时程依赖和结构性瓶颈的任务中。
适用性： 该方法在涉及物理交互、不可逆转换以及小规模执行误差即可导致不可恢复状态的多阶段依赖环境中最为受益。

作者总结道，S3 弥合了基于模型的 HRL、基于势的奖励塑造与信息论动机之间的鸿沟，为在复杂的非平稳环境中改进分层学习提供了一种通用的机制。