技术摘要：面向长视野离线目标条件强化学习的自适应由粗到细子目标细化

1. 问题陈述

离线目标条件强化学习（GCRL）旨在从固定的轨迹数据集中学习能够到达多样化目标策略，而无需进一步与环境交互。尽管该方法在短视野任务中表现有效，但在长视野任务中却面临显著挑战。

主要困难源于长视野价值估计。在稀疏的目标到达奖励下，遥远的状态 - 目标对提供的直接监督信号微弱。因此，价值函数必须通过多次自举更新来传播目标信息。随着时间距离的增加，近似误差会在备份链上累积，导致对遥远目标的评估不准确。直接在这些嘈杂的价值估计上训练扁平的目标条件策略，会导致不可靠的长视野决策。

现有的分层方法试图通过引入中间子目标来缓解这一问题，将长视野到达问题简化为一系列短程决策。然而，这些方法通常依赖于固定的时间抽象（例如固定的子目标视野）或固定的层级深度。这种固定的尺度经常与具有不同可达性视野的状态 - 目标对不匹配：

• 过于局部的子目标可能仅带来微小的进展，其中微小的价值差异会被长视野估计误差所掩盖，从而导致误导性的选择。
• 过于遥远的子目标可能超出底层策略的可信执行范围。

本文探讨的核心问题是：一个离线分层智能体能否针对每个特定的状态 - 目标对自适应地识别合适的中间目标，而不是依赖预设的分解尺度。

2. 方法论：CFHRL

作者提出了由粗到细分层目标强化学习（CFHRL），这是一个完全离线的 GCRL 框架，能够在执行前自适应地细化遥远目标。该框架基于以下原则：子目标不必是精确的中点或全局最优解；它只需提供可靠的进展并降低剩余的到达难度。

2.1 核心组件

CFHRL 利用三个学习到的策略，由共享的可达性代价 $D_\phi(s, g)$ 进行协调，该代价源自目标条件价值函数：

1. 细化规划器（$\pi_p$）： 基于当前状态 $s$ 和当前规划目标 $g$，提出中间目标 $u$。
2. 抽象策略（$\pi_z$）： 将细化后的目标 $\bar{g}$ 映射为局部指令 $z$。
3. 底层策略（$\pi_a$）： 将指令 $z$ 映射为原始动作 $a$。

2.2 自适应由粗到细细化

CFHRL 采用带有自适应停止规则的递归细化过程，而非固定的层级结构：

1. 初始化： 从最终目标 $g^{(0)} = g$ 开始。
2. 可执行性检查： 在细化层级 $\ell$，检查当前目标 $g^{(\ell)}$ 是否可通过学习到的可达性代价从状态 $s$ 局部执行：
   $$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$$
   其中 $\epsilon_{exec}$ 是一个阈值。
3. 细化循环： 如果满足条件，细化停止，并将 $g^{(\ell)}$ 传递给执行模块。否则，规划器提出一个新的中间目标 $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$，该目标成为下一个目标 $g^{(\ell+1)}$。
4. 终止： 该过程重复进行，直到目标局部可达或达到最大深度 $K_{max}$。

该机制确保有效的分解深度由每个状态 - 目标对的估计可达性决定，而非固定的时间尺度。

2.3 细化规划器的离线学习

规划器完全从离线数据中训练，无需在线交互或人工标记的子目标：

• 候选构建： 对于状态 $s_t$ 和目标 $g$，从离线数据集中采样一组候选子目标 $\mathcal{C}_D$（如果 $g$ 在同一轨迹中，则采样未来状态；否则从回放分布中采样）。
• 评分： 候选项通过瓶颈可达性代价进行评分：
  $$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$$
  该指标倾向于选择能收缩最大剩余视野的候选项。
• 训练目标： 规划器通过价值引导的加权模仿进行训练。候选项根据其负分数的 softmax 进行加权，鼓励规划器模仿那些将问题分解为更简单的剩余到达问题的、有回放支持的子目标。

2.4 执行策略

抽象策略和底层策略在短视野片段上使用进展加权的行为克隆进行训练。那些增加朝向局部目标的学习价值的转换被分配更高的模仿权重，从而使策略偏向于局部进展行为。

3. 理论分析

本文提供了一项形式化分析，以论证在嘈杂估计下，自适应细化比固定局部尺度选择更具鲁棒性：

• 固定尺度失效： 在固定局部尺度的层级结构中，随着总视野 $T$ 的增加，区分正确与错误局部移动的信噪比消失。当 $T \to \infty$ 时，选择错误候选项的概率趋近于 0.5。
• 近似收缩充分性： 分析表明，精确的中点预测并非必要。学习到的代价只需在那些能收缩视野（以常数因子 $\rho < 1$ 减少剩余距离）的候选项与那些不能收缩的候选项之间保持粗略的边际即可。
• 误差界限： 整体失败的概率被细化失败（未能选择收缩子目标）和最终局部执行误差之和所界定。这证明了基于价值阈值的停止规则的动机：当目标过于遥远时进行细化，一旦估计目标可局部执行则停止。

4. 实验结果

作者在 OGBench（一个离线目标条件控制基准）上评估了 CFHRL，涵盖了运动（PointMaze, AntMaze, HumanoidMaze, AntSoccer）和操纵（Cube, Scene）任务。

• 性能： 与 HIQL (23.2)、GCIVL (16.5) 和扁平方法等基线相比，CFHRL 取得了最高的综合得分（37.5）。
• 长视野增益： 最显著的改进出现在长视野迷宫类任务中（例如 PointMaze-Giant-Stitch），CFHRL 将成功率从 0%（扁平/固定层级基线）提升至 57%。
• 消融研究：
  • 自适应停止： 移除自适应停止规则并强制固定细化深度（$K=2, 3$）会降低性能，证实了过度细化会累积规划器误差。
  • 规划器必要性： 用随机数据集子目标替换学习到的规划器会导致失败，证明子目标必须基于学习到的可达性代价进行选择。
  • 候选预算： 增加训练候选项数量（$N_c$）在达到一定点（$N_c=16$）之前会提升性能，平衡了监督质量和训练吞吐量。
• 局限性： 与基于价值的扁平方法相比，CFHRL 在接触丰富的操纵任务（Cube）上表现较差，表明类路点的分解对于需要精确接触动力学的任务效果较差。

5. 意义与主张

本文提出了三个主要贡献：

1. 形式化： 将长视野离线 GCRL 形式化为自适应停止时间子目标细化，其中分解深度由学习到的可执行性决定，而非固定视野。
2. 算法： 引入了一种回放支持的收缩目标，用于训练摊销细化规划器，无需测试时的图搜索或在线交互。
3. 验证： 提供了形式化分析和实证消融研究，证明近似收缩和自适应停止能有效改善迷宫类环境中的长视野目标到达。

作者保持了谦逊的态度，承认该方法依赖于学习到的可达性代价的质量，并且当前的抽象接口（简单的局部目标表示）可能不足以处理需要精确接触序列的复杂操纵任务。他们建议未来的工作应专注于将自适应规划与更丰富的以物体为中心的抽象相结合，并将该框架扩展到其他离线 GCRL 价值估计器。