🤖 machine learning

Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL

本文提出了 DCRL（分而治之强化学习），一种递归式的离线目标条件强化学习方法，该方法通过将轨迹分解为平衡二叉树来减少自助法深度和误差累积，从而在长时程任务上显著优于现有的扁平化和层次化基准方法。

原作者： Hyeonseong Jeon, Youngwoon Lee

发布于 2026-09-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyeonseong Jeon, Youngwoon Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，存在着一个被称为“目标条件学习”（goal-conditioned learning）的具体挑战。想象一下，你不仅是在教一个机器人走路，还要教它走向特定的椅子、特定的门或特定的灯开关，而它只能利用一系列关于其他机器人移动的过往视频库。机器人必须观察这些旧的录像，弄清楚如何从 A 点到达 B 点，然后尝试亲自实现它。这种方法对于短途旅行效果很好。如果目标只在几步之遥，机器人可以轻松地将这些点连接起来。但当旅程很长——需要数百或数千步才能到达遥远的终点时——机器人往往会迷失方向。它在试图规划终点时，难以记住路径的起点，而且由于对短步幅记忆中的微小错误不断累积，最终会导致巨大的误差。

当机器人无法通过在现实世界中进行尝试来学习时，这个问题会变得更加困难。在许多现实场景中，例如操作重型机械或在复杂的工厂中导航，犯错是过于危险或昂贵的。机器人必须完全从一个固定的过往经验数据集（这一领域被称为“离线强化学习”）中学习。研究人员早已知道，要解决长途旅行，你必须理解构成它的那些较短的片段。然而，标准的教学方法通常试图一次性学习整个旅程，或者在短片段和长片段之间随机跳跃。这种方法就像是通过随机翻阅书页来阅读一本书；机器人最终会根据一个尚未完全理解的句子来猜测一章长篇内容的含义，从而导致困惑和失败。

来自延世大学和首尔大学的研究团队提出了一种教导这些机器人的新方法，称为 DCRL。该方法不再试图一次性猜测整个路径，而是将每一次长途旅行分解为一个结构化的、循序渐进的层级体系，就像通过先掌握最小的单元，再将其组合起来，从而组织一项大型任务一样。研究人员从数据集中提取了一条长路径，并将其精确地对半拆分，然后将这些半段再次对半拆分，如此循环往复，直到达到单个步骤。接着，他们先教机器人理解这些微小的单步动作。一旦机器人对这些小步动作有了信心，它就会利用这些知识去理解稍长一点的片段，进而理解更长的片段，从而实现由底向顶的理解构建。这种“分而治之”的策略确保了机器人不会在尚未掌握构成长路径的短路径之前，就尝试学习复杂的长路线。

研究人员发现，这种结构化的方法解决了困扰以往方法的两个主要问题。首先，它防止了机器人做出过于乐观的猜测。旧的方法通常会观察许多可能的中间点，并选择看起来最好的那一个，希望能找到捷径。但由于数据有限，机器人往往会选择一个看起来不错、但实际上仅因其记忆中的错误而显得优秀的点，并基于这个错误构建整个计划。新方法通过严格遵循数据中展示的实际路径，在精确的中点进行拆分，并在不进行猜测的情况下学习该特定路线的价值，从而避免了这种情况。

在各种高难度任务（包括引导人形机器人在迷宫中导航以及解决复杂谜题）的测试中，这种新方法表现优于以往所有的方案。在他们基准测试中最具挑战性的五个长程任务中，新方法的平均成功率从 55 提高到了 64，超越了此前被认为处于领先地位的更复杂的层级系统。在一次涉及巨型迷宫中人形机器人的特定测试中，新方法达到了 93% 的成功率，而次优的方法仅达到了 79%。此外，在 CALVIN 任务中，该方法也展现了强大的能力，能够成功完成连续的四个子任务。或许最令人印象深刻的是，在处理一个需要八个独立步骤才能完成的方块任务时，该新方法是唯一能够成功完成任务的，它实现了 5% 的成功率，而所有其他方法都完全失败了。

研究人员还发现，学习的顺序与方法本身同样重要。与以往采用随机顺序学习的方法不同，DCRL 证明了“自底向上”的学习顺序是至关重要的。这项研究表明，通过尊重长途旅行对短步幅的自然依赖关系，并通过组织学习过程来反映这种依赖关系，机器人可以学习比以往更长、更复杂的路径。这项工作不仅提供了一种新算法，更提供了一种更清晰的视角，即如何扩展人工智能以处理定义现实世界的那些漫长且复杂的任务。

技术摘要：面向长时程离线目标条件强化学习的递归价值学习

问题陈述

将离线目标条件强化学习（GCRL）扩展到长时程任务面临两个主要挑战：

依赖导致的误差累积：长程价值估计本质上依赖于短程估计。标准的离线 GCRL 方法通常从本身不准确或尚未收敛的短程价值中进行引导（bootstrap）长程价值，从而导致复合误差。
基于最大化备份的过估计：标准的贝尔曼式及传递性价值备份会在动作或中间状态（例如 $\max_w V(s, w) \cdot V(w, g)$ ）中进行乐观选择。在有限的离线数据中，这种选择过程倾向于偏好被高估的候选对象，通过重复的备份过程传播这些误差，并产生巨大的全局不一致性。

现有的方法，包括层次化方法和标准的传递性学习（如 Transitive RL 或 TRL），通常无法显式地强制执行“先学习短时程价值，再学习长时程价值”的依赖顺序，或者依赖于会放大误差的噪声且乐观的选择。

方法论：DCRL (分而治之强化学习)

作者提出了 DCRL，该算法显式地实例化了一种分而治之的价值学习策略。DCRL 通过以下三个核心机制解决上述挑战：

1. 递归分而治之结构

DCRL 并非独立地对任意长度的轨迹段进行采样，而是将采样的轨迹段 $(s_i, s_j)$ 递归地分解为一个平衡二叉树：

分（Divide）：将一个段在其中点 $k = \lfloor (i+j)/2 \rfloor$ 处拆分为两个子节点： $(s_i, s_k)$ 和 $(s_k, s_j)$ 。这种递归持续进行，直到达到单步段（叶节点）为止。
治（Conquer）：价值函数采用自底向上的方式进行训练。单步叶节点被锚定（例如， $V(s_i, s_{i+1}) = \gamma$ ）。只有在子节点训练完成后，父节点才会进行更新。
收益：这种结构将标准方法中的最坏情况**引导深度（bootstrap depth）**从线性（ $O(H)$ ）降低到了相对于时程 $H$ 的对数级（ $O(\log_2 H)$ ）。这种更短的依赖链在经验上对应于显著更慢的误差累积。

2. 精确路径分解（无选择更新）

为了避免因在噪声中间状态上取最大值而导致的过估计，DCRL 在观测到的路径上使用精确分解来计算行为价值 $V_\tau$ ：
$V_\tau(s, g) = V_\tau(s, w) \cdot V_\tau(w, g)$
其中 $w$ 是该段固定的中点。

与在所有可能的 $w$ 上进行最大化操作的标准传递性备份不同，该更新规则仅评估由数据集支持的单一路径。
这确保了算法学习的是行为价值（即演示路径的价值），而不会引入选择偏差。作者证明了路径次优性会在组合过程中增长，从而说明了先从较短、次优性较低的组成部分开始学习的必要性。

3. 用于最优性的价值传播

虽然递归分解学习了可靠的行为价值，但它本身并不具备发现特定轨迹中不存在的更短、更优路径的能力。为了恢复最优价值（ $V^*$ ），DCRL 采用了第二个目标：

多步传播：使用全局重标记的目标（类似于 Hindsight Experience Replay）来训练价值函数，并使用上分位数（upper-expectile）损失。
机制：该目标通过跨越不同轨迹来组合片段，以识别更短的路径。
协同作用：递归分而治之组件提供了一个可靠、低依赖的长期行为价值基础，而传播目标则利用这一基础来组合最优路径。

实现：并行槽调度（Parallel Slot Scheduling）

为了在不牺牲批次多样性的情况下高效执行递归训练，DCRL 使用了槽调度：

多个独立的“槽”维护着针对不同根段的独立递归树。
每个槽按照从叶到根的顺序处理其树。
在训练期间，从这些槽中抽取样本。由于各个槽的排空和填充速率不同，小批量数据中会包含多种长度的片段（短时程和长时程），同时严格保持每个槽内“子到父”的训练顺序。

核心贡献

算法：引入了 DCRL，它显式地在轨迹内段上构建平衡二叉树，通过价值分解强制执行自底向上的训练，并利用槽调度进行并行执行。
分析：通过理论证明，DCRL 将最坏情况下的引导深度从线性降低到了对数级。在受控环境中的经验分析表明，这种更短的依赖结构与线性深度方法相比，能显著减缓误差累积。
性能：DCRL 在多种离线 GCRL 基准测试（包括基于状态和基于像素的环境）中达到了最先进的性能。值得注意的是，在 OGBench 中五个最具挑战性的长时程任务上，DCRL 将此前最好的平均得分从 55 提高到了 64，超越了所有扁平化和层次化基线。

结果

长时程任务：在 humanoidmaze-giant 等 OGBench 任务以及复杂的益智环境中，DCRL 显著优于先前的扁平化方法（如 IQL, TD, TRL）和层次化方法（如 HIQL, SHARSA）。它是唯一能在 cube-octuple 任务上实现非零成功率的扁平化方法。
误差累积：在受控实验（组合锁环境）中，随着时程增加，DCRL 的 Q 误差保持相对平稳，而标准的 TD 和 TRL 方法则表现出快速的误差增长。
消融研究：移除递归调度（改为随机顺序训练）会导致性能大幅下降（在 humanoidmaze-giant 中的成功率从 93% 降至 18%），这证实了“子到父”顺序的必要性。移除传播目标也会降低性能，验证了行为学习与最优价值恢复并行的必要性。
与 TRL 的比较：虽然 Transitive RL (TRL) 使用类似的轨迹内备份，但它缺乏显式的递归结构和平衡调度，导致最坏情况下的深度为线性，且误差累积更高。

意义与局限性

论文声称 DCRL 通过结构化的递归学习过程减轻了时程诱导的误差累积，为将 GCRL 扩展到更长时程提供了基础。它证明了显式建模价值学习的依赖结构（即先学习短片段，再学习长片段）对于离线设置下的稳定性至关重要。

作者承认的局限性：

确定性动力学：与其他基于三角不等式的方法一样，DCRL 假设动力学是确定性的。在随机环境中，精确分解 $E[XY] \neq E[X]E[Y]$ 通常会失效。
特定领域中的层次化优势：虽然 DCRL 在 humanoidmaze-giant 等长时程任务中表现出色，但层次化方法在 cube-manipulation 任务上仍然优于它，这表明任务难度并不完全取决于时程长度，且在某些语境下层次化可能仍然具有优势。

作者指出，将递归采样扩展到随机动力学，以及理解层次化在何时仍具优势，是未来研究的重要方向。