🤖 machine learning

Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning

本文介绍了潜在对齐价值学习（LAVL），这是一种离线目标条件强化学习算法，它通过将基于潜在表示的价值泛化与分层规划相结合，以克服长视野任务中的错误泛化问题，并在 OGBench 上实现了最先进的性能。

原作者： Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人穿越一个巨大而复杂的迷宫，或者将积木堆成塔。你不想让机器人通过试错来学习（这既耗时又危险）；相反，你希望利用一个巨大的视频库，其中包含他人过去的尝试记录来教导它。这被称为离线目标条件强化学习。

本文介绍了一种名为LAVL（潜在对齐价值学习）的新方法，它解决了机器人目前从这些视频库中学习时面临的一个主要问题。

以下是问题与解决方案的分解，使用了简单的类比。

问题：“地图与现实”的混淆

想象一下，你正在教一个机器人从迷宫中的 A 点到达 B 点。你向它展示了一段某人走过迷宫的视频。

旧方法（有缺陷的地图）：
大多数现有方法试图根据某个位置在视觉上与目标的接近程度，来猜测该位置在迷宫中有多“好”。

类比： 想象机器人拥有一张地图，其中的距离是按直线（像鸟飞一样）测量的。如果目标距离 10 英尺，但机器人与目标之间有一堵厚墙，机器人会想：“哦，只有 10 英尺远！我能做到！”
结果： 机器人感到困惑。因为它在视觉上接近目标，所以它认为自己离目标很近，尽管在时间上还很遥远（到达那里需要 100 步）。这被称为错误泛化。机器人学会了一张“破损的地图”，其中墙壁不存在，从而导致糟糕的决策。

拟度量修复（僵硬的规则手册）：
一些研究人员试图通过强制机器人的大脑遵循严格的数学规则（称为“拟度量”）来解决这个问题，这些规则规定：“你不能穿墙而过。”

类比： 这就像给机器人一本僵硬的规则手册，上面写着：“始终使用这个特定的复杂公式来计算距离。”
结果： 这对于简单的迷宫效果很好，但当你给机器人一个复杂的任务（如用机械臂抓取立方体）时，僵硬的规则手册就会失效。机器人会感到困惑并完全失败。它太僵硬了，无法适应不同类型的任务。

解决方案：LAVL（智能 GPS）

作者提出了LAVL，它采用了一种思考距离的新方式。LAVL 不是测量事物看起来有多近，也不是遵循僵硬的规则手册，而是教导机器人理解任务的“隐藏几何结构”。

1. “潜在对齐”（秘密语言）：
LAVL 不是直接观察迷宫或机械臂的原始像素，而是将机器人的当前状态和目标翻译成一种“秘密语言”（潜在空间）。

类比： 想象机器人和目标说着不同的方言。旧方法试图逐字翻译它们（欧几里得距离）。LAVL 将两者都翻译成一种通用语言，在其中距离的含义得以保留。
工作原理： 机器人学会，在这个秘密语言中，“状态 A"和“目标 B"相距甚远，即使它们在屏幕上看起来很近。这防止了“穿墙”错误。这就像拥有一个不仅知道直线距离，还能理解交通和绕道的 GPS。

2. “连续性”粘合剂：
当机器人尝试学习一条长路径时，其内部地图可能会变得不稳定和抖动。

类比： 想象机器人的地图是一张不断皱巴巴的纸。前一秒目标距离 5 步；下一秒，仅仅因为微小的故障，目标就变成了 500 步。
修复： LAVL 添加了一种“平滑粘合剂”（连续性正则化）。它告诉机器人：“如果你处于一个与之前非常相似的位置，你对到达目标距离的估计不应剧烈变化。”这使地图保持稳定和平滑。

3. “分层”老板与工人：
对于非常长的任务（如巨大的迷宫），机器人需要一个计划。

类比： LAVL 使用一个两级系统。
- 老板（高层）： 关注大局。“我们需要到达出口。让我们先瞄准那个角落。”
- 工人（低层）： 处理细节。“好的，我在角落。现在我要左转并向前走。”
LAVL 确保老板和工人在使用同一种“秘密语言”（潜在对齐），这样他们就不会感到困惑。

结果：为何重要

作者在OGBench上测试了该方法，这是一个包含 22 个不同挑战的巨大基准测试，范围从穿越巨大迷宫到用机械臂堆叠积木。

得分： LAVL 在22 个数据集中的 20 个中获胜。
长途跋涉： 在“巨大”迷宫中（路径长达数千步），其他方法失败了或卡住了。LAVL 保持了良好的表现。
拼接： 某些数据集是由短的、破碎的视频片段组成的，机器人必须将它们“拼接”起来以形成完整的路径。LAVL 在连接这些点方面比以前的方法要好得多。

总结

本文认为，从旧数据中教导机器人的最大瓶颈在于，它们使用了错误的“距离”类型来衡量进展。它们衡量事物看起来如何，而不是衡量到达它们有多困难。

LAVL通过以下方式解决了这个问题：

学习一种“秘密语言”（潜在对齐）来衡量真正的难度。
平滑机器人的内部地图，使其不会抖动。
使用老板/工人系统来处理漫长而复杂的任务。

其结果是，机器人可以从视频库中学习，并真正弄清楚如何到达复杂的目标，而不会被墙壁或长距离所迷惑。

技术摘要：离线目标条件强化学习中的潜在表示对齐

1. 问题陈述

离线目标条件强化学习（GCRL）旨在利用固定的、预先收集的数据集，在不与环境进一步交互的情况下，学习能够到达任意目标策略。尽管前景广阔，但在长程任务中学习可靠的目标条件价值函数仍然是一个重大挑战。本工作识别出的主要瓶颈是目标条件价值函数中的错误泛化。

标准的价值函数，特别是那些由多层感知机（MLP）参数化的函数，倾向于基于状态空间中的欧几里得邻近度而非时间距离进行泛化。在存在障碍物（例如迷宫）或奖励稀疏的环境中，这会导致“价值泄露”，即那些在物理上靠近目标但在时间上相距甚远（被墙壁或复杂动力学分隔）的状态被错误地赋予高价值。这导致了嘈杂的价值估计和脆弱的控制策略。此外，现有试图通过准度量架构（例如 IQE、MRN）解决此问题的方法，往往在不同领域（例如在迷宫导航中表现良好但在机器人操作中失败）面临性能不一致的问题，或者引入了训练不稳定性。

2. 方法论：潜在对齐价值学习（LAVL）

作者提出了潜在对齐价值学习（LAVL），这是一种离线 GCRL 算法，它将一种新颖的价值函数架构与分层规划框架相结合。

2.1. 潜在对齐网络（LAN）

核心创新是潜在对齐网络（LAN），这是一种旨在为价值泛化施加适当归纳偏置的价值函数架构。

架构：与标准的 MLP 或严格的准度量模型不同，LAN 将目标条件价值 $V(s, g)$ 参数化为状态和目标的潜在表示之间的负欧几里得距离：
$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$
其中 $\phi_S: \mathcal{S} \to \mathbb{R}^d$ 和 $\phi_G: \mathcal{G} \to \mathbb{R}^d$ 是非对称的状态和目标表示网络。
机制：通过打破严格的度量结构（允许 $\phi_S \neq \phi_G$ ），LAN 引入了灵活性，使价值函数能够基于学习到的潜在空间的几何结构而非原始欧几里得状态邻近度进行泛化。这缓解了“过度泛化”问题，即价值穿过障碍物传播。
优势：LAN 避免了与严格准度量约束（如 IQE）相关的训练不稳定性和特定领域的性能下降，同时保持了准确估计时间距离所需的结构偏置。

2.2. 带连续性正则化的价值学习

为了稳定长程设置下的学习，LAVL 在标准隐式价值学习（IVL）目标的基础上增加了局部连续性正则化项。

目标：总损失将时序差分（TD）目标（ $L_{TD}$ ）与正则化项（ $L_{Reg}$ ）相结合，该正则化项惩罚相邻状态之间价值函数的剧烈局部波动：
$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$
功能： $L_{Reg}$ 在不损害全局贝尔曼一致性的前提下，抑制价值景观中的高频噪声，确保稀疏奖励在长程上的稳定传播。

2.3. 分层策略框架

LAVL 采用类似于 HIQL 的分层策略框架，包括：

高层策略（ $\pi_h$ ）：根据当前状态 $s$ 和最终目标 $g$ 生成子目标表示 $w$ 。在 LAVL 中，子目标被定义为仅针对目标的映射 $w = \phi(g)$ ，这与 LAN 的参数化自然对齐。
低层策略（ $\pi_l$ ）：输出根据状态 $s$ 和子目标 $w$ 条件化的动作。
训练：两个策略均使用优势加权回归（AWR）进行训练，利用 LAN 提供的稳定价值估计。

3. 主要贡献

该论文概述了三项主要贡献：

识别错误泛化：作者指出，离线 GCRL 在长程任务中的失败根本上是由价值函数通过欧几里得邻近度而非时间距离进行泛化所驱动的。他们证明，价值函数架构中的归纳偏置是解决这一问题的关键因素，而不仅仅是学习目标。
提出 LAVL：他们引入了 LAVL，这是一个统一的框架，结合了用于可靠价值泛化的潜在对齐网络（LAN）、用于稳定学习的连续性正则化以及用于长程规划的分层策略。
实证优越性：在OGBench基准上的广泛实验表明，LAVL 始终优于现有的最先进离线 GCRL 方法。

4. 实验结果

作者在 OGBench 的 22 个数据集上评估了 LAVL，涵盖了迷宫导航（Point、Ant、Humanoid）和机器人操作（Cube、Scene）任务，具有不同的时间跨度和数据收集策略（导航 vs. 拼接）。

整体性能：LAVL 在22 个数据集中的 20 个上取得了最高性能，显著优于 GCIVL、QRL、HIQL 和 CGCIVL 等基线方法。
长程稳定性：在“巨型”迷宫环境中，LAVL 保持了 85% 的成功率，与中型迷宫相比相对下降仅为 9.6%。相比之下，HIQL 和 QRL 等基线方法遭受了灾难性的性能下降（相对下降分别为 75.4% 和 61.7%）。
轨迹拼接：在“拼接”数据集（由短而碎片化的轨迹组成）上，与导航数据集相比，LAVL 的性能下降极小（1.1%），而其他方法则显著退化（例如 HIQL 下降了 36.9%）。
机器人操作：与在操作任务中失败的准度量方法（如 QRL）不同，LAVL 实现了高成功率（例如在 Scene-play 上达到 88%），证明了 LAN 在不同领域的鲁棒性。
消融实验：实验证实：
- 在同一分层框架内，LAN 优于准度量架构（IQE、MRN）和基于度量的方法（Hilbert）。
- 与扁平策略或单独使用 LAN 配合扁平策略相比，LAN 与分层策略的结合产生了更优越的结果。
- 连续性正则化在具有挑战性的任务上提供了显著增益（例如，在某些配置下，将 Pointmaze-giant-stitch 的成功率从 35% 提高到 95%）。

5. 意义与主张

该论文声称，LAVL 代表了离线 GCRL 的重大进步，因为它解决了价值泛化的根本瓶颈。

架构洞察：这项工作强调，为了实现可靠的泛化，价值函数架构的选择比学习目标更为关键。它认为，虽然最优价值函数是准度量的，但在训练期间强制实施严格的准度量约束可能过于限制；相反，学习的潜在对齐提供了一种更有效的归纳偏置。
统一框架：LAVL 成功统一了有效的泛化、稳定的价值学习和分层规划，使其能够在需要长程推理和轨迹拼接的任务中实现鲁棒的性能。
实际影响：该方法在不需要大量超参数调整或神谕表示的情况下实现了最先进（SOTA）的结果，使其成为解决复杂离线决策问题的实用方案。

作者总结道，虽然他们的工作侧重于价值学习和分层提取，但关于架构归纳偏置的发现可能扩展到更广泛的基于价值的 RL 算法，未来的工作可以探索将这些方法扩展到更高维度的现实世界机器人控制。