💻 computer science

Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

本文介绍了目标集后验重标记（Goal-Set Hindsight Relabeling, GS-HER），该方法通过允许已实现的状态满足查询定义的集合而非精确的单点状态，将传统的后验重标记进行了泛化，从而在全状态目标受限于无关维度时提升了离线机器人学习的性能，并使单个模型能够在无需重新训练的情况下回答多样化的目标谓词。

原作者： Carlos Vélez García, Miguel Cazorla, Jorge Pomares

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Carlos Vélez García, Miguel Cazorla, Jorge Pomares

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩“捡方块”的游戏。你向机器人展示了一段人类成功将方块放在桌子上的视频。

旧方法（标准 HER）：“完美复刻”问题
在传统的机器人学习中，计算机观察视频并说道：“好的，为了实现成功，机器人必须达到与人类完全相同的状态。”

这意味着机器人必须匹配：

方块的位置（重要！）。
机器人手肘的角度（可能重要？）。
机器人的手指移动速度（不重要！）。
机器人底座的精确位置（不重要！）。

问题在于，机器人会感到困惑。它拼命想要匹配手指的精确速度或手肘的精确角度，结果却忘了要把方块放到桌子上。这就像一个试图通过数学考试的学生，因为过于痴迷于把自己的名字写得和老师的笔迹一模一样，结果反而忘了去解方程。这些“额外”的细节（比如手指的速度）充当了噪声，阻碍了机器人学习真正的任务。

新方法（GS-HER）：“荧光笔”法
作者提出了一种新方法，称为目标集后验重标记（Goal-Set Hindsight Relabeling, GS-HER）。它不再要求对整个视频进行完美的复刻，而是使用一个查询（query）（可以把它想象成一支荧光笔或一个过滤器）来决定什么才是真正重要的。

它是这样运作的：

查询（The Query）： 在机器人学习之前，你告诉它：“对于这节特定的课，只关心方块的位置。忽略其他一切。”
学习过程： 当机器人观看视频时，它看到人类成功了。它不会说：“你失败了，因为手肘的角度是45度而不是46度”，而是会说：“太棒了！方块在桌子上了。即便手肘是45度，这也算成功。”
结果： 机器人学习到了成功的概念（方块在桌上），而不会陷入无关细节（如手肘角度）的泥潭。

超能力：一个机器人，多种工作
这篇论文中最具创意性的部分是，机器人不需要为了学习一项新工作而重新训练。

想象你有一个单体“大师级厨师”机器人。

场景 A： 你想让它煮汤。你递给它一张“查询卡”，上面写着：“只关注锅和炉灶。”机器人学会了煮汤。
场景 B： 稍后，你想让它烤蛋糕。你不需要雇佣一位新厨师，也不需要重新训练原来的厨师。你只需更换“查询卡”，让它说：“只关注烤箱和搅拌器。”
场景 C： 你想让它清理桌面。你再次更换卡片，让它说：“只关注桌面和餐巾纸。”

因为机器人学习的是达到目标的通用概念（而非某种特定、僵化的动作），它只需通过改变“查询卡”，就能在这些不同的“成功定义”之间瞬间切换。

为什么这很重要
论文在标准的机器人基准测试（如移动方块或在迷宫中导航）上测试了该方法。他们发现：

效果更好： 当“噪声”（无关细节）很高时，这种新方法能帮助机器人比旧有的“完美复刻”方法更频繁地取得成功。
灵活性高： 一个训练好的单一机器人模型可以回答许多不同的问题（“把方块放到这里”、“把手臂移到那里”、“打开夹爪”），而无需为每个问题重新进行训练。

总结
这篇论文认为，我们不应该将机器人的成功视为世界的一个单一、僵化的快照。相反，我们应该将成功视为由我们当前所关注的内容所定义的一组灵活的可能性。通过使用一个简单的“查询”来过滤掉噪声，我们可以教导机器人更快、让它们更聪明，并允许一个机器人通过无需从零开始，就能胜任许多不同的工作。

技术摘要：目标集而非目标状态：通过目标集后验重标记实现可查询的机器人目标

问题陈述
离线目标条件强化学习（Offline Goal-Conditioned Reinforcement Learning, GCRL）旨在从预先收集的无奖励数据集（例如演示或遥操作日志）中推导出控制策略，而无需进行昂贵的在线试错。该领域的一个核心机制是后验经验回放（Hindsight Experience Replay, HER），它将达成的未来状态重新标记为早期轨迹的目标。

标准的离线 GCRL 基准测试（如 OGBench）通常将 HER 实例化为使用全状态空间作为目标空间。这种方法假设成功需要复现整个未来的状态向量。然而，在许多机器人操作任务中，成功仅取决于特定状态变量的子集（例如物体位置），而其他变量（例如机器人关节配置、夹持器状态、速度）则是干扰维度（nuisance dimensions）。通过强制执行精确的全状态匹配，标准 HER 引入了人为约束，过度限制了学习目标，导致在任务成功准则为全状态投影的情况下出现次优性能。

方法论：目标集后验重标记 (GS-HER)
作者提出了目标集后验重标记 (Goal-Set Hindsight Relabeling, GS-HER)，这是一种谓词级的 HER 泛化。GS-HER 不再将达成的状态 $s_{t+k}$ 视为单点目标 $g = s_{t+k}$ ，而是将其视为由查询定义的目标集的证明。

查询定义的等价类：
一个二进制查询向量 $q \in \{0, 1\}^D$ 指定了哪些状态变量定义了特定任务的成功。
- $q_i = 1$ ：第 $i$ 个坐标是激活的，并定义了目标。
- $q_i = 0$ ：第 $i$ 个坐标是该查询的干扰变量。
给定参考状态 $g$ 和查询 $q$ ，目标集被定义为等价类 $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$ 。成功是通过仅匹配激活的坐标来确定的，通常通过带有容差 $\epsilon$ 的归一化平方距离来衡量。
查询条件接口：
GS-HER 修改了底层离线 GCRL 算法的条件输入，而不改变其核心学习目标（例如 Bellman 更新、对比损失或行为克隆）。条件输入 $\psi_{GS}$ 构建如下：
$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$
其中 $\bar{s}_q = q \odot s + (1-q) \odot e_s$ 且 $\bar{g}_q = q \odot g + (1-q) \odot e_g$ 。这里 $e_s$ 和 $e_g$ 是干扰坐标嵌入（学习到的或固定的），用于屏蔽无关变量。查询 $q$ 被显式提供给网络，允许模型学习一个统一的策略，根据查询来调整其对“成功”的理解。
重标记包装器：
GS-HER 作为现有离线 GCRL 算法的包装器运行。在训练期间，对于每个转换，会采样一个参考状态 $g$ （按照基础算法进行），并从分布 $p_Q$ 中采样一个查询 $q$ 。然后，该转换将使用查询条件的目标集和相应的成功谓词进行重标记。这使得单个模型可以同时从混合的目标语义（例如全状态、物体位置、末端执行器姿态）中学习。

核心贡献

识别目标不匹配： 本文指出，精确状态的后验重标记在成功依赖于任务相关投影而非全状态的机器人任务中，会产生目标不匹配问题。
形式化 GS-HER： 作者将 GS-HER 形式化为一种谓词级的泛化，其中达成的状态证明了目标集（等价类）的可达性，而非单点状态。
实现无关的包装器： GS-HER 被实例化为针对向量状态环境的查询条件重标记包装器。它使现有的离线 GCRL 算法（包括行为克隆、对比 RL 和隐式 Q 学习）能够在不修改其底层优化目标的情况下，学习查询条件的目标语义。
可重用的目标接口： 该方法将后验重标记转化为一个可重用的接口，允许单个训练好的检查点在推理时应对多种目标谓词。

实验结果
作者在 OGBench 套件上评估了 GS-HER，涵盖了操作任务（如方块放置）和导航任务（如 PointMaze、AntMaze），并使用了五种不同的离线 GCRL 骨干网络（GCBC、CRL、GCIVL、GCIQL、GCDL）。

性能提升： GS-HER（特别是使用随机坐标块的 "Blockwise" 变体）在操作任务上一致优于标准全状态 HER (HER-Full)。例如，在操作任务的平均表现中，GS-HER 将官方成功率从 24.5% (HER-Full) 提高到了 55.0%，接近于使用固定预定义投影的 Oracle "Task-Focused" 基准 (HER-Task) 的性能。
干扰维度瓶颈： 性能增益与全状态 HER 被干扰维度所限制的程度强相关。在低干扰环境（如 PointMaze）中，GS-HER 的表现与 HER-Full 相当，证实了该方法专门解决了过度约束问题。
一模型，多谓词： 在“一模型，多目标”实验中，一个单一的 GS-HER 检查点在推理时被用于各种谓词（例如方块位置、方块偏航角、末端执行器姿态、空中物体位置）。该模型成功适应了这些不同的成功准则，而无需重新训练。相比之下，HER-Task 需要为每个新谓词重新训练，而 HER-Full 则无法泛化到忽略特定状态变量的谓词。

意义与主张
本文声称 GS-HER 隔离了离线 GCRL 的重标记语义。通过将成功的定义（查询）与学习算法解耦，GS-HER 提供了一个原语，使得离线数据集能够支持灵活、可查询的目标规范。

作者强调，这项工作并非解决开放式目标规范问题（例如通过语言或视觉），而是证明了将目标谓词作为推理时输入，是离线机器人学习中一个有用且必要的步骤。它允许单个模型服务于多种任务定义，减轻了为不同任务投影进行单独训练的需求，并减少了对精确状态匹配的依赖，而这种匹配在机器人操作中往往在语义上是不正确的。该方法被呈现为一种补充层，在不改变其核心数学目标的前提下，增强了现有算法的灵活性。

类似论文