🤖 machine learning

Learning More from Less: Reinforcement Learning from Hindsight

本文介绍了后验学习（Learning from Hindsight, LfH），这是一种通过利用视觉-语言模型将失败的轨迹重新标记为其实际完成的任务，从而增强训练视觉-语言-动作模型时样本效率的强化学习方法，进而使策略能够从稀疏奖励中学习，并在操控任务上超越标准基准。

原作者： Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人做饭。你给它一个特定的指令：“把绿色的容器放入碗里。”但机器人可能有点笨拙，或者只是搞混了，它抓起了一块胶带并把它贴在了桌子上。

在旧的教机器人方法（称为标准强化学习）中，这完全是一场灾难。机器人会因为整个尝试过程而得到一个大大的“不及格”。计算机说：“你失败了。把这些数据扔掉吧；它们毫无用处。”机器人无法从这次混乱的胶带事件中学习到任何东西，尽管它确实成功地抓起了胶带并把它粘在了某个地方。这就像仅仅因为你想要一张狗的照片，就扔掉了一张完美的猫的照片一样。

这篇名为《从更少中学习更多》（Learning More from Less）的论文介绍了一个聪明的技巧，叫做后验学习（Learning from Hindsight, LfH）。把它想象成一个超级聪明、洞察一切的裁判（一个视觉语言模型），它观察着机器人的“失败”，然后说：“等等！你确实没有把容器放入碗里，但你确实成功地抓起了那块胶带！那是另一场游戏的胜利。”

以下是它的运作方式，分步骤进行：

“后验”的魔力
裁判不会只说“失败”，它会重写故事。它观察机器人的混乱尝试，并给出一个符合实际发生情况的新指令：“拿起胶带。”现在，那次失败的尝试变成了如何拿起胶带的一个完美范例。机器人因它实际做了什么而获得荣誉，而不仅仅是因为它本该做什么。

论文表明，通过这种方式，机器人在处理棘手的新任务时，学习速度提升了 5 倍（样本效率提升了 5 倍）。这就像如果你可以通过练习滑板来学习骑自行车，然后突然发现自行车变得很容易，因为你已经学会了如何保持平衡。

这“不是”什么
作者们非常明确地说明了这种方法不是什么。

它不仅仅是给机器人更多的“提示”或“部分分数”（比如说“做得好，你已经完成一半了”）。论文认为，仅仅让奖励变得“更密集”（为微小的步骤提供更多分数）的效果并不如直接改变任务本身。
它不仅仅是让机器人进行随机尝试。论文发现，如果机器人只是随机乱动，这种方法就没有帮助。机器人需要真正做些有意义的事情，即使这件事对于原定目标来说是错误的。
它不是能解决一切问题的魔杖。如果机器人只是原地不动，或者进行枯燥、重复的循环运动，裁判就找不到新的游戏可以玩，这种方法也就没用了。

我们有多确定？
团队通过两种方式进行了测试：

在模拟环境中： 他们在名为 LIBERO-PRO 的虚拟机器人计算机世界中进行了数千次测试。在这里，他们测量出 LfH 只用了标准训练 1/5 的步数就达到了同样的成功水平。这是一个巨大的飞跃。
在现实世界中： 他们将此方法应用于实验室中的一台 Franka 机器人手臂。结果经受住了考验！当机器人需要将绿色容器放入碗中时，标准方法在尝试 160 次后成功率仅为 22%。而 LfH 方法则跃升至 56%。

代价
论文承认，这种方法取决于机器人是否真的做了有趣的事情。如果机器人只是在物体附近“悬停”而没有接触它们，裁判就无法找到新的游戏来玩。此外，裁判（负责重写指令的 AI）必须胜任其职；如果它感到困惑或编造了并未发生的事情，机器人可能会学到错误的教训。

大局观
核心思想很简单：不要丢弃你的错误。一个任务的失败往往是另一个任务的成功。通过使用一个聪明的 AI 来回顾并说，“嘿，你实际上做了这个”，我们可以教机器人从几乎每一次尝试中学习，将浪费的时间转化为宝贵的教训。这就像是意识到，每一次你在跑步时绊倒，其实都是在为另一种运动练习平衡感。

技术摘要：从更少中学习更多：基于事后经验的强化学习

问题陈述

强化学习（RL）正越来越多地被用于视觉-语言-动作（VLA）模型的后训练阶段，以改进机器人控制。然而，存在一个关键瓶颈：RL 的更新依赖于物理机器人的展开（rollouts），而这既缓慢、昂贵又难以规模化。这使得样本效率成为了一个主要关注点。

在操作任务中，这一挑战因奖励通常是稀疏的而进一步加剧。只有当机器人完成完全符合指令的任务时，展开才会获得奖励（成功）；所有其他行为都会获得零奖励。在训练初期，由于策略较弱，几乎所有的展开都无法满足特定指令。标准的 RL 将这些整个轨迹视为失败，并将其作为“无用”数据丢弃。这忽略了这样一个事实：一次失败的展开往往执行了与另一个任务相关的连贯且有意义的行为（例如，机器人被指令“关闭微波炉”，但可能成功地“拿起了一个杯子”）。标准 RL 无法从这些“失败”中提取学习信号，导致收敛缓慢或陷入停滞，尤其是在分布外（OOD）设置中。

方法论：事后学习 (Learning from Hindsight, LfH)

作者提出了事后学习 (LfH)，该方法将事后经验重放（Hindsight Experience Replay, HER）的概念适配到 VLA 的 RL 后训练中。LfH 不再丢弃失败的展开，而是利用视觉-语言模型（VLM）根据机器人实际达成的目标对它们进行重新标注（relabeling）。

核心机制

LfH 在组相对策略优化（GRPO）框架内运行。对于未能完成原始指令的轨迹组，该过程包含两个阶段：

指令重标注 (Instruction Relabeling)：
- 对于一组未能完成指令 $g$ 的轨迹，系统会选择一个“锚点”轨迹（即一次失败的展开）。
- VLM ( $M_\psi$ ) 分析该锚点的视觉观测和动作，生成一个事后指令 ( $g'$ )，用以描述实际执行的行为（例如，将“关闭微波炉”改为“拿起马克杯”）。
- VLM 首先会过滤掉“无趣”的轨迹（例如，没有发生物理物体接触的轨迹），以避免引入噪声提示词。
奖励重标注 (Reward Relabeling)：
- 同一个 VLM 会根据新的事后指令 $g'$ 对该组中的所有轨迹进行评估。
- 它会分配一个奖励 $\tilde{R}_i \in \{0, 0.5, 1\}$ ，其中 1 表示成功实现了 $g'$ ，0 表示失败，0.5 表示结果模糊。
- 至关重要的一点是，整个组使用同一个共享的事后指令，以确保奖励在计算优势（advantage）时具有可比性。

优化目标

策略在原始展开和经过事后重标注的对应项上进行联合训练。损失函数结合了标准 GRPO 目标 ( $L_{GRPO}$ ) 与事后目标 ( $L_{H-GRPO}$ ):
$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$

为了处理分布偏移问题（即在指令 $g$ 下进行的展开，却针对 $g'$ 进行优化），LfH 应用了重要性修正比例：
$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$
这使得策略能够在保持与原始任务分布对齐的同时，从这些“并非本意但有意义”的行为中学习。

核心贡献

针对 VLA 的事后重标注： 本文引入了一种独特的算法，利用 VLA 的语言泛化能力在语言空间中对失败的展开进行重标注，将零奖励的失败转化为替代任务的成功演示。
指令与奖励的联合重标注： 与以往仅进行指令改写或奖励塑造的工作不同，LfH 将两者耦合在一起。作者证明，仅靠指令增强或奖励重标注本身都不足以产生显著收益；两者的协同作用才是取得提升的关键。
稀疏奖励机制下的样本效率： 该方法专门针对“冷启动”问题（即初始策略成功率接近于零的情况），从标准 RL 会丢弃的数据中恢复学习信号。

实验结果

作者在 LIBERO-PRO 数据集的分布外（OOD）任务以及物理 Franka FR3 机器人上评估了 LfH。

样本效率： 在 LIBERO-PRO 任务中，与标准 GRPO 相比，LfH 实现了 5 倍的样本效率提升。它仅需约五分之一的训练步数即可达到标准 GRPO 的最终成功率。
与稠密奖励的比较： LfH 的表现优于使用稠密进度奖励（RoboMETER）的基线。这表明，在低成功率阶段，改变展开所归功的“任务目标”比单纯为原始指令增加反馈细节更有价值。
数据利用率： 标准 GRPO 由于零奖励方差会丢弃约 60-80% 的轨迹组，而 LfH 通过重标注失败情况，保留了 70–80% 的轨迹组，有效地利用了收集到的数据。
泛化能力： 这种提升在不同的 VLA 骨干网络（包括 GR00T 和 OpenVLA-OFT）中均得到了验证，并成功迁移到了现实世界的物理机器人实验中——在 128 次展开时，LfH 的成功率是标准 GRPO 的两倍。
消融研究： 实验证实，这些收益并非源于随机的奖励注入或简单的指令改写。研究还表明，LfH 有助于维持训练期间行为分布的多样性，防止策略坍缩到重复性的失败模式中。

意义与主张

本文声称 LfH 从根本上改变了机器人数据在 RL 后训练中的效用。通过将一条轨迹视为与观察到的行为一致的所有语言目标的证据，LfH 实现了“从每个机器人样本中提取更多比特的信息”。

作者强调，这种方法对于拥有预训练能力的 VLA 而言是非常自然的，因为这些模型本身就具备跨语言指令进行泛化的能力。LfH 允许这些模型学习它们“实际做了什么”，而不仅仅是“被要求做什么”。这为 VLA 后训练提供了一条切实可行的路径：研究人员不必仅仅收集更多的展开或在相同的标签上进行更长时间的优化，而是可以通过语言重新诠释每一次展开，从而实现跨任务的学习迁移。

论文也承认了局限性，指出 LfH 取决于收集数据中失败案例的多样性和可解释性。如果策略产生的轨迹是重复且缺乏信息量的，那么能恢复出的有意义的事后目标就会很少。此外，该方法依赖于 VLM 重标注器的质量，错误的或过于通用的提示词可能会引入噪声监督。