🤖 machine learning

Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning

本文介绍了多任务判别器邻近引导的逆强化学习（MPG），这是一种结合了可泛化判别器和邻近函数的小样本逆强化学习方法，能够通过有限的目标演示和相关的多任务数据，有效地学习与之存在实质差异的新任务，从而实现比现有基准方法显著更高的成功率。

原作者： Ziyi Liu, Grace Zhang

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyi Liu, Grace Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做一项新家务，比如清理凌乱的房间。在人工智能领域，这被称为强化学习（Reinforcement Learning）。把它想象成训练一只狗：当狗做对了某件事时，你会给它一个奖励（即“奖励”），它就会学会重复那个动作以获得更多的奖励。但问题在于：要确定究竟什么才算“对”是非常困难的。如果你只是说“把房间打扫干净”，机器人可能会感到困惑，然后把猫扔出窗外，而不是捡起袜子。

为了解决这个问题，科学家们使用了逆强化学习（Inverse Reinforcement Learning, IRL）。与其告诉机器人该做什么，不如给它看一段人类完美完成任务的视频。机器人通过观察视频，尝试推测出人类遵循的“秘密配方”（即奖励函数）。问题是，现实生活是混乱的。人类可能在家具处于某个位置时清理房间，但如果家具移动了怎么办？或者如果机器人需要拿起一个看起来略有不同的杯子怎么办？如果只给机器人展示一两个特定场景的例子，当情况发生变化时，它往往会陷入困境。这就像只在空旷的停车场教一个人开车；一旦遇到有交通流量的真实街道，他们可能会惊慌失措。这篇论文解决了如何利用来自相似任务的旧案例库，来教机器人学习新的、棘手的任务，并实现极少量样本学习的挑战。

“烹饪系学生”机器人

见见我们的机器人学生。它被要求学习一个新的、困难的食谱：“拿起红色的积木，并把它叠在蓝色的积木上。”但这里有个转折：机器人只看到了五段人类执行这项特定任务的视频。在现实世界中，积木可能会从不同的位置开始，或者桌面可能是倾斜的。由于样本如此之少，标准的机器人很可能会感到困惑并失败。

然而，这个机器人很特别。它还可以访问一个庞大的视频库，里面展示了人类进行其他堆叠任务的过程——比如把绿色积木叠在黄色积木上，或者把黑色积木叠在白色积木上。这些并不是完全相同的任务，但它们拥有相同的“神韵”和规则。论文的作者 Ziyi Liu 和 Grace Zhang 想要测试，是否可以通过这些“相关”视频，让机器人在仅有少量直接示例的情况下掌握这项新的、困难的任务。

两部分“秘制酱料”

团队构建了一个名为 MPG（多任务判别器近邻引导的逆强化学习，Multitask discriminator Proximity-Guided IRL）的新系统。可以将 MPG 想象成一个帮助机器人学习的两部分教练：

“模式识别者”（多任务判别器）：
想象一位品尝过成千上万种不同菜肴的大厨。即使他从未见过这种特定的红蓝积木堆叠，他也能观察机器人的尝试并说：“嘿，那个动作看起来就像专业人士会做的！”这部分系统会观察机器人的动作，并将其与庞大的相关视频库进行对比。它学习的是所有不同任务中“优秀堆叠”的通用结构。它不仅仅是死记硬背那一段视频，而是理解了堆叠的概念。这有助于机器人在积木处于奇怪新位置时，依然能识别出正确的行为。
“距离测量仪”（近邻函数）：
现在，假设机器人犯了一个错误，偏离了路径。标准的机器人可能只会得到一个“零奖励”然后停下来，因为不知道如何返回。但 MPG 的第二部分就像一个 GPS，它会说：“你离目标还很远，但如果你往这个方向移动，你就离目标更近了。”它测量机器人距离“专家”路径有多远。即使机器人在做一些大厨从未见过的动作，这个测量仪也会给予它温柔的提示：“你正接近正确的方式，继续前进！”这防止了机器人在黑暗中迷失方向。

大考：它奏效吗？

作者在充满迷宫、积木堆叠谜题和机器人手臂操作任务的数字世界中对该系统进行了测试。他们只给了机器人极少量的关于新任务的示例（有时仅为 5 段视频），但提供了大量来自相关任务的示例。

结果令人印象深刻。在这些模拟实验中，MPG 系统实现了 81.2% 的平均成功率。为了让你有直观感受，排名第二的机器人（使用最强的现有方法）平均只能取得约 56.5% 的成功率。这是一个巨大的飞跃，提升了 24.7 个百分点。

论文表明，通过将“模式识别者”（从许多相似任务中学习）与“距离测量仪”（在机器人迷失时进行引导）相结合，机器人可以比以前更快、更可靠地学习新的、棘手的技能。

它不是什么（以及它是什么）

需要注意的是，这篇论文并没有声称它解决了宇宙中的所有问题。作者明确指出，旧的方法——例如仅仅复制机器人的动作（模仿学习），或者试图在没有“距离测量仪”的情况下学习奖励函数——在任务发生微小变化时会表现得很糟糕。他们还澄清，这个系统仍然需要进行在线练习——它不是一种无需任何试错就能立即生效的魔法。

论文建议，这种方法是处理现实世界“混乱性”的一种强大方式，因为在现实中，事物很少会保持完全不变。虽然结果是基于计算机模拟（如迷宫和积木任务），但作者证明了他们的方法足够鲁棒，能够处理显著的变化（如不同的起始位置或物体形状），而不需要为每一个新场景都准备海量的新数据。

简而言之，这篇论文为机器人提供了一种成为“好奇学生”的新途径：它们不仅死记硬背一个教训，还从整个相关学科的库中学习，并内置了一个指南针，以便在迷失方向时找到回家的路。

技术摘要：泛化与引导：通过分解奖励实现少样本逆强化学习

1. 问题定义：多任务演示下的少样本 IRL (FM-IRL)

本文解决了逆强化学习（IRL）中的一个关键瓶颈：在面对显著的任务内差异（例如不同的物体形状、放置位置或机器人的初始姿态）时，传统方法在仅有少量特定目标任务演示的情况下无法实现泛化。

虽然先前的研究侧重于模仿学习（IL）或元强化学习（Meta-IRL），但这些方法在实际应用场景中面临重大局限性：

模仿学习 (IL)： 诸如行为克隆（BC）等方法难以泛化到可用演示之外的特定状态分布，并且在没有奖励函数的情况下，无法通过在线策略优化进行改进。
元强化学习 (Meta-IRL)： 这些方法通常需要访问多任务训练环境来元训练奖励函数或上下文变量，这一假设在现实世界的机器人领域往往是不切实际的，因为重建多样化的环境非常困难。

作者引入了一个全新的问题设定：具有多任务演示的少样本 IRL (FM-IRL)。在此设定下，智能体必须利用以下信息学习一个具有显著变化的全新目标任务：

少量目标任务的演示数据 ( $D_{target}$ )。
大规模异构但相关的任务演示数据集 ( $D_{multi}$ )。
与目标任务环境的在线交互 ( $D_{\pi}$ )。

至关重要的是，智能体无法访问多任务训练环境，只能获取来自这些环境的演示数据。其目标是恢复新任务的专家分布，并在智能体偏离该分布时提供纠正性引导。

2. 方法论：多任务判别器近邻引导 IRL (MPG)

为了解决 FM-IRL，作者提出了 MPG 框架，该框架将奖励函数分解为两个互补的部分：用于专家识别的泛化判别器，以及用于恢复引导的近邻函数。

2.1 多任务判别器（泛化）

第一个组件是一个演示条件的判别器 $d_\phi(\tau, (s, a))$ ，旨在跨相关任务传递共享的结构化知识。

架构： 它利用两个独立的编码器分别处理演示轨迹 $\tau$ 和状态-动作对 $(s, a)$ 。将嵌入向量拼接后通过全连接层，输出 $(s, a)$ 与由 $\tau$ 所描述的任务之专家行为的一致性概率。
训练目标： 判别器使用所有可用演示（ $D_{target} \cup D_{multi}$ ）上的二分类损失进行训练。正样本对由与演示属于同一任务的状态-动作元组组成；负样本对由来自不同任务的元组组成。此外，在线策略样本也被视为负样本（对抗性目标），以防止对专家数据的过拟合。
功能： 该组件通过利用多任务数据集中发现的共享结构，学习识别目标任务中的专家行为，从而有效地实现专家分布的泛化。

2.2 近邻函数（引导）

第二个组件 $p_\theta(s)$ 在非专家状态下提供密集且信息丰富的奖励，以引导智能体回到专家分布。

概念： 它估计从状态 $s$ 到专家状态分布的时间距离（最小步数）。
学习目标： 受拟度量学习（quasimetric learning）启发，该函数经过优化，旨在最大化策略状态的近邻值（在价值意义上将其推离专家分布，但实际上是在测量距离），同时强制执行时间一致性。
约束： 学习受到三角不等式的约束： $p_\theta(s_t) \leq p_\theta(s_{t+1}) + \zeta$ ，其中 $\zeta$ 是单个时间步的代价。专家状态被锚定为近邻值为 0。
集成： 为了丰富目标任务的专家分布，如果多任务判别器的置信度超过阈值（ $d(s, a) > c_{thresh}$ ），则将策略状态重新标记为“专家”。

2.3 组合奖励函数

最终的奖励函数 $\tilde{R}$ 结合了这两类信号：
$\tilde{R}(s_t, a_t, s_{t+1}) = \underbrace{d(s_t, a_t)}_{\text{专家行为信号}} + \lambda \underbrace{[p(s_t) - p(s_{t+1})]}_{\text{近邻改进}}$
判别器提供了针对专家一致行为的稀疏信号，而近邻项则提供了减少与专家分布距离的密集梯度。该组合奖励被用于通过强化学习（PPO）优化策略。

3. 主要贡献

问题设定： 本文形式化了 FM-IRL 设定，解决了在多任务环境不可用但多任务演示可用的自然变化任务下，任务定义不足的问题。
算法 (MPG)： 提出了一个奖励分解框架，通过协同结合多任务判别器（用于跨任务变化的泛化）和近邻函数（用于非见状态下的纠正性引导）。
实证验证： 该方法在具有显著变化的多种导航和操纵任务（Maze2D、Block Stacking 和 FactorWorld）上进行了评估。

4. 实验结果

作者将 MPG 与九种基线方法进行了对比，包括传统的 IRL（GAIL、MT-AIRL、PEMIRL）、模仿学习（BC、SQIL、Transformer-BC）以及其他基于判别器/近邻的方法（DVD、GoalPro）。

性能： MPG 在 9 个任务中的 8 个 上取得了最高的平均成功率。
对比： 其成功率比最强的单任务基线平均高出 24.7 个百分点。
消融实验：
- 单独移除判别器或近邻函数都会降低性能，证实了两者都有必要。
- 移除多任务数据集（“无多任务数据”）会导致性能与“仅近邻”消融版本相当，这突显了判别器对多任务数据进行泛化的依赖性。
- 该方法在不同数量的目标演示（5 到 25 个）和多任务数量（2 到 8 个）下保持稳健，尽管在多样性达到一定程度后性能趋于饱和。
数据效率： MPG 在拥有大量演示（200 个）时表现良好，但在少样本场景下相对于基线的优势最为显著。

5. 重要性与主张

本文声称 MPG 有效地弥合了有限监督与现实世界中具有自然变化场景下的鲁棒策略学习需求之间的差距。通过将奖励分解为可泛化的专家识别器和基于近邻的引导器，该方法使智能体能够以极少的监督实现“观察、练习并精通”新任务，模拟了人类的学习策略。

作者强调，他们的方法不需要访问多任务训练环境这种不切实际的假设，而是依赖于易于获取的演示数据集。结果表明，利用异构的多任务演示是克服传统少样本 IRL 和 IL 方法的样本低效和泛化失败问题的可行且强大的策略。

作者提到的局限性：

该方法需要来自相同领域和智能体的结构化多任务演示数据集。
虽然在演示方面很高效，但在线训练阶段仍然是“渴求样本”的。
奖励函数是在线训练的，如果不进行重新训练，无法直接复用于训练一个新的策略。