🤖 machine learning

Consistent Zero-Shot Imitation with Contrastive Goal Inference

本文介绍了对比式逆强化学习（Contrastive Inverse Reinforcement Learning, CIRL），这是一种自监督预训练框架，它将多任务逆强化学习转化为一个可处理的目标推理问题，从而使智能体能够在无需奖励或测试时更新的情况下，在零样本模仿场景中一致地复现专家行为。

原作者： Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人完成一项新任务，比如堆叠积木或在房间里行走。通常情况下，你必须向机器人展示每一步具体该怎么做（模仿），或者给它一套严格的规则和得分标准（奖励）。但如果我想让机器人在没有任何演示、也没有任何评分卡的情况下自主学习，然后在稍后仅仅通过观看一段人类完成任务的视频，就能完美地掌握这项任务呢？

这正是这篇论文所解决的挑战。来自普林斯顿大学的研究人员引入了一种名为 CIRL（对比逆强化学习，Contrastive Inverse Reinforcement Learning）的新方法。以下是其工作原理的拆解，通过简单的概念和类比来呈现。

核心思想：“目标”是秘密语言

这篇论文的核心洞察是：几乎任何复杂的任务都可以由一个单一的目标状态（goal state）来概括。

类比： 想想烹饪节目。你不需要记住厨师每一个切菜、搅拌或翻炒的动作。你只需要知道最终的成品（目标）。如果你知道目标是“一份完美的欧姆蛋”，你就能推导出实现它的步骤。
问题： 大多数人工智能试图直接猜测“食谱”（奖励函数），这就像是在试图猜测厨师脑海中精确的想法。这非常混乱且往往是错误的。
CIRL 的解决方案： CIRL 不去猜测食谱，而是猜测最终的成品（目标）。一旦机器人知道了目标，它就会利用预训练的技能来达到那个目标。

CIRL 如何学习（“游乐场”阶段）

在机器人见到人类之前，它会经历一个“预训练”阶段，在这个阶段，它完全自主学习，没有人类帮助，没有奖励，也没有演示。

好奇的探索者 (GoalKDE)：
想象一个在巨大游乐场里的孩子。为了学习如何移动，这个孩子并不只是随机游荡；他们会专门寻找尚未造访过的地方。CIRL 有一个名为 GoalKDE 的机制，就像这个孩子一样。它观察机器人去过的所有地方，然后说：“你来这里已经一百万次了，但你从未去过那里。”它会挑选一个新的、未被探索过的点作为“目标”，并告诉机器人尝试到达那里。这迫使机器人探索整个环境，并学习如何在所有方向上移动。
“如果……会怎样”的训练器 (Contrastive RL)：
在机器人进行探索时，它在学习一种特殊的地图。它学习的不是“这个动作给了我 10 分”，而是学习一种距离感。它学习到：“如果我在这里，而我想去那个目标，有多难？”它学会了区分“容易到达”的状态和“难以到达”的状态。这至关重要，因为它帮助机器人理解某些目标天生就比其他目标更难实现。
记忆库：
机器人将所有这些前往不同目标的“旅程”保存在一个记忆库中。它学习到一种通用的策略：“这是我到达可能给出的任何目标的方法。”

测试：单次模仿

现在，真正的测试开始了。你向机器人展示一段专家执行任务的单段视频（例如，人类走向特定椅子的过程）。机器人从未见过这项任务，也无法寻求帮助。

侦探 (Goal Inference)：
机器人观察视频并询问：“专家试图到达哪里？”它使用一个统计模型（一种类似于智能捷径的“平均场”模型）来推测目标。

聪明的小技巧： 论文证明，仅仅观察专家最终停留的位置是不够的。机器人还必须考虑到达那里的难度。如果专家为了到达某个点而走了一条非常艰难的路径，那么这是一个强烈的信号，表明这个点才是预期的目标。如果他们走的是一条容易的路径，那么他们可能只是在闲逛。CIRL 考虑到了这种难度，这使得它比以往的方法是更出色的侦探。

执行：
一旦机器人猜到了目标（例如，“专家想坐在那把椅子上”），它就会激活其预训练的“游乐场技能”来到达那个特定的位置。它不需要重新学习如何行走；它只需将现有的技能应用于这个新目标。

为什么这比旧方法更好

论文将 CIRL 与其他方法（如“前向-后向”或 FB 表示法）进行了比较。

旧方法的缺陷： 想象一张地图写着：“人们访问最多的地方是最重要的。”如果机器人走进一个房间并因为门被卡住了而困在那里，它会在那个房间里频繁出没。旧方法可能会认为：“噢，他们一定很想待在这个卡住的房间里！”
CIRL 的优势： CIRL 知道那个卡住的房间是难以到达且难以停留的。它意识到：“他们并不是想待在那儿，他们只是被困住了。”通过考虑到达一个状态的难度，CIRL 能正确推断出真实的目标，即使专家在到达那里时遇到了困难。

结果

作者在各种机器人任务上测试了它，从移动机械臂到推动物体再到行走。

结果： CIRL 一致地击败了其他“零样本”（即尝试在不经过重新训练的情况下从单个示例中学习的方法）方法。
证明： 他们在数学上证明了该方法是“一致的”，这意味着它能可靠地找到正确的目标，而其他类似的方法则容易被任务的难度所误导。

总结

简而言之，CIRL 是一种教机器人成为自给自足的探索者的方法。它在沙盒中度过时间，学习如何独自到达房间的每个角落。然后，当它看到人类做某件事一次时，它并不试图复制人类的精确动作。相反，它通过弄清楚人类试图前往何处，并利用其沙盒技能到达那里。它之所以奏效，是因为它明白：仅仅因为一个地方被频繁访问，并不意味着那是目标——有时候，目标是那个最难到达的地方。

技术摘要：通过对比式目标推理实现一致性的零样本模仿

问题陈述

本文研究的是零样本模仿学习 (Zero-Shot Imitation Learning, IL)，在这种设定下，智能体必须在没有额外的环境交互、梯度更新或测试时访问奖励函数的情况下，仅通过单次演示来重现专家的行为。当前的方法通常依赖于直接模仿演示（行为克隆）或通过逆强化学习 (IRL) 推断奖励函数。然而，行为克隆受限于分布偏移问题，而标准的 IRL 方法往往难以处理奖励推断的不确定性（under-specified），特别是当它们未能考虑到到达不同状态的相对难度（即配分函数）时。

作者提出了一个框架，使智能体能够纯粹通过自监督交互（无需演示、无需奖励、无需人类数据）进行预训练，以开发基础知识。核心挑战在于如何使这些智能体能够从单条轨迹中推断出演示者的意图，并在不进行进一步训练的情况下执行策略以实现该意图。

方法论：对比式逆强化学习 (CIRL)

所提出的框架——对比式逆强化学习 (Contrastive Inverse Reinforcement Learning, CIRL)——将多任务 IRL 问题重新定义为一个目标推断问题。该方法基于一个观察：许多任务都可以由单个目标状态来概括。该方法由集成在预训练阶段的三个主要组件组成：

最大熵对比强化学习 (MaxEnt CRL)：
- 智能体通过一个自监督目标学习目标条件策略。
- 它将对比强化学习 (CRL) 扩展到最大熵 (MaxEnt) 设置中。智能体不仅学习折扣未来奖励，还优化折扣未来奖励与熵之和。
- 判别器函数 $f_{\phi,\psi}(s, a, g)$ 使用噪声对比估计 (NCE) 来估计折扣状态占用度量，从而区分当前的“状态-动作-目标”元组与负样本。
- 策略函数通过最大化熵正则化目标来学习一个软 Q 函数 $\tilde{Q}_g(s, a)$ 。
自动目标提议 (GoalKDE)：
- 为了在没有外部奖励的情况下驱动探索，智能体采用了 GoalKDE，一种自动目标采样机制。
- 它对经验回放池中的状态拟合高斯核密度估计 (KDE)。
- 智能体从 KDE 下概率最低（访问频率最低）的状态中采样目标，从而鼓励智能体自主探索状态空间。
变分目标推断：
- 在测试时，给定一条演示轨迹 $\tau$ ，智能体必须推断专家的目标 $\hat{g}$ 。
- 作者证明，在具有目标条件奖励的 MaxEnt IRL 下，推断奖励等同于推断潜在目标。
- 他们采用平均场变分模型 $q_\xi(g|\tau) = \prod_{t=0}^T q_\xi(g|s_t, a_t)$ 来近似目标的后验分布。这种摊销推断模型通过最大化给定轨迹下的目标似然进行训练，从而有效地学习从演示中“读取”意图。

核心理论贡献

论文为 CIRL 方法提供了一致性 (Consistency) 的理论证明：

一致的目标推断： 作者证明了 CIRL 通过考虑到达不同状态的相对难度（即配分函数 $Z_g$ ），能够一致地恢复演示者的意图。
先前工作的局限性： 他们证明了结构相似的方法（如前向-后向 (Forward-Backward, FB) 表示）是不一致的。FB 方法基于状态访问计数来推断奖励，却未考虑配分函数。作者提供了一个反例（一个 2 状态 MDP），表明 FB 会错误地识别演示者的策略，因为它无法区分一个状态是因为易于到达而被频繁访问，还是因为它是真正的、难以到达的目标。

实验结果

作者在 JaxGCRL 和 无监督强化学习基准 (URLB) 环境（包括 Reacher、Pusher、Ant 和 PointMaze 任务）中对 CIRL 进行了评估。

性能对比基线： CIRL 一致地优于先前的零样本模仿方法，包括：
- 1-最近邻 (1-NN)： 一种简单的基线，通过复制专家轨迹中最近状态的动作来进行模仿。
- 前向-后向 (FB) 表示： 一种用于零样本 RL 和模仿的最先进方法。
- HILP： 一种用于无监督预训练的隐变量方法。
消融实验：
- 预训练： 带有自监督预训练的 CIRL 显著优于没有预训练的方法。
- 目标推断： 用于目标推断的平均场近似在性能和计算效率上普遍优于使用完整轨迹作为输入的模型。
- 探索： 虽然 GoalKDE 在某些环境中（如 Reacher）能达到近乎完美的模仿得分，但在高维空间（如 Ant、PointMaze）中，GoalKDE 与“预言机 (Oracle)”目标采样器之间的差距会扩大，这表明复杂状态空间的探索策略仍有改进空间。
泛化能力： CIRL 成功模仿了基于标准奖励最大化任务（非目标条件）训练的策略，通过推断与智能体 3D 位置和速度相关的目标，证明了目标空间假设可以捕捉复杂的奖励结构。

重要性与主张

论文声称目标是行为的一种紧凑且具有表达力的总结。通过将行为投影到受限的目标条件奖励空间，作者展示了：

高效性： 当将行为投影到目标条件奖励函数的受限空间时，模仿变得更加高效。
理论完备性： 该方法在理论上是一致的，能够在其他方法因忽略配分函数而失败的地方正确推断意图。
自监督基础： 通过纯粹的自监督探索（提出目标、尝试到达目标并从结果中学习），可以在没有任何人类演示或奖励信号的情况下，为交互式智能体构建基础知识。

作者总结道，这种“想象并实践”的循环使得智能体能够学习跨越多样化任务分布的可迁移策略，支持了将目标视为零样本模仿基本机制的观点。