🤖 AI

Imitation from Heterogeneous Demonstrations using Grounded Latent-Action World Models

本文介绍了基于预测引导的接地潜动作世界模型（Grounded Latent-Action World Models, GLAM），该框架通过学习一个共享的、以预测为引导的潜动作空间，使得从具有不同或缺失动作标签的异构数据源中进行鲁棒的模仿学习成为可能，并在模拟和现实世界的操控任务中显著优于现有基准方法。

原作者： Tianyou Wang, Anson Lei, Joe Watson, Ingmar Posner

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyou Wang, Anson Lei, Joe Watson, Ingmar Posner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要教一个机械臂如何拿起一个杯子并把它放入抽屉。传统的方法是让人类亲手引导机械臂完成这个动作数百次。这既缓慢、昂贵，又枯燥乏味。

这篇论文提出了一种更聪明的方法：让机器人从“廉价”的练习和“昂贵”的真实训练中共同学习。

以下是他们解决方案 GLAM 的拆解，使用了简单的类比。

问题所在：语言不通

想象你有两种类型的训练数据：

“黄金”数据（Gold Data）： 真实的机器人录像，我们确切知道电机的运动方式（即动作标签）。这种数据很稀缺，获取成本很高。
“白银”数据（Silver Data）： 来自其他来源的大量视频——模拟器、人类移动物体的视频，或是来自另一台不同型号机器人的数据。这些数据非常丰富且免费，但它们没有电机指令，而且看起来也不同（不同的摄像头视角、不同的机器人形状）。

如果你只是把这两者混合在一起进行教学，机器人会感到困惑。这就像试图通过一本英文教科书和一段日语讲座来教学生，却没提供翻译。机器人不知道模拟器中的“向上移动手臂”与现实世界中“向上移动手臂”是同一个目标。

解决方案：“通用翻译机”（GLAM）

作者构建了一个名为 GLAM（基于接地潜动作的世界模型，Grounded Latent-Action World Model）的系统。你可以把 GLAM 想象成一个通用翻译机，它使用一种只有“黄金”数据和“白银”数据都能理解的秘密抽象语言进行交流。

它是如何工作的呢？分为两个步骤：

第一步：学习秘密语言（世界模型）

GLAM 不再试图去匹配机器人具体的电机运动，而是专注于因果关系。

核心理念： 如果一个动作（比如推一下方块）导致方块在桌面上滑动，那么这个动作就具有特定的“含义”。无论这个“推”的动作是来自人类的手、模拟器，还是另一台机器人，只要对物体产生的结果是一样的，那么这个动作的“含义”就是一样的。
机制： GL中建立了一个共享的“字典”（潜空间/latent space）。
- 它观察“白银”数据（没有电机指令的视频），并追问：“是什么看不见的动作导致了这个物体的移动？”它猜出答案，并用秘密语言将其记录下来。
- 它观察“黄金”数据（真实的机器人），并追问：“什么样的电机运动导致了这种现象？”它将该运动翻译成同样的秘密语言。
- 神奇之处： 它强制要求这两者的翻译保持一致。它确保视频中的“推”和机器人执行的“推”在这一套秘密语言中代表完全相同的意思。

第二步：教导机器人（行为克隆）

一旦建立了这个秘密字典，机器人就可以学得更快。

系统提取所有的“白银”数据（廉价且丰富的视频），并使用这种秘密语言为它们重新打上标签。现在，机器人拥有了一个庞大的指令库，尽管它从未见过原始的电机指令。
随后，它训练机器人观察场景、猜测所需的“秘密动作”，然后将这个秘密动作翻译回真实的电机指令，从而执行任务。

创意类比：舞蹈教练

想象你想教一名学生（机器人）一个特定的舞蹈动作。

旧方法： 你站在学生身边，亲手移动他们的肢体 1,000 次。（昂贵、缓慢）。
GLAM 方法： 你拥有一些专业舞者的视频（黄金数据），以及成千上万段人们在客厅、舞台或动画片里跳舞的视频（白银数据）。
- 白银数据虽然没有分步指令，但你可以看到舞者们对地面和空气做了什么。
- GLAM 就像一位编舞师，他忽略了具体的鞋子或房间的大小。相反，他专注于节奏与流动。
- 他意识到，“踩着节拍向前迈步”这个概念，无论是专业舞者在演播室里做，还是小孩在客厅里做，都是一样的。
- 他创造了一个代表这个动作的“节奏代码”（Rhythm Code）。
- 现在，学生通过观看所有这些视频来学习，理解这个“节奏代码”，然后将其应用到自己的身体上。因为他们可以接触到成千上上的个例子，而不是仅仅几个，所以他们学习舞蹈的速度大大加快了。

研究发现

研究人员在五个不同的任务（如堆叠积木或撞倒瓶子）中，在计算机模拟和现实世界中都测试了该系统。

结果： 使用 GLAM 训练的机器人表现显著优于仅使用昂贵的“黄金”数据进行训练的机器人。
提升： 在一些困难的任务中，相比标准方法，GLAM 方案将成功率提高了近 50%。
“物体掩码”（Object Mask）技巧： 他们发现，如果告诉 AI 只关注被移动的物体（忽略背景和机器人自身的躯干），学习会变得更加准确。这就像告诉学生：“别管房间怎么样，盯着球看就行。”

核心总结

GLAM 通过教机器人理解运动的物理特性而非仅仅死记硬背特定的电机指令，解决了“数据稀缺”的问题。它让机器人能够从廉价、杂乱且多样的数据源（如模拟器或视频）中学习，并将这些知识应用于现实世界的任务，从而在无需数千次昂贵人工演示的情况下，让机器人变得更聪明、训练得更快。

技术摘要：基于地面化潜在动作世界模型的异构演示学习

问题陈述

模仿学习在视觉运动操控领域取得了显著成功，但其可扩展性受到目标机器人上高质量、带有动作标签的演示数据成本高且稀缺的限制。虽然存在大量的异构数据源（例如：仿真环境、便携式手持设备、人类视频），但它们带来了三个关键挑战：

动作空间不匹配： 不同来源的数据通常具有不兼容的动作空间，或者完全缺乏动作标签。
视觉与具身差异： 数据源在摄像机视角、机器人形态和场景上下文方面表现出巨大的差异，而这些差异并不反映底层的任务物理特性。
现有方案的局限性： 当前利用异构数据进行协同训练的方法依赖于启发式的、人工设计的对齐技术（例如：最优传输损失、经验调优的混合比例或特定的分词器），而非原则性的表示学习。

本文认为需要一种更具原则性的方法：动作应该基于其对环境产生的物理影响来表示，而非基于其来源。两个驱动物体沿相同轨迹运动的动作，无论它们源自真实机器人、仿真还是手持设备，都应该共享一个表示。

方法论：地面化潜在动作世界模型 (GLAM)

作者提出了 GLAM，一个通过一对耦合生成模型将异构数据统一到共享、来源无关的潜在动作空间的框架。该流水线分为两个阶段运行：

第一阶段：GLAM 预训练（世界模型）

其核心创新在于学习一个基于环境动力学的共享潜在动作空间 ( $z_t$ )。这是通过两个联合训练的生成模型实现的：

异构模型 ( $p(X, O, Z)$ )： 在目标数据 ( $D_{tar}$ ) 和辅助数据 ( $D_{aux}$ ) 的混合集上进行训练。由于 $D_{aux}$ 缺乏动作标签，该模型将动作视为仅从状态转移中推断出的潜在变量。
- 它利用一个逆动力学模型 (IDM)， $q_\phi(z_t | x_t, x_{t+1})$ ，直接从观测到的状态转移中推断潜在动作（其中 $x_t$ 是从观测中编码的潜在状态）。
- 它使用一个共享的前向动力学模型 $p_\theta(x_{t+1} | x_t, z_t)$ 来预测未来的观测。
- 原理： 通过在所有数据源之间共享 IDM 和前向动力学，模型强制要求潜在动作由其如何影响环境来定义，从而确保了来源无关性。
目标模型 ( $p(S, A, Z)$ )： 仅在带标签的目标数据 ( $D_{tar}$ ) 上进行训练。
- 它包含一个动作编码器 $q_\eta(z_t | s_t, a_t)$ ，用于从可执行的机器人动作和本体感受状态中推断潜在动作。
- 它包含一个动作重构项 $\log p_\theta(a_t | z_t)$ ，确保潜在空间仍锚定在目标机器人的特定控制语义中。

对齐机制：
为了将这两个模型绑定在一起，作者引入了一个非对称 KL 散度约束 ( $C_{KL}$ )。该约束将 IDM 后验（来自异构模型）与动作编码器后验（来自目标模型）在目标数据集上进行对齐。

非对称性（通过在目标编码器上使用停止梯度）确保了 IDM 能够吸收来自目标数据的“特权”控制语义，而不受来自辅助数据中的模糊信号的干扰。
综合目标函数最小化了两个模型的负证据下界 (ELBO) 以及对齐约束，从而创建了一个统一的潜在空间，在该空间中，任何状态转移都可以被重新标记为一个共享的、具备控制感知能力的潜在动作。

注：作者还研究了一种使用物体分割掩码作为观测值（而非原始 RGB 帧）的变体，以进一步强化对受操纵物体动力学的关注。

第二阶段：世界模型对齐的行为克隆 (BC)

一旦 GLAM 模型预训练完成并冻结，它将作为一个潜在动作锚点：

重标记： 使用 IDM 后验均值，将 $D_{tar}$ 和 $D_{aux}$ 中的每一次转移都重新标记为潜在动作 $z_t$ 。
策略训练： 训练下游的行为克隆策略（具体为轻量级回归策略 MIP），将观测映射到这些潜在动作块。
执行： 策略的输出（潜在动作）通过目标模型的动作解码器被解码回可执行的机器人动作。

这种方法允许无标签的辅助数据直接作为 BC 策略的监督信号，有效地替代了昂贵的针对目标机器人的遥操作。

核心贡献

原则性的表示学习： 本文将范式从启发式对齐转向学习基于物理预测的动作表示。如果动作产生相同的环境转移，则它们被视为对齐。
GLAM 架构： 引入了一个双模型生成框架（异构模型 + 目标模型），通过非对称 KL 对齐和共享前向动力学进行连接。这创建了一个既是来源无关（从混合数据中学习）又是控制感知（植根于目标机器人动作）的潜在空间。
数据效率： 研究表明，异构、无标签的数据可以有效地替代目标机器人的演示，显著降低了可靠部署的数据需求。
以物体为中心的地面化： 探索使用物体掩码作为输入，通过专注于受操纵物体的物理特性来进一步提高迁移能力。

实验结果

作者在五个操控任务上评估了 GLAM：三个在现实世界中（举起、拾取与放置、击倒），两个在仿真环境中（2-方块和 3-方块堆叠）。

性能提升： GLAM 对齐的策略显著优于行为克隆基准 (MIP) 和先前的潜在动作方法 (CLAM, LAPA)。
- 在相同的缺数据设置下，任务成功率平均提升了 48%。
- 在复杂的双臂“堆叠三个”任务中（该任务通常需要数百次演示），GLAM 达到了 72.7% 的成功率，而所有基准模型均失败（≤4%）。
跨源迁移： 定性实验证实，从无标签来源（如 UMI 手持设备仿真）推断出的潜在动作可以成功解码并在目标机器人（Kinova）上执行，无需任何动作标签，验证了潜在空间的对齐。
数据效率： 在缩放实验中，GLAM-O（使用物体掩码）的表现与仅使用 500 条目标轨迹进行训练的标准 BC 策略相比，通过使用 100 条目标轨迹结合 400 条辅助轨迹即可达到相当水平。这表明辅助数据在性能增益方面可以近乎 1:1 地替代目标数据。
物体掩码： 使用物体掩码作为观测值一致地提高了性能，特别是在复杂的“击倒”（+25%）和“堆叠三个”（+16%）任务中，支持了“以物体为中心的地面化增强迁移性”的假设。

意义与主张

本文声称 GLAM 提供了一种学习异构数据的范式，克服了模仿学习中的数据瓶颈。通过将动作视为基于环境转移的潜在变量，该方法消除了对手工设计对齐配方的需求。

作者强调，GLAM：

将有标签和无标签数据统一到一个单一的、来源无关的潜在空间中。
使得直接使用廉价、丰富的辅助数据（如仿真或手持设备数据）作为目标机器人的监督成为可能。
在数据匮乏的设置下，无需大规模预训练或大规模在线交互即可实现最先进的性能。

这项工作被视为通过基于物理原则的表示学习框架，利用多样化、不完美的辅助数据，将具备能力的策略扩展到现实世界任务“长尾”领域的一步。