🤖 AI

CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations

本文介绍了 CLAM，这是一个使机器人能够通过自监督动力学预测推断连续潜动作，并利用与任务无关的游玩数据将其进行锚定的框架，从而通过从无标签观测序列中学习有效的控制策略，实现与使用专家标签的行为克隆相媲美的性能，且无需昂贵的动作标签演示。

原作者： Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人做某件事，比如堆叠积木或倒饮料。通常，教机器人的最佳方式是手把手地向它展示每一步该怎么做，同时记录下其电机进行的每一次微小运动。这就像是给学生一本在背面写好了答案的教科书。但问题在于，记录这些电机运动是非常困难、昂贵且枯燥的。这需要人类专家物理控制机器人长达数小时，既缓慢又耗时。

现在，想象另一种类型的老师。这位老师没有机器人，他只有一个摄像机。他拍摄自己完成任务的过程，或者在互联网上寻找人们做这些任务的视频。机器人可以看到“发生了什么”——积木移动了，杯子满了——但它并不知道人类是如何移动手部动作来实现这一切的。“电机信号”缺失了。这就是机器人领域科学家们试图解决的谜题：机器人如何仅通过观察那些隐藏了“如何做”指令的视频，就能学会自主运动？这篇论文正是在解决这个难题，旨在让机器人能够通过廉价、易于收集的视频进行学习，而无需依赖昂贵的、手持式的训练课程。

这项研究背后的研究人员 Anthony Liang 及其团队推出了一种名为 CLAM（连续潜动作模型，Continuous Latent Action Models）的新方法。可以将 CLAM 想象成一个超级聪明的侦探，它可以通过观察视频中连续的两帧画面，来推测导致变化的“隐形力量”。如果你在视频中看到杯子从桌子的左侧移动到了右侧，CLAM 会尝试推测在两者之间发生的具体连续运动，尽管它从未见过移动它的那只手。

神奇的过程是这样发生的：首先，机器人观看大量的无标签视频（仅包含观察结果，没有指令）。它尝试根据当前帧和一个关于“隐藏动作”的“猜测”，来预测下一帧看起来会是什么样子。如果猜测错误，预测就会失败，机器人就会学习如何调整其猜测。随着时间的推移，它建立了一个由这些“隐藏动作”组成的库，使之能够理解这个世界。但这里有一个难点：这些隐藏动作只是机器人大脑中的数字；它们目前还不是真正的电机指令。

为了解决这个问题，团队使用了第二组较小的数据集：“玩耍”（play）数据。这只是机器人在四处乱动、碰撞物体以及随机移动手臂，但这一次，计算机确实记录了电机指令。这就像机器人在没有目标的情况下玩弄粘土，但同时记录着它手指是如何移动的日记。CLAM 利用这份日记来教它如何将这些“隐藏动作”的猜测转化为真实的物理运动。这里的关键创新在于，他们将“猜测”部分和“转化”部分放在一起进行训练。这确保了猜测保持简单且有用，而不是变成机器人无法执行的混乱状态。

实验结果非常令人印象深刻。团队通过两种方式测试了 CLAM：在计算机模拟环境（类似于电子游戏世界）中，以及在一个名为 WidowX 的真实物理机械臂上。他们发现，CLAM 能够学习完成复杂任务，例如组装零件或拿起物体，其成功率比之前尝试实现相同目标的各种方法高出 2 到 3 倍。在许多情况下，即使从未真正看到过那些完美的“电机指令”数据，CLCLAM 学习到的表现也几乎达到了与使用这些昂贵、完美数据进行训练相当的水平。

至关重要的是，这篇论文表明，当“隐藏动作”是连续的（平滑且流动的）而非被拆分为细小的离散步骤，并且当机器人利用那少量“玩耍”数据来学习转化这些动作时，这种方法效果最好。如果他们试图将动作强行纳入僵化的、步进式的格式，或者试图单独训练转化部分，机器人就会陷入困境。论文证明了，通过将这种自监督的侦探工作与少量杂乱的、无标签的玩耍数据相结合，我们可以教会机器人新的技能，而无需依赖昂贵的、由专家引导的遥操作。这是朝着让机器人能够从互联网上现有的海量视频内容中学习迈出的重要一步，而不是要求我们手动记录它们的每一个动作。

技术摘要：CLAM —— 用于从无标签演示中学习机器人控制的连续潜动作模型

问题陈述

从演示中学习机器人控制策略通常依赖于具有显式动作标签（例如通过遥操作获取）的专家数据。收集此类数据的成本高、耗时长，且难以扩展到多样化的现实世界环境中。虽然人类视频演示非常丰富且易于收集，但它们缺乏标准模仿学习（IL）所需的地面真值（ground-truth）机器人控制信号。此外，将人类视频转换为机器人兼容的观测值并不能本质上提供缺失的动作标签。

本文解决了一个实际场景，该场景具备以下特征：

无标签专家数据： 存在大量的机器人视频演示语料库（无论是从人类视频转换而来的还是现有的日志），但缺乏动作标签。
任务无关的玩耍数据（Task-Agnostic Play Data）： 拥有少量带有动作标签的机器人状态转移数据集，但这些是“玩耍”数据（无目的性的，非专家的），而非特定任务的专家演示。
目标： 使用这些无标签的专家视频和少量的任务无关玩耍数据，学习一个针对特定任务的高性能策略，而无需收集新的带动作标签的专家演示。

方法论：连续潜动作模型 (CLAM)

CLAM 是一个两阶段框架，旨在从观测序列中推断连续的潜动作（latent actions），并将其落实为可执行的电机指令。

1. 潜动作模型 (LAM) 训练（第一阶段）

CLAM 的核心是一个自监督潜动作模型，它学习在没有地面真值标签的情况下，从连续观测中推断动作。

组件：
- 潜逆动力学模型 (IDM)： $f_\phi(z_t | o_{t-H}, \dots, o_t, o_{t+1})$ 从观测序列中推断出连续的潜动作 $z_t$ 。
- 潜前向动力学模型 (FDM)： $g_\psi(o_{t+1} | o_{t-H}, \dots, o_t, z_t)$ 在给定当前历史记录和推断出的潜动作 $z_t$ 的条件下，预测下一个观测值。
自监督目标： 模型通过最小化未来观测值的重构误差进行训练（ $L_{recon} = MSE(\hat{o}_{t+1}, o_{t+1})$ ）。这种循环迫使潜动作 $z_t$ 编码必要的、与状态相关的转换信息。
连续潜空间： 与以往使用向量量化（VQ）将动作离散化的工作不同，CLAM 使用了连续潜动作空间。这对于高维、连续控制的任务至关重要，因为离散近似在这些任务中往往会失效。
与动作解码器的联合训练： 为了确保潜动作是可执行的，CLAM 利用少量的任务无关玩耍数据集 ( $D_{labeled}$ $D_{l ab e l e d}$ ) 联合训练一个潜动作解码器 $p_\omega(a_t | z_t)$ $p_{ω} (a_{t} ∣ z_{t})$ 。
- 解码器将潜动作 $z_t$ 映射为真实的电机指令 $a_t$ 。
- 训练目标结合了重构损失和动作解码器损失： $L_{CLAM} = L_{recon} + \beta L_{action-decoder}$ 。
- 关键洞察： 联合训练对潜空间进行了正则化，确保其是可解码的。解码器并不以观测值作为条件，从而迫使潜动作成为一种低层级的动作编码。

2. 潜动作策略训练（第二阶段）

一旦预训练好 LAM 后：

重标记（Relabeling）： 训练好的 IDM 为无标签的专家演示 ( $D_{unlabeled-expert}$ ) 标注伪潜动作，从而创建一个 $(o_t, z_t)$ 数据集。
策略学习： 在这个重标记后的数据集上，通过标准的模仿学习（行为克隆）来训练潜动作策略 $\pi_\theta(z_t | o_t)$ 。
推理： 在执行期间，策略根据观测值预测一个潜动作 $z_t$ ，随后预训练的动作解码器 $p_\omega$ 将 $z_t$ 转换为物理电机指令。

核心贡献

连续潜重标记： 作者证明，只有在使用连续潜空间结合联合接地（joint grounding）（即同时训练解码器与 LAM）时，潜动作重标记在连续机器人控制任务中才变得切实可行。
高效的数据利用： 该框架表明，任务无关的玩耍数据足以用于实现潜动作的接地。这显著降低了数据收集的成本，因为它消除了在动作标注阶段收集昂贵的、特定任务的专家遥操作数据的需求。
真实世界部署： CLAM 被成功部署在物理 WidowX 机器人臂上，用于四个操纵任务，其表现与使用特权专家动作标签训练的策略相当，尽管在训练过程中从未见过此类标签。

实验结果

论文在 DMControl（基于状态）、MetaWorld（基于图像）和真实的 WidowX 机器人上对 CLAM 进行了评估。

性能提升：
- 在 DMControl（基于状态）上，CLAM 比最佳基线（VPT）将平均归一化回报提高了超过 2 倍。
- 在 MetaWorld（基于图像）上，CLAM 比 LAPO、LAPA 和 DynaMo 等基线实现了 2–3 倍更高的任务成功率。
- CLAM 接近甚至超过了 BC-Expert（使用地面真值专家动作进行行为克隆的策略）的表现，尽管 BC-Expert 拥有特权标签，而 CLAM 则没有。
消融研究：
- 连续 vs. 离散： 离散潜动作（使用 VQ）在连续控制任务中表现较差。仅使用连续潜动作即可带来约 1.5 倍的提升。
- 联合训练： 将动作解码器与 LAM 进行联合训练是必不可少的。当与连续潜动作结合时，它能将性能提升约 3 倍。
- 数据缩放： 性能随无标签专家数据量 ( $|D_{unlabeled}|$ ) 的增加而提升。该方法也随用于接地的玩耍数据量 ( $|D_{labeled}|$ ) 扩展，优于由于非专家数据而很快达到瓶颈的标准 BC 方法。
真实机器人结果： 在 WidowX 上，CLAM 解决了操纵任务（如组装、拣选），其成功率显著高于基线，通常能达到与特权 BC-Expert 基线相当的水平。

意义与主张

论文声称 CLAM 代表了一种从无动作数据中学习机器人策略的可扩展解决方案。其主要意义在于：

消除专家标注的瓶颈： 它证明了可以学习有效的机器人策略，而无需收集昂贵的、特定任务的、带动作标签的专家演示。
利用廉价数据： 通过利用丰富的无标签机器人视频和廉价的任务无关玩耍数据，CLAM 降低了机器人学习的门槛。
架构必要性： 该工作确立了对于高维连续控制而言，连续潜空间与动作解码器的联合训练的结合不仅是有益的，而且是成功的必要条件，这使其区别于以往针对离散领域设计的潜动作模型。

作者指出，虽然 CLAM 在单机器人、单任务设置下非常有效，但未来仍需解决如何推广到“野外”互联网视频（处理伪影、具身差异）以及扩展到跨具身学习等挑战。