🤖 machine learning

Cross-Embodiment Transfer via Behavior-Aligned Representations

本文提出在视觉-语言-动作模型中使用行为对齐表示（特别是末端执行器轨迹），以统一多样化的跨具身数据并显著提升机器人的迁移性能，在经过仿真预训练后，实现了真实世界任务完成率 28% 的提升。

原作者： Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人做家务。在机器学习领域，有一个流行的观点：如果你向模型输入来自各处的海量数据，它会比只喂给它单一、特定来源的数据变得更聪明。这和人类通过环游世界学习多种语言，从而比那些只生活在一个小镇上的人更能适应新环境的道理是一样的。对于机器人来说，这意味着我们希望在从各种不同类型的机器人收集到的数据上训练它们——有的手臂长，有的手臂短，有的抓取器看起来像爪子，有的则像钳子。这被称为“跨具身”（cross-embodiment）学习。其目标是创建一个“通用”的机器人大脑，使其能够从许多不同机器人的经验库中学习，并将这些知识应用到一个它从未见过的全新机器人身上。然而，这里有一个大问题：安装在高处机器人上的摄像头从高角度观察世界，而矮个子机器人则从地面观察。它们的“手”移动方式不同，它们的动作指令所使用的“语言”也不同。尝试混合这些混乱、不匹配的数据集，就像是在试图通过同时展示汽车、卡车和自行车的视频来教学生开车，却不解释它们之间的区别一样。这会令人感到困惑，而且机器人往往会陷入停滞。

这篇题为《通过行为对齐表示实现跨具身迁移》（Cross-Embodiment Transfer via Behavior-Aligned Representations）的论文通过提出一个聪明的疑问解决了这种困惑：与其试图强迫机器人看起来或移动得完全一样，我们能否教会它们一种通用的“行为语言”？来自斯坦福大学和丰田研究院（Toyota Research Institute）的研究团队提出，我们可以通过关注动作的“故事”而非具体的机械细节，来弥合不同机器人之间的差距。他们建议使用“行为对齐表示”——这基本上是动作的简化摘要，比如对动作的文本描述（如“向左下方移动”）、围绕被抓取物体画出的一个框，或者一条描绘机器人手部在空中移动路径的线。

研究人员使用他们构建的一个名为 RoboCasa-X 的新模拟基准测试来测试这个想法。他们在一个包含三种不同源机器人海量数据的集合上训练了他们的机器人大脑（具体来说是一种被称为视觉-语言-动作模型的模型）。然后，他们尝试将这些知识迁移到四种不在训练数据中的不同目标机器人身上。他们对比了仅使用原始数据进行训练与加入这些额外的“行为摘要”进行训练的效果。

结果非常具有启发性。研究发现，添加这些行为摘要显著帮助了机器人将技能迁移到新的躯体上。在他们测试的不同类型的摘要中，“末端执行器轨迹”（end-effector traces）——即机器人的手在摄像头视图中所绘制的二维路径——是最强大的工具。当机器人在训练中使用这些轨迹时，它们在适应新硬件方面表现得更好。事实上，当机器人将预训练于模拟数据的策略应用于真实世界的机器人进行测试时，使用这些表示法使任务完成进度提升了 28%。

有趣的是，论文还发现，你并不一定需要机器人在实际执行任务时去“思考”这些轨迹。模型在训练过程中通过同时预测这些轨迹和动作学得最好，但在实际工作中，仅仅直接预测动作的效果也同样出色。这表明，这些轨迹在训练期间帮助机器人理解任务的底层逻辑，起到了类似于随后可以拆除的“辅助轮”的作用。此外，团队还展示了只要存在行为摘要，这些表示法甚至可以帮助机器人从不包含动作指令的数据（无动作数据）中学习。

作者谨慎地指出，虽然他们的方法在特定的模拟和现实世界测试中表现良好，但它依赖于机器人在任务和摄像头设置方面具有一定程度的相似性。他们并没有证明这适用于每一种可能的机器人差异，但他们的实验强烈表明，赋予机器人一种共享的“行为词汇表”是让它们变得更具适应性的一个充满前景的方法。通过专注于动作的“什么”和“如何”，而不是特定的“谁”（机器人型号），他们找到了让庞大且混乱的机器人数据真正发挥作用，从而构建出更聪明、更灵活的机器的方法。

技术摘要：通过行为对齐表示实现跨具身迁移

问题陈述

近期，机器人操控领域的进展主要由大规模跨多样化机器人具身的模仿学习所驱动。然而，实现显著的跨具身迁移（即在一种机器人数据集上训练的策略能够泛化到新的、未见过的机器人平台）仍然是一个持久的挑战。

主要的障碍在于不同具身之间存在巨大的观测空间（例如，相机位姿、视觉输入）和动作空间（例如，关节配置、末端执行器运动学）差异。虽然先前的研究尝试通过显式对齐观测（例如，通过相机位姿归一化或图像修复）或动作空间来解决这一问题，但这些方法通常需要大量的工程投入、对部署时机器人的特定知识，或者难以规模化。因此，其性能往往无法显著超过仅针对目标具身进行训练的效果。

方法论

作者提出了一个通过行为对齐表示（behavior-aligned representations）隐式对齐异构数据集的框架。其核心假设是：尽管不同机器人的原始观测和动作各不相同，但描述任务行为的中间表示（例如，“向左移动”、“在 [x, y] 处抓取物体”）在不同具身之间可以保持不变。通过训练视觉-语言-动作（VLA）模型来预测这些表示以及动作，策略可以利用一个统一的推理空间。

框架与形式化

该方法是在语言调节的模仿学习设定下构建的。策略 $\pi_\theta$ 被训练用于将观测 $o$ 和语言指令 $l$ 映射到动作 $a$ 。

行为对齐表示 ( $z$ )： 作者定义了一组表示 $z = (z^{(1)}, \dots, z^{(K)})$ ，这些表示可以从数据集中计算得出，对预测最优行为有用，且在不同具身之间具有不变性。
训练目标： 模型被训练为自回归地预测采样的表示子集 $\tilde{z}$ 以及随后的动作。总损失结合了行为克隆损失（动作预测）与预测表示的辅助损失：
$\mathcal{L}_{total} = \mathbb{E}[\ell(\pi_\theta(\cdot | o, l, \tilde{z}), a) + \sum \lambda_k \ell_{rep}^{(k)}(\pi_\theta(\cdot | o, l), z^{(k)})]$
在推理阶段，可以配置模型直接预测动作或以预测的表示作为条件。

研究的具体表示类型

论文评估了三种特定类型的行为对齐表示：

边界框（Bounding Boxes）： 用于可操作物体的 2D 物体边界框（通过 Grounding DINO 提取）。
语言运动（Language Motions）： 对即时运动的文本描述（例如，“向左下方移动”），源自本体感受状态的变化。
末端执行器（EE）轨迹： 机器人末端执行器在图像帧中的未来 2D 位置序列。

基准测试：RoboCasa-X

为了严格评估这些假设，作者引入了扩展自 RoboCasa 的仿真基准测试 RoboCasa-X。

源数据： 在来自三个源机器人（IIWA, Kinova3, UR5e）且具有不同夹爪的多元数据上进行预训练。
目标数据： 在三个目标机器人（Panda, Jaco, Panda-OG）上进行迁移评估，每个任务仅有 50 个目标演示。
任务： 四个操控任务（例如，“拿起并放置在水槽对面”、“打开水龙头”），其布局、纹理和物体位姿具有显著变化。

核心贡献

通过表示实现隐式对齐： 论文证明了行为对齐表示提供了一种可扩展的、隐式的方法来统一跨具身数据，避免了需要显式对齐观测或动作空间的问题。
表示的实证分析： 通过广泛的消融实验，作者确定末端执行器轨迹是对于跨具身迁移最具影响力的表示，其次是语言运动和边界框。
规模法则（Scaling Laws）： 研究表明，这些表示的效用随先验跨具身数据集的大小而缩放；较大的数据集（例如 3,000 个演示）比较小的数据集能从表示对齐中获得更大的收益。
无动作迁移（Action-Free Transfer）： 该框架支持从无动作数据集进行迁移。作者展示了在仅预测表示（没有动作标签）的数据上进行预训练，仍能提升下游在动作数据上的微调性能，这表明这些表示诱导出了一个有用的内部状态。
仿真到现实（Sim-to-Real）验证： 该方法在真实世界机器人上得到了验证，证明了表示可以弥合仿真到现实的差距，同时处理跨具身迁移。

实验结果

仿真结果 (RoboCasa-X)

性能增益： 使用行为对齐表示的性能始终优于无表示的基线。
- 末端执行器轨迹： 提供了最大的单项提升。
- 组合表示： 使用“联合表示”（训练单个模型来预测任何表示子集）通常在大多数任务和目标机器人（Panda, Jaco）中实现了最高的整体成功率。
- 例外情况： 对于拥有预训练中未见过的独特夹爪的 Panda-OG 目标，末端执行器轨迹的表现优于组合表示，这表明最优表示的选择取决于特定的具身差异。
规模化： 当规模从 900 个扩展到 3,000 个先验演示时，表示带来了 +19% 的改进，而在使用单具身数据时，这种收益较小。
推理： 在推理过程中预测表示相比直接进行动作预测仅带来了微小的增益，这支持了其主要收益是在训练期间学习到的（隐式对齐）这一假设。
无动作数据： 在无动作数据（仅预测表示）上进行预训练，比从头开始训练提升了 14%，比使用带有完整动作数据但没有表示的方法提升了 11%。

真实世界结果

仿真到现实迁移： 作者将基于 RoboCasa-X (XP-3K) 预训练的模型适配到了两个真实机器人：Franka Research 3 (FR3) 和 ViperX 300 S。
显著提升： 尽管存在显著的视觉观测和动作空间领域差异（例如不同的控制频率和遮挡行为），“联合表示”方法相比于没有表示的基线，使任务完成进度提升了 28%。
对比： 表示在真实世界设置中的收益比在仿真中更大，这可能是由于更大的领域差异使得隐式对齐变得更加关键。

意义与主张

论文声称，行为对齐表示是实现可扩展跨具身学习的关键机制。通过提供一种通用的“行为语言”（轨迹、框、语言），这些表示对特定的机器人硬件具有不变性，从而允许策略利用大规模、异构的数据集，否则这些数据会因具身不匹配而无法使用。

作者将这项工作定位为理解跨具身学习中“正向迁移”的一步。他们强调，虽然目前的设置涉及显著的对齐（例如，在仿真中具有一致的相机分布），但该框架为探索在更缺乏结构化、更不匹配的环境中的迁移提供了一个起点。这项工作表明，未来的研究应调查不同程度的不匹配如何影响特定表示的有效性，并探索除以物体为中心的操控之外更广泛的行为对齐信号。