💻 computer science

Compositional Motion Generation from Demonstration with Object-Centric Neural Fields

本文提出了一种生成式演示学习框架，通过将感知与动作通过共享的以物体为中心的神经场（object-centric neural fields）以及时间混合专家机制（temporal mixture-of-experts mechanism）相连接，实现了可扩展且数据高效的机器人运动生成，从而能够在极少训练数据的情况下，实现跨多样化场景配置的系统性泛化。

原作者： Ahmet Ercan Tekden, Yasemin Bekiroglu

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ahmet Ercan Tekden, Yasemin Bekiroglu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想教一个机器人如何整理乱七八糟的房间。旧的方法是给机器人看一段你打扫房间的长视频，并希望它能记住每一个肌肉动作。如果下次你移动椅子的方式稍有不同，机器人就会感到困惑并失败。

这篇论文提出了一种更聪明、更具“组合性”的机器人教学方式。机器人不再是死记硬背一个庞大且僵化的剧本，而是学习将任务分解为更小的、可重复使用的构建模块，就像厨师在学习制作完整餐点之前，先分别学习如何切菜、煎炒和摆盘一样。

以下是该系统的工作原理，我们使用简单的类比来解释：

1. “以物体为中心”的摄像头（观察世界）

大多数机器人观察图像时，看到的是一团巨大的、模糊的像素汤。这篇论文教会机器人将世界视为一系列截然不同的、独立的物体，就像孩子玩乐高积木一样。

类比： 想象一张印有碗图案的透明塑料片，以及另一张印有网球图案的塑料片。你可以独立地移动“碗”这张片子和“球”这张片子。
工作原理： 机器人使用一种特殊的“神经场”（一种 AI 大脑）将场景分解为这些独立的薄片。它为每个物体学习一个紧凑的“代码”（潜在向量），这个代码告诉机器人物体在哪里以及它长什么样。这使得机器人能够理解移动碗并不会改变球的状态，从而使其能够仅通过极少数示例进行高效学习。

2. “指挥家”（混合动作）

一旦机器人看到了物体，它就需要决定如何移动它的手臂。作者使用了一个叫做**专家混合（Mixture-of-Experts, MoE）**的系统。

类比： 想象一个管弦乐队。你有不同的声部：弦乐、铜管和打击乐。在单体式方法中，整个乐队演奏一首巨大且不可更改的曲子。而在这种新方法中，有一个指挥家（门控机制）决定哪个声部在何时演奏。
工作原理：
- 专家 1 可能知道如何伸手去拿杯子。
- 专家 2 可能知道如何拿起一个球。
- 专家 3 可能知道如何将物品放入碗中。
- 随着任务的进行（时间流逝），“指挥家”会将这些专家平滑地融合在一起。如果机器人需要拿起一个球然后放下它，指挥家会逐渐淡出“伸手”专家，并淡入“放下”专家。这一过程是根据场景中存在的物体自动完成的。

3. 从少量示例中学习（“素描”对比“照片”）

因为机器人理解了场景的“结构”（物体）和动作的“结构”（原语），它不需要成千上万个视频来学习。

类比： 如果你通过展示一张猫的素描来教人类画猫，人类可以画出不同姿势的猫，因为他们理解“猫”的概念（耳朵、尾巴、身体）。如果你通过向机器人展示 10,000 张猫的照片来教它，它可能只是记住了像素，如果猫的颜色变了，它就会失败。
结果： 论文显示，他们的机器人只需 10 到 30 次演示 就能学习复杂的任务（如堆叠方块或拿起物品）。其他仅观察原始图像的方法通常需要数百甚至数千次尝试才能达到同样的效果。

4. 现实世界测试（“泛化”的魔力）

研究人员在计算机模拟和真实的机器人手臂上进行了测试。

“语言”技巧： 在一个实验中，他们不仅给机器人看一张特定球体的图片，还使用语言工具告诉机器人“拿起那个球”。机器人随后成功捡起了一个网球进行训练，并在测试期间捡起了一个棒球，尽管它以前从未见过棒球。它泛化了“球”的概念，而不是仅仅死记硬背某种特定的纹理。
“3D”技巧： 在另一个测试中，机器人必须打开抽屉并将一个盒子放入其中。机器人扫描了房间的 3D 结构（类似于深度图），并弄清楚了如何在起始位置发生变化的情况下打开抽屉并抓取盒子。它是通过在展示的少量示例之间进行插值（填补空白）来实现这一点的。

总结

简而言之，这篇论文介绍了一种机器人学习系统，它：

观察世界时将其视为独立的、可移动的物体，而非一团混乱的图像。
运动时通过像指挥家混合音乐一样，将不同的“技能”（如伸手或放下）融合在一起。
学习速度极快，只需极少的示例即可掌握新任务。
泛化能力强，这意味着它可以处理新物体或略微不同的房间布局，而无需从头开始重新训练。

作者声称，这使得机器人学习更加高效且稳健，使机器人能够以极少的人类指令适应新情况。

技术摘要：基于以物体为中心的神经场进行演示中的组合式运动生成

问题陈述
从演示中学习（Learning from Demonstration, LfD）面临的一个核心挑战是如何利用有限数量的演示来表示多样化、长时程的行为。将运动视为单一的序列往往忽略了任务的组合结构，而这类任务通常通过连续的、物体级的交互（例如：接近、抓取、放置）展开。虽然运动基元（Movement Primitives, MPs）提供了一种紧凑的轨迹表示，但其组合性通常是人工强加的，并且依赖于难以一致估计的手工设计、低维特征。相反，直接从图像中学习特征通常需要大规模数据集，从而牺牲了 MP 所固有的数据效率。此外，现有的基于神经场的方案通常在场景层面运行，随着物体数量增加扩展性较差，或者无法支持用于全轨迹生成的视觉条件化。

方法论
作者提出了一个通过共享物体级表示将感知与运动连接起来的生成式 LfD 框架。该方法由两个主要阶段组成：

组合式场景建模（空间混合专家模型，Spatial MoE）：
该框架使用基于物体中心神经场的空间混合专家模型（MoE）对场景进行建模。每张图像都被渲染为一个由固定背景和 $N$ 个特定于物体的场组成的组合。
- 表示： 每个物体 $i$ 由一个潜在向量 $z_i$ 和一个预测外观的坐标基 MLP ( $F_i$ ) 表示。一个变形网络 ( $\Delta_i$ ) 在 $z_i$ 的调节下，将规范坐标映射到变形后的坐标，以捕捉位置和几何变化。
- 训练： 该模型采用了基于软掩码的重要性采样策略。这确保了每个专家能够独立学习，而不会坍缩到同一个物体上，即使输入掩码较为粗糙也是如此。训练分阶段进行：背景估计、带有位置感知缩放课程（position-aware zoom curriculum）的物体中心预训练，以及联合组合精炼。
- 潜在重标记（Latent Relabeling）： 为了确保一致性，作者为每个物体定义了一个“角集” $C_i$ ，代表观察到的变化的边界。在训练和推理期间，通过搜索这些角集的凸组合来恢复潜在向量，从而实现对输入图像的最佳重建。这使潜在空间规范化，并将泛化约束在已演示的支持范围内。
组合式运动生成（时间混合专家模型，Temporal MoE）：
运动通过时间混合专家模型生成，该模型根据物体潜在向量对轨迹生成进行条件化。
- 门控机制： 时间依赖型门控机制计算每个物体专家的权重 $w_i(t)$ 。这使得不同的轨迹段可以受不同物体子集的驱动（例如，“拾取”阶段取决于物体的位置，而“放置”阶段取决于目标物）。
- 条件化： 框架利用特征线性调制（Feature-wise Linear Modulation, FiLM）将物体特定信息注入轨迹生成器。聚合后的条件信号调节网络参数，使模型能够直接从视觉输入中学习平滑的、受物体条件的运动基元。
- 优化： 模型最小化演示轨迹的负对数似然，并在训练初期采用潜在丢弃（latent dropout）以防止产生伪相关性。

核心贡献

物体中心生成式场景模型： 一种使用具有潜在条件变形的空间 MoE，从图像中学习平滑、可解释的物体中心表示的方法。
用于运动的时间门控： 一个运动生成框架，通过使用时间混合专家模型来实现序列组合性，在保持运动基元的数据效率的同时，将其锚定在视觉结构中。
高效的数据驱动 LfD 框架： 一个集成系统，直接从视觉输入学习运动基元，与基于图像的基准相比，其数据效率显著提高，并支持在多样化场景配置下的泛化。
3D 与现实世界验证： 该框架被证明可以在 3D 场景表示（通过占据场）上运行，并通过基于语言的分割模型在类别层面实现泛化。

实验结果
该框架在仿真和现实世界机器人实验中进行了评估：

仿真： 该方法在四个操纵任务（避障、斜面拾取与放置、叠杯、叠方块）上进行了测试，这些任务具有变化的物体位置和几何变化。
- 数据效率： 所提方法在使用 10–30 次演示时即可实现极低的平均欧氏距离（MED）和高成功率。它始终优于使用 3 到 10 倍更多数据的基准模型（包括条件神经运动基元、扩散策略和 CNN-FiLM）。
- 消融实验： 去除时间门控会导致误差升高，证实了随时间变化的潜在聚合的价值。物体中心方法优于全局特征基准（CNN-FiLM, DINO-FiLM）。
现实世界实验：
- 鲁棒性： 系统成功完成了带有干扰物体和变化光照的拾取与放置任务。
- 类别级泛化： 利用视觉语言模型进行分割，机器人能够在无需重新训练的情况下，泛化到同一语义类别内的未见物体（例如，不同的杯子或球）。
- 3D 泛化： 在开抽屉任务中，模型利用了源自 ESDF 扫描的 3D 占据场。仅凭四次演示训练，它就成功泛化到了新的抽屉开启角度和箱体位置，实现了亚厘米级的抓取精度。

意义
本文声称，在物体层面的组合建模提供了一种强大的 LfD 范式。通过将物体中心神经表示与时间混合专家模型相结合，该框架提供了可解释的潜在结构和系统的泛化能力。其意义在于能够以有限的演示实现高任务性能，弥合了传统基元的效率优势与深度学习的感知丰富性之间的鸿沟。作者指出，尽管该方法对中度噪声和干扰具有鲁棒性，但它依赖于物体占据不同区域且场景布局保持一致的假设。未来的工作旨在扩展该框架，以纳入基于神经辐射场（NeRF）的场景表示，从而实现更广泛的场景级泛化。

1. “以物体为中心”的摄像头（观察世界）

2. “指挥家”（混合动作）

3. 从少量示例中学习（“素描”对比“照片”）

4. 现实世界测试（“泛化”的魔力）

总结

类似论文