🤖 机器学习

PointMapPolicy: Structured Point Cloud Processing for Multi-Modal Imitation Learning

PointMapPolicy 引入了一种新颖的多模态模仿学习框架，该框架利用 xLSTM 骨干网络和扩散策略，将结构化的、非降采样的点云与 RGB 图像进行融合，通过利用详细的几何结构和丰富的语义上下文，在机器人操控任务中实现了最先进的性能。

原作者： Xiaogang Jia, Qian Wang, Anrui Wang, Han A. Wang, Balázs Gyenes, Emiliyan Gospodinov, Xinkai Jiang, Ge Li, Hongyi Zhou, Weiran Liao, Xi Huang, Maximilian Beck, Moritz Reuss, Rudolf Lioutikov, Gerhard

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaogang Jia, Qian Wang, Anrui Wang, Han A. Wang, Balázs Gyenes, Emiliyan Gospodinov, Xinkai Jiang, Ge Li, Hongyi Zhou, Weiran Liao, Xi Huang, Maximilian Beck, Moritz Reuss, Rudolf Lioutikov, Gerhard Neumann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人做家务，比如叠衣服或堆叠杯子。为了做到这一点，机器人需要“看见”这个世界。目前，大多数机器人依赖标准摄像头（RGB），这能给它们提供关于房间丰富多彩的图像。然而，一张扁平的 2D 照片就像是在看一幅山峦图：它看起来很真实，但你无法准确判断山峰到底有多远，也无法知道如何抓取山坡上的岩石。

另一方面，机器人也可以使用“点云”（point clouds），即成千上万个微小 3D 点的集合，它们描绘出物体的精确形状和距离。你可以把它想象成一团尘埃，每一个微粒都告诉你某个表面的位置。问题在于，这个云团非常杂乱且不规则，使得机器人的“大脑”（AI）很难快速且准确地处理它。

于是，出现了 PointMapPolicy (PMP)。

论文作者发明了一种全新的方式来帮助机器人观察世界，它结合了两者的优点。以下是它的工作原理，我们使用简单的类比来解释：

1. “点图”（Point Map）的概念：将云团转化为网格

想象你有一堆乱七八糟的沙子（点云）。试图单独分析每一粒沙子既慢又令人困惑。

旧方法： 研究人员过去尝试只挑选出几个具有代表性的沙粒（下采样），或者尝试将 2D 图片提升到 3D 空间，但这往往会丢失细节或导致几何形状出错。
PMP 的解决方案： 团队意识到，如果你使用深度摄像头（它可以感知距离）并将每个像素转换为 3D 坐标（X, Y, Z），你就会得到一个“点图”（Point Map）。
类比： 把点图想象成将那堆乱七八糟的沙子压平，变成一个完美的、有组织的网格，其大小与普通的照片完全一致。现在，机器人拥有的不再是混乱的云团，而是一张“3D 照片”，其中的每个像素都知道自己在 3D 空间中的确切位置。

2. 为什么这是一个游戏规则的改变者

因为这种“点图”是一个整齐的网格（就像普通照片一样），机器人可以使用计算机科学家几十年来不断完善的那些强大的、现有的工具。

隐喻： 这就像是意识到你可以使用一列标准的高速列车（现有的图像处理 AI）在一条全新的 3D 轨道上行驶，而不是为每一次旅行都去建造一辆缓慢的定制货车。这使得机器人在理解形状和距离方面变得更快、更聪明。

3. 操作的“大脑”

机器人使用一种特殊的 AI 类型，称为扩散策略（Diffusion Policy）。

类比： 想象机器人正在尝试猜测下一回合的游戏动作，但它从一个完全随机的猜测开始（就像旧电视上的雪花噪声）。随后，AI 会通过逐步“去噪”，不断精炼这个猜测，直到动作变得完美。
骨干网络： 为了高效地完成这项工作，他们使用了一种新型的 AI 引擎，称为 xLSTM。可以把它看作是一个高效的记忆系统，它能记住前一刻发生了什么，并规划下一步行动，而不会被过多的数据所淹没。

4. 他们测试了什么

团队让机器人参加了两场截然不同的“学校考试”，以测试其效果：

“家务”测试 (RoboCasa)： 这包括打开抽屉、转动旋钮和堆叠积木等任务。
- 结果： 使用点图的机器人成为了优等生。它对物体 3D 形状的理解如此之深，以至于它比仅使用照片或杂乱点云的机器人成功率高得多。它特别擅长那些颜色并不重要、但形状和距离至关重要的任务。
“语言”测试 (CALVIN)： 这涉及遵循一系列指令，例如“拿起红色的积木，然后打开抽屉”。
- 结果： 在这里，机器人需要看到“颜色”（例如“红色积木”）。如果仅使用 3D 形状，机器人会因为无法分辨红色积木和蓝色积木而陷入困境。然而，完整的 PointMapPolicy（它将 3D 形状图与彩色照片相结合）通过了测试，表现出色，击败了几乎所有其他方法，包括那些在海量数据上进行训练的方法。

5. 现实世界的证明

最后，他们将机器人从计算机模拟带到了真实的实验室，并使用真实的机器人手臂进行测试。他们在折叠衣服、清扫和倒水等任务上测试了它。

结果： 使用点图策略的机器人比仅使用标准摄像头的机器人表现得更加稳定。它能够更可靠地处理折叠织物和堆叠杯子时遇到的复杂的现实物理情况。

核心结论

论文声称，通过将 3D 深度数据转化为结构化的“点图”，机器人可以利用标准的、快速的图像处理工具来理解 3D 世界。这使得它们能够比以往的方法更快地学习复杂任务，做出更精确的动作，并在面对新情况时具有更好的泛化能力。它搭建了一座桥梁，让机器人能够在不损失 2D 视觉的速度和效率的前提下，以高清晰度的 3D 方式观察世界。

技术摘要：PointMapPolicy

问题陈述

机器人操控系统需要互补的感知模态才能在复杂环境中有效运行。虽然 RGB 图像提供了丰富的语义上下文，但它们缺乏显式的 3D 几何信息，这阻碍了在需要空间推理的任务中的精度和泛化能力。相反，点云保留了几何结构和空间关系，但其不规则的数据结构限制了高效、成熟的计算机视觉架构的应用。目前的方法面临着关键的权衡：基于下采样的算法（例如最远点采样 Farthest Point Sampling）会丢弃对精确操控至关重要的细粒度几何细节，而特征提升（feature-lifting）方法往往会引入信息损失并难以维持空间结构。此外，现有的 3D 处理方法计算成本高昂，且与能够实现高效处理的 2D 规则网格结构不兼容。

方法论

作者提出了 PointMapPolicy (PMP)，一种全新的基于扩散的模仿学习框架，该框架以**结构化点图（structured point maps）**为策略条件。

核心概念：点图 (Point Maps)

PMP 不再将点云视为无序的点集，而是将 3D 信息编码到与对应图像像素保持一一映射关系的笛卡尔坐标（XYZ）规则 2D 网格中。

生成： 利用相机内参 ( $K_{int}$ ) 对深度图进行反投影，以创建密集的 2D 3D 点场 ( $M_t \in \mathbb{R}^{H \times W \times 3}$ )。
优势： 这种结构化表示允许直接应用标准的视觉编码器（如 ResNet、ViT、ConvNeXt）来处理 3D 数据，而无需进行计算昂贵的 K 近邻（KNN）或最远点采样（FPS）操作。
多视图融合： 来自多个相机视角的点图可以通过外参转换到统一的世界参考坐标系中，从而实现多视图数据的鲁棒融合。

架构

PMP 将这些点图集成到基于评分的扩散策略框架（EDM）中：

观测标记化 (Observation Tokenization)：
- 语言： 通过预训练的 CLIP 文本编码器进行编码。
- RGB： 由预训练的视觉编码器（如 Film-ResNet）处理。
- 点图： 由从头开始训练的视觉编码器处理。
融合策略： 本文研究了早期融合（将 XYZ 和 RGB 拼接成 6 通道输入）和后期融合。对于后期融合，通过元素级相加、拼接或交叉注意力将来自不同编码器的标记进行组合。作者发现拼接 (Concatenation, Cat) 是最有效的后期融合方法。
主干网络 (Backbone)： 策略利用 xLSTM（具体为 X-Block 中的 m-LSTM 层）作为核心计算单元。选择这种循环架构是因为它能以线性复杂度高效地建模时间依赖关系，在 Transformer 的表达能力与机器人实时学习所需的计算效率之间取得了平衡。
扩散过程： 模型学习通过逆转高斯扰动过程来生成动作序列（动作分块/action chunking），并以融合后的多模态观测为条件。

核心贡献

PointMapPolicy (PMP)： 首次将点图作为扩散模仿学习中的观测模态应用。
达到最先进性能 (SOTA)： 在 CALVIN 基准测试中，从头开始训练的策略达到了顶尖水平，并在 RoboCasa 基准测试上超越了其他模态。
系统性消融实验： 对点云处理方法、视觉主干网络（ResNet、ViT、ConvNeXt）以及融合范式进行了全面的分析，证明了结构化点图优于传统的下采样或提升技术。

实验结果

仿真基准测试

RoboCasa： PMP-xyz（仅使用点图）实现了 49.12% 的平均成功率，显著优于 DP3 和 3DA 等 3D 基准模型（高出约 20%），也优于 BC 和 GR00T-N1 等 2D 基准模型（高出约 13%）。这突显了在多样化家庭任务中结构化几何信息的价值。
CALVIN： PMP 达到了 4.01（平均展开长度）的分数，优于所有其他从头开始训练的模型以及许多预训练模型。值得注意的是，尽管其参数量较少，但仍超越了 Seer-Large (scratch)。然而，PMP-xyz 的表现（2.03）不如仅使用 RGB 的模型（3.15），这表明高度依赖颜色线索（例如“红色方块”）的任务需要视觉语义信息。
消融研究：
- 编码： 在使用相同的 xLSTM 主干时，PMP-xyz 显著优于 PointNet、PointPatch 和 3D-Lifting 基准，证实了点图编码本身的有效性。
- 融合： 发现拼接 (Cat) 是最有效的融合策略。
- 主干网络： ConvNeXt-v2 在处理点图方面持续优于 ResNet50 和 DaViT。

真实现场评估

在 Franka Panda 机器人上针对六项任务（整理、折叠、叠杯、抽屉、倾倒、清扫）进行了评估。

性能： 在所有任务中，PMP 的表现始终优于仅使用 RGB 的基准模型，在累积阶段得分上至少提升了 0.2 分。
样本效率： 在折叠任务中，仅使用 45 次演示，PMP 就将得分从 2.1 提升到了 2.5。
观察到的局限性： PMP-xyz 在处理易变形物体（折叠、清扫）和依赖颜色的任务（叠杯）时表现欠佳，这强化了在复杂现实场景中进行多模态融合的必要性。

效率

该方法计算效率很高，在单个 GPU 上的推理时间分别为 2.9 ms (PMP-xyz) 和 3.9 ms (PMP)，保持了实时性能。训练速度也得到了加速，在 CALVIN 上完成 25 个 epoch 的训练耗时不到 6 小时。

重要性与主张

论文声称 PointMapPolicy 弥合了 3D 几何信息与现有 2D 视觉架构之间的鸿沟。通过将点云结构化为规则网格，该方法能够在不牺牲几何保真度的前提下，实现对高效、成熟视觉编码器的直接调用。作者断言，这种方法提供了一种“即插即用”的替代方案，可用于替换 RGB 或点云输入，从而提供更优的学习效率、泛化能力和精度。在 RoboCasa（侧重几何）与 CALVIN（侧重颜色）之间表现出的差异性，强调了几何与视觉模态的互补性，验证了作者关于融合两者以实现鲁棒多模态感知的做法。这项工作表明，结构化点图是一种强大且尚未被充分利用的机器人模仿学习模态，能够以较低的计算开销实现最先进的结果。