💻 computer science

POMA-3D: The Point Map Way to 3D Scene Understanding

本文介绍了 POMA-3D，这是首个利用点图将二维基础先验通过视图到场景的对齐及联合嵌入预测策略迁移至三维理解的自监督三维表征模型，该模型仅使用几何输入便在多种三维任务中展现出卓越性能。

原作者： Ye Mao, Weixun Luo, Ranran Huang, Junpeng Jing, Krystian Mikolajczyk

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Ye Mao, Weixun Luo, Ranran Huang, Junpeng Jing, Krystian Mikolajczyk

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教机器人理解它周围的世界。通常，我们通过向机器人展示 3D 点云（如一团数字尘埃）或深度图（如地形图）来教导它们。但伦敦帝国理工学院的研究人员认为，有一种更好的方法：点图（Point Maps）。

将点图想象成一张"3D 照片”。普通的照片只是在网格中存储颜色，而点图则在每个像素中存储 3D 坐标（x, y, z）。这就像拍一张平面照片，但为每一个点标注其在房间中的确切距离和位置。这种格式之所以特殊，是因为对计算机而言，它看起来像一张 2D 图像，这使得它能够轻松利用已构建在 2D 图像 AI 模型中的海量知识。

以下是他们新系统POMA-3D的分解说明，使用了简单的类比：

1. 问题："语言障碍”

当前的 3D AI 模型就像只懂"3D"语言的学生。由于格式不匹配，它们难以从互联网上数十亿的 2D 图像和文本描述中学习。这就像试图用一本中文教科书去教一个只懂法语的学生。

2. 解决方案：“万能翻译器”（POMA-3D）

作者创建了POMA-3D，这是第一个直接从这些"3D 照片”（点图）中学习 3D 理解的模型。由于点图看起来像 2D 图像，POMA-3D 能够与强大的 2D AI 模型（如 CLIP）“说同一种语言”。这使得它能够立即借用 2D 世界的海量知识，并将其应用于 3D 空间。

3. 训练数据：“场景点库（ScenePoint Library）”

为了训练这个新模型，他们建立了一个名为ScenePoint的大型库。

真实房间：他们获取了 6,500 个真实世界的房间扫描数据（来自 ScanNet 等数据集），并将它们转换为点图。
虚拟房间：他们从互联网上获取了 100 万张普通 2D 图像，并利用一个巧妙的技巧（名为 VGGT 的模型）将它们转换为虚构的 3D 点图。
描述：每个场景都有一条由大型语言模型（LLM）撰写的“说明”，描述房间里的内容（例如，“有六扇窗户和两张桌子”）。

4. 它是如何学习的：两项特殊练习

该模型通过两种主要方法进行学习，就像学生做作业一样：

练习 A：“视图到场景”匹配（对齐）
想象一下，你向机器人展示一张客厅的照片，并配上一句话：“这是一个带有红色沙发的舒适客厅。”机器人必须学会将该房间的 3D 点图与文本及 2D 照片进行匹配。它学习到文本中的“沙发”等于 3D 网格中的“沙发”。
练习 B：“拼图”（POMA-JEPA）
这是一个“填空”游戏。机器人被展示一个 3D 房间，其中某些部分被隐藏（掩码）。它必须根据可见部分来猜测隐藏部分的样子。
- 转折：由于 3D 空间是杂乱的，隐藏的部分可能与可见部分的顺序不同。因此，模型没有强制进行完美的一对一匹配，而是使用了一种“模糊”匹配规则（Chamfer Distance），即：“只要隐藏的部分在正确的区域某处，你就做得很好。”这教会机器人理解房间的整体形状和几何结构，而不仅仅是像素级的细节。

5. 它能做什么？（结果）

经过这种训练后，POMA-3D 成为其他机器人的超级导师。它作为一个强大的骨干，帮助它们完成四项主要任务，甚至无需知道物体的颜色（仅使用几何信息）：

3D 问答：如果你问，“咖啡桌周围有几把椅子？”，它能正确计数。
具身导航：如果机器人说，“我正坐在沙发上，想去床上”，POMA-3D 可以告诉它“向前移动”。
场景检索：如果你描述一个房间（“一个有一张圆桌和两个书架的房间”），该模型可以在数千个房间的数据库中找到那个特定的房间。
粗略定位：如果机器人说，“我站在两块黑板之间”，该模型可以精确 pinpoint 该机器人在 3D 空间中的确切位置。

结论

该论文声称，通过使用点图作为桥梁，他们终于可以将 2D 图像 AI 的巨大智能转移到 3D 世界中。他们的模型POMA-3D在理解 3D 场景方面优于以往的方法，证明你不需要为 3D 重新发明轮子；你只需要将 2D 知识翻译成 3D 能够理解的格式即可。

注：作者明确指出，他们当前的模型仅使用几何坐标（形状和位置），而不使用颜色。他们建议未来的工作可以将此与颜色结合以使其更出色，但这不属于当前的结果范围。

技术摘要：POMA-3D

问题陈述

理解 3D 场景对于具身智能体和增强现实（AR）系统至关重要，然而该领域面临一个重大瓶颈：与可用于 2D 视觉 - 语言模型的数十亿规模数据相比，大规模预训练 3D 先验知识的稀缺。现有的 3D 视觉 - 语言学习（VLL）方法通常依赖点云、深度图或 3D 高斯泼溅（3D Gaussian splats）。然而，这些模态与强大的 2D 基础模型（例如 CLIP）的输入格式存在显著差异，阻碍了有效的知识迁移。此外，当前方法往往难以在 3D 理解中实现"CLIP 时刻”，即单个模型能够在无需针对特定任务进行架构调整的情况下，泛化到问答、导航和检索等多样化任务。

方法论

核心概念：点图（Point Maps）

本文提出了 POMA-3D，这是首个从点图中学习到的自监督 3D 表示模型。点图在结构化的 2D 网格上编码显式的 3D 坐标 $(x, y, z)$ ，在保持与 2D 基础模型输入格式兼容的同时，保留了全局 3D 几何结构。这种模态弥合了 2D 先验与 3D 结构之间的鸿沟。

数据集：ScenePoint

为了促进大规模预训练，作者引入了 ScenePoint 数据集，包含：

6,562 个房间级场景：构建自 RGB-D 数据集（ScanNet, 3RScan, ARKitScenes）。每个场景包含多视点图，并配有大语言模型（LLM）生成的视图级和场景级描述。
100 万个单视图场景：从 ConceptualCaptions 数据集生成。利用 VGGT 模型，将 2D 图像转换为带有预测深度和相机参数的单视点图。
标注：描述由 InternVL3-14B 生成，并基于与 FG-CLIP 嵌入的余弦相似度进行选择，以确保质量。

模型架构与训练

POMA-3D 采用两阶段预训练范式，使用 视图到场景的视觉 - 语言对齐 策略和一种新颖的 POMA-JEPA 目标。

视图到场景的视觉 - 语言对齐：
- 该模型将点图嵌入与来自 FG-CLIP 的冻结图像和文本嵌入进行对齐。
- 视图级对齐：鼓励同一视图的点图、图像和描述嵌入相互对齐，同时与批次中的其他视图形成对比。
- 场景级对齐：将多视图嵌入聚合为场景表示，并将其与场景级描述对齐。
- 该策略将丰富的 2D 语义先验迁移至 3D 领域。
POMA-JEPA（联合嵌入 - 预测架构）：
- 为了强制多视图间的几何一致性，作者引入了 POMA-JEPA。
- 机制：上下文编码器处理多视点图的可见补丁，而目标编码器（通过指数移动平均更新）处理完整的点图。预测器重建被掩码补丁的目标嵌入。
- 创新：与假设固定 2D 网格顺序的标准 JEPA 不同，POMA-JEPA 考虑了世界坐标系中点云的 顺序无关性。它使用 Chamfer 距离 作为损失函数，而非均方误差（MSE），从而使模型能够处理置换不变的嵌入预测，避免模式崩溃。
训练阶段：
- 预热（Warm-up）：仅使用视图级对齐损失（ $L_{view}$ ），在源自 2D 图像的单视点图上进行预训练。
- 主阶段：在多视图房间场景上进行联合优化，使用对齐损失（ $L_{view} + L_{scene}$ ）和 POMA-JEPA 损失（ $L_{pjepa}$ ）。

主要贡献

POMA-3D：首个直接从点图学习表示的自监督 3D 模型，实现了将 2D 基础模型先验有效迁移至 3D。
ScenePoint 数据集：一个大规模数据集，结合了 6.5K 个真实世界的房间级场景和 100 万个合成单视图场景，专为点图预训练而精心策划。
新颖的训练目标：引入了视图到场景对齐和 POMA-JEPA，明确处理了多视图 3D 数据的几何一致性和顺序无关性。
模态效率：证明了点图作为 3D 视觉 - 语言学习的中间模态优于深度图和点云，在迁移 2D 先验方面表现更佳。

实验结果

POMA-3D 作为骨干网络，在四个任务上对 专用模型（基于 BERT）和 通用模型（基于 LLM）进行了评估：

3D 问答（ScanQA, SQA3D, Hypo3D）：
- 专用模型（POMA-3Dspec）在仅使用无彩色几何输入的情况下，在 SQA3D（EM@1 提升 +6.2%）和 Hypo3D（EM@1 提升 +4.5%）上超越了基于点云的现有最先进模型（如 SceneVerse）。
- 通用模型（POMA-3Dllm）在情境推理任务上超越了现有的 2D LLM 和 3D LLM。
具身导航（MSNN）：
- POMA-3Dspec 在 4 方向导航中取得了最高性能，而 POMA-3Dllm 在 8 方向导航中表现出色，表明其具备强大的复杂空间推理能力。
场景检索：
- POMA-3D 在零样本检索中显著超越了 3D VLL 方法，甚至优于基于 RGB 的 FG-CLIP 基线，能够成功根据复杂文本描述（例如“两个书架旁边的圆形脚凳”）检索场景。
粗略定位：
- 该模型展示了检索与情境文本查询（例如“我站在两块黑板之间”）相匹配的特定点图视图的能力，在零样本设置下有效地定位了智能体的活动区域。

消融研究 证实：

2D 预热阶段对于学习鲁棒特征至关重要。
房间级场景对齐提升了所有基准测试的性能。
POMA-JEPA 提供了持续的增益，特别是在推理密集型任务中。
作为 3D VLL 的输入模态，点图优于深度图。

意义与主张

本文主张，POMA-3D 通过利用广泛可用的 2D 视觉 - 语言数据，解决了 3D 表示学习中长期存在的数据稀缺挑战。通过引入点图作为一种更优越的中间模态，该工作证明了 3D 理解可以在不单纯依赖昂贵的 3D 扫描数据的情况下实现规模化。

作者断言，POMA-3D 提供了一个强大且可泛化的骨干网络，既惠及轻量级专用模型，也惠及大型通用 LLM。结果表明，通过点图将 3D 几何与 2D 先验对齐，是构建可扩展的 3D 理解基础模型的一个有前景的方向。论文总结道，虽然目前仅使用几何输入的结果已经很强，但未来的工作应探索将点图与颜色特征融合，以创建统一的场景表示。