💻 computer science

GEM-Occ: From Visual Geometry Evidence to Embodied Semantic Occupancy Memory

本文介绍了用于室内语义占据（indoor semantic occupancy）的分层基准测试 HIOcc，以及 GEM-Occ——一个高斯证据记忆（Gaussian Evidence Memory）框架，该框架将瞬态视觉几何融合到持久的分层记忆中，以实现跨连通室内环境的可扩展、长时程语义制图。

原作者： Hu Zhu, Bohan Li, Xianda Guo, Hongsi Liu, Baorui Peng, Mingqi Yuan, Xin Jin, Wenjun Zeng, Chang Wen Chen

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hu Zhu, Bohan Li, Xianda Guo, Hongsi Liu, Baorui Peng, Mingqi Yuan, Xin Jin, Wenjun Zeng, Chang Wen Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正闭着眼睛走在一栋巨大且陌生的房子里，每隔一会儿就睁开眼看一眼，然后又立刻闭上。你的目标是建立一张完美的心理地图，涵盖整个房子：知道墙在哪里，家具摆放在哪里，哪里是空旷的空气，以及哪些地方是你仅仅还没看过的区域。

这篇论文探讨了如何教机器人（具身智能体）做到这一点：在移动过程中，为它们建立一个持久、可靠的室内空间记忆。作者介绍了两个核心成果：一个新的机器人“训练场”——HIOcc，以及一个全新的机器人“大脑”——GEM-Occ。

以下是其工作原理的简单拆解：

1. 问题所在：“闪光灯”与“图书馆”

目前的机器人视觉系统有点像记忆力不佳的人。当机器人观察一个房间时，它可能会创建一个快速、模糊的快照（即“闪光灯”式记忆），记录下它此时此刻所见之物。

问题在于： 如果机器人转身再次看向同一面墙，旧系统往往会产生混乱。它们可能会认为墙换了位置，或者忘记了机器人与墙之间的空间其实是空旷的空气。它们难以将单个小房间连接成一栋完整的建筑，并且经常混淆“我还没看过这里”与“这个空间是空的”。

2. 新的训练场：HIOcc

为了解决这个问题，研究人员需要一种更好的测试方式。他们创建了 HIOcc（分层室内占用空间模型）。

类比： 将以往的数据集视为不同房间的单张、孤立的照片；而 HIOcc 则像是一张巨大的、连通的 3D 蓝图，它将来自不同来源（如 ScanNet 和 Matterport3D）的数千张照片缝合在一起。
它的作用： 它涵盖了从单个摄像机视角、整个房间到整个多层建筑的所有尺度。它迫使机器人不仅要学习“这个角落里有什么”，还要学习“这个角落是如何连接到下一个房间的”。

3. 新的大脑：GEM-Occ

研究人员还构建了一个新系统 GEM-Occ（高斯证据记忆）。这是机器人的全新记忆方式。

旧方法（点图/Point Maps）：
想象一下，你试图通过在看到的每一个表面上贴满数百万张微小的便利贴来记住一个房间。

缺陷： 如果你在房间里走动并再次看到桌子，你会又在上面贴一层便利贴。很快，你就拥有了一堆杂乱、厚重的便利贴，它们看起来不再像一张桌子。此外，你也无法为空旷的空气记录任何信息，因此你无法判断某个空间是可以穿过的，还是障碍物。

GEM-Occ 的方式（高斯证据/Gaussian Evidence）：
与其使用便利贴，不如想象机器人使用的是模糊的、发光的云团（称为“高斯体”）。

瞬态证据： 当机器人看到某个物体时，它不会永久保存图像。它会创建一个临时的“光晕”，表示：“我在这里看到了一把椅子。”
神奇的融合： 当机器人移动并再次看到这把椅子时，它不会只是简单地堆叠新的光晕。它会将它们融合在一起。如果机器人从新的角度观察椅子，这些模糊的云团会融合成一个单一、坚实的 3D 形状。
“自由空间射线”： 至关重要的一点是，GEM-Occ 还会沿着空旷的空气绘制看不见的“激光束”（射线）。如果机器人看向一面墙，它会知道墙之前的空气是空的。它会将此记录为“自由空间射线”。这防止了机器人将空旷的空气误认为是未知区域或墙壁。
图书馆系统： 记忆是像图书馆一样组织的：
- 局部缓存（Local Cache）： 就像放在办公桌上的便签，记录你面前紧邻的事物。
- 房间子图（Room Submap）： 一个存放整个房间信息的文件夹。
- 建筑图谱（Building Graph）： 一个连接所有房间的总图。

4. 为什么它效果更好

论文声称，通过使用这些“模糊云团”而非便利贴，并明确标记空旷空气，机器人能够：

保持一致性： 如果它回到曾经看过的房间，地图看起来依然整洁，不会出现杂乱或重叠的情况。
明确知晓空旷处： 它能清晰区分“我还没看那里”（未知）与“我看过那里且那里是空的”（自由空间）。
规模化扩展： 它可以处理整个建筑而不只是单个房间，且不会耗尽内存。

总结

简而言之，作者构建了一个全新的、大规模的测试赛场（HIOcc）和一个更聪明的机器人环境记忆方式（GEM-Occ）。机器人不再只是堆叠模糊的快照，而是构建一个整洁、有序的 3D 心理模型，能够分辨出墙壁、椅子、空旷空气以及尚未访问过的区域。这使得机器人能够在大型、连通的建筑中进行探索，而不会迷失方向或被自己的记忆搞混。

技术摘要：从视觉几何证据到具身语义占据记忆

1. 问题定义

本文解决了室内环境中**长程具身语义占据映射（long-horizon embodied semantic occupancy mapping）**的挑战。虽然现有方法能有效处理单帧局部预测或房间级在线感知，但在跨越连接室内空间（例如整个建筑）进行持久且可扩展的映射方面仍面临困难。

当前方法的主要局限性包括：

瞬态与持久性（Transient vs. Persistent）： 大多数方法将视觉几何（如点图）视为地图状态本身。然而，点图在图像平面上是稠密的，但在 3D 空间中是稀疏且偏向表面的，无法显式编码观测到的自由空间、未知区域或时间置信度。盲目累积这些点图会导致表面重复和语义不一致。
缺乏层级化基准（Lack of Hierarchical Benchmarks）： 现有的室内基准（如 Occ-ScanNet, EmbodiedOcc）侧重于局部体积或单个房间。它们无法在一个统一的层级协议下，共同支持高保真透视扫描、全景观测以及连接的建筑规模环境。
自由空间 vs. 未知区域（Free Space vs. Unknown）： 当前系统通常无法区分已观测到的自由空间与未知区域，导致在重新访问区域时出现因果更新错误。

2. 方法论

作者提出了两个主要组件：一个新的基准（HIOcc）和一个新型映射框架（GEM-Occ）。

A. HIOcc：层级化室内占据基准

HIOcc 将三个主要数据集——ScanNet、ScanNet++ 和 Matterport3D——统一到一种通用的稀疏语义占据格式中，同时保留了它们原生的观测几何结构。

范围： 覆盖 2,000 多个室内场景、300,000+ 帧和 142.6K m²。
三种评估范式：
1. 局部语义占据预测： 从带有位姿的 RGB-D 帧进行单视图预测。
2. 房间级在线映射： 在单个房间内对观测结果进行因果融合。
3. 建筑级映射： 在连接的全景环境（Matterport3D）中进行长程映射。
标注流水线： 将标注的 3D 网格转换为稀疏语义占据目标。它采用可见性感知过滤（针对透视投影使用视锥过滤，针对全景图使用首次命中射线过滤），以确保目标仅反映可观测的几何体，从而区分占据、自由和未知状态。

B. GEM-Occ：高斯证据记忆框架

GEM-Occ 将局部视觉几何预测视为瞬态证据，而非地图状态，并将其融合进持久记忆中。

证据转换：
- 语义高斯占据证据： 局部几何预测（深度/点图）被转换为各向异性的高斯基元（ $g_i$ ），代表占据的表面。这些基元包含语义分布和置信度权重。
- 自由空间射线证据： 在首次命中表面之前的观测射线路径被记录为负向证据（自由空间），而命中点之后的区域除非后续被观测，否则保持为未知状态。
层级化记忆结构：
- 地图组织为局部缓存、房间级子图以及建筑级连接图。
- 这避免了稠密的全局体素张量，实现了可扩展性。
因果融合：
- 输入的证据通过空间或马氏距离与现有的记忆高斯进行匹配。
- 可见性与不确定性感知的更新： 系统执行置信度加权的融合。至关重要的是，自由空间射线提供了负对数几率证据，以抑制观测自由空间中的“漂浮物”，同时不会抹除有效的遮挡几何体。
- 剪枝与合并： 定期对低置信度或冗余的高斯进行剪枝或合并，以控制记忆增长。
查询机制： 通过**高斯到占据的泼溅（Gaussian-to-occupancy splatting）**查询占据情况，聚合附近的高斯以计算任何 3D 位置的占据概率和语义分布。

3. 核心贡献

形式化定义： 定义了层级化语义占据映射为一个具身记忆问题，需要跨局部、房间和建筑规模对占据、自由、未知和语义状态进行因果维护。
数据集 (HIOcc)： 引入了一个大规模基准，统一了 ScanNet、ScanNet++ 和 Matterport3D，并提供了用于局部、房间级和建筑级评估的协议。
框架 (GEM-Occ)： 提出了一个框架，将瞬态视觉几何转换为持久的语义高斯记忆，并显式建模自由空间射线证据，以区分观测到的空闲空间与未知区域。
融合策略： 设计了可见性和不确定性感知的因果融合规则，提高了时间稳定性和重新访问的一致性。

4. 实验结果

实验在 HIOcc 的三种设置下进行：

局部预测： GEM-Occ 实现了 61.37 IoU 和 57.76 mIoU，优于 GPOcc (60.69 IoU, 55.08 mIoU) 和 SplatSSC 等强基准。其性能提升归功于使用语义高斯证据而非直接的点图体素化。
房间级在线映射： GEM-Occ 将 IoU 提升至 56.79，mIoU 提升至 46.20，超过了 GPOcc (52.94 IoU, 44.81 mIoU)。该方法在连续观测中表现出卓越的稳定性。
建筑级映射： 在 Matterport3D 上，GEM-Occ 实现了 53.8 IoU 和 46.7 mIoU，**重新访问一致性（Revisit Consistency）**达到 86.2%。
- 可扩展性： 层级化设计将内存占用从 1.36 MB/m²（扁平高斯记忆）降低至 0.81 MB/m²，并将查询延迟从 49.5 ms 降低至 33.8 ms，展示了更好的精度-可扩展性权衡。

消融实验证实了：

使用语义高斯而非点图体素化会显著降低性能。
显式的自由空间射线证据对于在线映射和重新访问一致性至关重要。
层级化记忆对于可扩展性至关重要，能在不牺牲局部精度的前提下减少内存占用。

5. 意义与主张

本文声称 GEM-Occ 代表了一种转变，即从将占据视为单帧预测任务转向将其视为一个持久记忆问题。通过将瞬态视觉证据与持久地图状态解耦并显式建模自由空间，该方法实现了：

提高重新访问一致性： 当智能体返回之前访问过的区域时，地图保持稳定。
可扩展性： 层级化结构允许在没有稠密全局体素计算成本的情况下，映射连接的建筑。
鲁棒性： 自由空间与未知空间的区分防止了遮挡区域误差的累积。

作者指出了一些局限性，包括对现有数据集标注的依赖（可能存在噪声）、侧重于静态场景以及较为粗糙的 11 类标签空间。他们建议未来的工作应解决动态环境问题，并评估这些地图对导航和操作等下游具身任务的影响。然而，目前的结果表明，层级化高斯记忆是实现可扩展、长程具身场景理解的一条可行路径。