CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation

技术摘要：CrossMaps —— 用于移动机器人导航的置信度感知开放词汇语义地图构建

问题陈述
在非结构化环境中运行的自主移动机器人面临着重大挑战，即如何维持既具有几何准确性又具有语义意义的空间表示。传统的导航系统依赖于基于 SLAM 的几何地图，这些地图捕捉了空间结构，但缺乏进行开放词汇交互所需的语义理解。虽然近期的视觉语言模型（VLM）已经实现了开放词汇语义地图构建（例如 VLMaps），但在移动机器人上部署这些系统仍然困难。关键问题包括：噪声大且依赖视角的观测、由于光照和透视导致的嵌入向量变化，以及如何在长时程的地图稳定性与吸收新证据所需的适应性之间取得平衡。现有方法通常将所有证据融合到单一表示中，对不确定性的处理有限，这使得它们容易受到传感器噪声和动态环境变化的影响。

方法论：CrossMaps 流水线
CrossMaps 通过一种专为移动机器人设计的实时、置信度感知的开放词汇语义地图构建流水线来解决这些挑战。该系统集成了多尺度 CLIP 嵌入、双重记忆架构以及置信度感知的数据融合机制。

1. 多尺度嵌入提取：
   该流水线通过将 RGB 帧划分为多尺度分块（tiles）来处理输入的 RGB-D 数据。每个分块使用预训练的 CLIP 视觉 Transformer (ViT-L/14) 进行编码，以生成与自然语言对齐的语义嵌入。这种基于分块的方法避免了密集像素级嵌入带来的计算开销，同时增强了对相机运动的鲁棒性。

2. 空间投影与融合：
   利用由 SLAM 估计的深度图像 ($D_t$) 和机器人视角 ($T_t$)，系统将深度像素反向投影到 3D 空间中。这些 3D 点与对应图像分块的语义嵌入相关联。观测结果被累积在一个顶视图（top-down）空间网格地图中。

3. 置信度感知短期记忆 (STM)：
   STM 作为一个动态网格地图，聚合了近期的观测结果。它通过基于三个线索为观测分配置信度，从而显式地建模感知不确定性：

   • 几何置信度： 考虑传感器距离和可见性，对远距离观测应用基于距离的衰减。
   • 语义置信度： 通过 CLIP 空间中的余弦相似度，衡量新嵌入与当前单元证据之间的契合度。不一致的观测会被降低权重。
   • 时间置信度： 对极少被观测区域的置信度应用基于时间的衰减，使地图能够适应变化。

   STM 内的融合通过置信度加权聚合完成。每个单元维护一个语义累加器 ($S_C$) 和一个置信度累加器 ($W_C$)。新的观测在被添加到单元的嵌入之前，会基于语义一致性进行软门控（softly gated）。

4. 双重记忆架构（从 STM 到 LTM 的提升）：
   为了确保稳定性，CrossMaps 采用了存储持久语义地标的长期记忆 (LTM)。只有当满足以下三个严格标准时，STM 中的单元才会提升至 LTM：

   • 高置信度： 累积置信度 ($W_C$) 必须超过阈值 ($\tau_c$)。
   • 语义相干性： 单元内融合嵌入均值的范数必须超过阈值 ($\tau_h$)，以确保冲突的观测不会破坏长期地图。
   • 视角多样性： 该单元必须从多个不同的视角被观测（通过位掩码追踪），以确认其超越单一视角的可靠性。

5. 自然语言查询：
   生成的地图支持开放词汇查询。自然语言查询被编码为 CLIP 文本嵌入，并与单元嵌入进行余弦相似度比较。输出是一个空间热力图，其匹配得分由单元相干性进行加权。这使得高置信度的单元可以作为可靠的地标，同时仍能突出显示潜在有用的低置信度区域。

核心贡献
本文提出了四个主要贡献：

1. 一种置信度感知开放词汇语义地图构建框架，该框架在地图融合过程中，利用几何、语义和时间线索，为基于 CLIP 的观测分配点级和单元级的置信度。
2. 一种双重记忆语义地图表示，将观测聚合到短期网格地图 (STM) 中，并仅将足够置信、相干且经过多视角支持的单元提升到持久的长期地标地图 (LTM) 中。
3. 一种实时语义地图构建流水线，将多尺度、分块级的 CLIP 嵌入与基于 SLAM 的空间对齐相结合，在机器人运动下构建可进行语言查询的 3D 地图。
4. 一种基于置信度和相干性的提升与查询机制，利用单元内的一致性来塑造热力图和单元选择，同时利用单元级置信度来门控长期提升过程和导航目标。

结果与演示
作者将 CrossMaps 实现为一个模块化的 ROS 2 节点，运行在配备 NVIDIA Jetson Orin GPU 和 RGB-D 相机的 Waveshare UGV 上。该系统与用于定位的 RTAB-Map 并行运行。

• 实时运行： 该流水线成功处理 RGB-D 流，以实时构建语义地图。
• 查询性能： 系统可针对自然语言查询（如“植物”、“锤子”）生成空间热力图。
• 噪声缓解： 可视化结果表明，虽然 STM 包含噪声观测，但 LTM 有效地过滤了这些噪声，从而产生稀疏且可靠的建议。例如，针对“锤子”的查询显示出噪声较大的 STM 热力图，但 LTM 热力图更加清晰且可靠，验证了置信度和相干性门控机制的有效性。

意义与主张
论文声称，CrossMaps 证明了结合开放词汇感知、置信度感知融合以及双重记忆表示的可行性，从而使机器人能够在减轻感知噪声的同时，构建可进行语言查询的语义地图。通过将不确定的观测（STM）与稳定的结构（LTM）分离，该系统实现了塑性（plasticity）与鲁棒性之间的平衡。作者将这项工作定位为迈向在部分可观测环境下实现更安全机器人导航的一步，并计划在未来工作中集成基于分割的特征提取，并将该框架扩展到多智能体知识共享以及面向安全关键场景的神经符号推理。