技术摘要：用于空间感知的掩码深度建模 (LingBot-Depth)

1. 问题陈述

准确的 3D 空间感知对于自动驾驶和机器人操作等物理世界应用至关重要。虽然 RGB-D 相机是唯一能够提供实时、绝对度量尺度和像素对齐密集几何形状的模态，但它们也存在固有的硬件局限性。具体而言，这些传感器中使用的立体匹配算法极易受到外观歧义的影响，导致在低纹理表面、镜面反射和复杂光照等挑战性场景下出现严重的数据损坏和缺失值（空洞）。

目前的方法通常将这些缺失的测量值视为应丢弃的噪声。然而，本文认为这些不准确之处不仅仅是错误，而是本质上反映了底层几何与外观歧义的“掩码”信号。核心挑战在于如何利用这些自然发生的缺失区域，来学习鲁棒的、具有度量尺度的深度表示，从而在传感器失效的地方也能完成几何重建。

2. 方法论：掩码深度建模 (MDM)

作者提出了 LingBot-Depth，一种基于新型掩码深度建模 (MDM) 框架的深度补全模型。该方法借鉴了自监督掩码图像建模（如 MAE）的原理，但将目标从外观重建转向使用 RGB-D 输入进行深度图预测。

2.1 核心架构

该模型利用 Vision Transformer (ViT-Large) 编码器和 ConvStack 解码器。

• 分离式补丁嵌入 (Separated Patch Embedding)： RGB 图像和深度图通过独立的补丁嵌入层进行处理，以生成对齐的 RGB 和深度 Token。
• 位置嵌入 (Positional Embeddings)： 系统采用了共享的 2D 空间位置嵌入和模态特定的嵌入（区分 RGB 与深度 Token），以捕捉空间位置和输入源身份。
• 联合嵌入 (Joint Embedding)： 编码器通过关注完整的、未被掩码的 RGB 上下文以及剩余的有效深度 Token，学习到一个联合表示。
• ConvStack 解码器： 不同于使用浅层 Transformer 解码器进行像素重建的标准 MAE，LingBot-Depth 使用了一个分层 ConvStack 解码器。这更适合于密集的几何预测。解码器丢弃潜在的深度 Token，并从增强的上下文 Token（通过 [cls] Token 结合了全局场景上下文的丰富 RGB 特征）中重建完整的深度图。

2.2 掩码策略

一项关键创新是将传感器失效解释为“自然掩码”。

• 自然掩码 (Natural Masking)： 模型不是进行随机掩码，而是掩码掉对应于缺失或无效传感器测量值的深度 Token。
• 自适应掩码 (Adaptive Masking)： 对于包含混合有效与无效值的补丁，会应用高概率（例如 0.75）的掩码。如果自然掩码比例不足，则会额外随机掩码有效 Token，以达到 60–90% 的目标比例。
• 学习信号： 模型被迫通过推理完整 RGB 上下文与稀疏有效深度 Token 之间的相关性，来推断缺失的深度值。这统一了单目深度估计（当所有深度都被掩码时）和深度补全（当仅无效 Token 被掩码时）的目标。

2.3 数据策展流水线

为了支持大规模 MDM 训练，作者构建了一个可扩展的数据流水线，生成了 300 万对 RGB-D 数据对（200 万实测，100 万合成）：

• 合成分支 (LingBot-Depth-S)： 使用 Blender 中的自托管 3D 资产来渲染 RGB 图像、完美深度和立体对。至关重要的是，它通过对立体对应用半全局匹配 (SGM) 来模拟现实世界的传感器伪影，从而生成带有自然缺陷的“类传感器”深度图。
• 真实世界分支 (LingBot-Depth-R)： 利用一个与各种消费级 RGB-D 相机（如 Intel RealSense, Orbbec Gemini, ZED）兼容的模块化 3D 打印采集装置。通过对捕获的 IR 对进行立体匹配来生成伪深度标签，并进行一致性检查以过滤误差。
• 补充数据： 训练集通过 7 个开源 RGB-D 数据集进行了增强，并针对其特定数据特征调整了掩码策略。

3. 关键结果

3.1 深度补全

LingBot-Depth 在标准基准测试（iBims, NYUv2, DIODE, ETH3D）下，分别在块状深度掩码和稀疏 SfM 输入两种协议下进行了评估。

• 性能： 在所有难度等级下，该模型始终优于现有最先进的方法 (OMPI-DC, PromptDA, PriorDA)。
• 指标： 在室内基准测试中，在极端设置下，它比最优秀的竞争对手降低了超过 40% 的 RMSE。在具有挑战性的 ETH3D 稀疏 SfM 协议下，它实现了最先进的结果，使 RMSE 在室内降低了 47%，在室外降低了 38%。
• 定性分析： 该模型生成的深度边界更清晰，结构更连贯，特别是在存在严重遮挡或稀疏观测的区域。

3.2 单目深度估计

当作为 MoGe 的预训练骨干网络（取代 DINOv2）使用时，经 MDM 预训练的编码器在 10 个不同基准测试（室内、室外、合成和真实世界）的单目深度估计中展现出了卓越的性能。

• 泛化能力： 该模型在仿射不变、尺度不变和视差不变指标上均表现出持续的提升，这表明 MDM 有效地将 3D 几何知识蒸馏到了编码器中。

3.3 FoundationStereo 集成

使用 LingBot-Depth 作为 FoundationStereo 的先验知识，结果如下：

• 更快的收敛： 模型在第 5 个 epoch 时就达到了强劲的性能，显著优于 vanilla 基准模型。
• 稳定性： 它避免了基于 MoGe 变体中观察到的训练不稳定现象。
• 最终精度： 到第 15 个 epoch 时，它在所有测试的基准测试（ETH3D, Middlebury, Booster 等）中达到了最佳或相当的结果。

3.4 下游应用

论文展示了 LingBot-Depth 在零样本或极少微调场景下的实用性：

• 视频深度补全： 尽管是在静态图像上训练的，该模型仍能产生时间一致的深度流。它成功填充了透明和反射表面（如玻璃墙、水族馆隧道）中的缺失区域，而这些表面在结构光和立体传感器都会失效。
• 3D 点追踪： 集成到 SpatialTrackerV2 中，精细化的深度实现了更平滑、更准确的相机轨迹估计以及在存在大量玻璃表面的场景中的动态物体追踪。
• 机器人抓取： 在一个真实的灵巧抓取任务（Rokae 机械臂 + X Hand-1）中，该模型实现了对具有挑战性物体（透明玻璃器皿、反光碗）的成功抓取，而这些物体曾令原始传感器失效。成功率显著提高（例如，对于钢杯，从 13/20 提升至 17/20；对于透明杯，从 12/20 提升至 16/20）。

4. 重要性与主张

论文声称 LingBot-Depth 代表了处理 RGB-D 传感器局限性的范式转变。通过将传感器失效视为“自然掩码”而非噪声，该模型学会了从视觉上下文中推断几何形状，有效地弥合了稀疏/无效传感器数据与密集、度量准确的 3D 感知之间的鸿沟。

作者强调，他们的方法：

1. 超越硬件： 该模型在深度精度和像素覆盖率方面，尤其是在困难的光照和材料条件下，都优于顶尖的商用 RGB-D 相机。
2. 统一任务： MDM 框架是一个多功能的通用工具，根据掩码策略的不同，可以同时作为深度补全工具和单目深度估计器。
3. 赋能机器人应用： 鲁棒的深度预测和对齐的潜在表示使得可靠的操作变得可能，例如操作那些通常会让传统传感器失效的物体，展示了在机器人空间感知方面的直接实用价值。

作者向社区发布了代码、权重检查点以及精心策划的 300 万对 RGB-深度数据集，以促进空间感知领域的进一步研究。