Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction

技术摘要：面向稀疏视角神经重建的可靠性感知单目深度监督

问题陈述
稀疏视角神经重建在户外驾驶场景中极具挑战性。与相机围绕目标旋转的对象中心型数据集不同，自动驾驶序列涉及相机沿狭窄的前向轨迹移动。这导致多视角重叠有限、远距离区域视差微弱，并伴随动态物体、反射和天空区域等问题。虽然神经辐射场（NeRF）和 3D 高斯泼溅（3DGS）在视角充足时能实现高质量渲染，但在输入稀疏的情况下会变得约束不足，从而导致错误的几何结构和“漂浮物（floaters）”。

尽管像 Depth Anything V2 (DA-V2) 这样的单目深度估计器可以提供稠密几何先验，但其预测是相对的、有噪声的，且在所有图像区域并非均匀可靠。统一应用这些先验会在不可靠区域（如遮挡边界或反射表面）引入误差。本文解决的核心问题是：如何在不因噪声先验损害重建质量的前提下，在稀疏视角设置中有效地利用单目深度监督。

方法论
作者提出了一种可靠性感知单目深度监督流水线，该流水线根据 RGB 重建的可靠性来选择性地应用深度监督。该方法由三个主要阶段组成：

1. 尺度对齐的单目深度先验：

   • 使用 DA-V2 生成稠密相对深度图。
   • 通过针对有效参考锚点（KITTI 的 LiDAR 点或 Bicycle 场景的 COLMAP 点）进行逐图像尺度-偏移拟合过程，将这些深度图对齐到度量深度。
   • 对齐后的深度被裁剪至有效范围（例如 KITTI 为 80m），以作为度量先验。

2. 光度可靠性掩码：

   • 首先训练一个仅基于 RGB 的基准模型，以建立重建质量的参考。
   • 通过比较基准模型的渲染图像与地面真值（ground truth），计算逐像素的光度重建误差 $e(u)$。
   • 根据阈值 $\tau$ 生成二值掩码。具有低光度误差（$e(u) < \tau$）的像素被视为“可靠”并保留用于深度监督；而高误差区域（可能包含动态物体、反射或天空）则被掩码剔除。

3. 掩码深度监督目标：

   • 对重建模型（可以是 Mip-NeRF-360 或 Splatfacto）进行联合损失函数进行重新训练：$L = L_{rgb} + \lambda_{depth} L_{depth}$。
   • RGB 损失应用于整幅图像。
   • 深度损失（$L_{depth}$）仅在有效监督掩码（$M_{eff}$）激活的像素上计算，该掩码定义为光度可靠性掩码与深度有效性掩码的交集。
   • 这确保了噪声单目先验仅在 RGB 重建已经保持一致的区域进行正则化。

核心贡献

• 选择性监督策略： 本文引入了一种根据光度重建误差而非在全图范围内选择性应用单目深度先验的方法。
• 对比评估： 该策略在两种不同的场景表示上进行了评估：隐式密度场（Mip-NeRF-360）和显式高斯表示（Splatfacto）。
• 消融实验与泛化性： 通过匹配比例掩码消融实验以及在多个 KITTI 序列（02 和 05）和 Bicycle 场景上的实验，作者证明了增益源于选择可靠区域，而非仅仅是减少受监督像素的数量。
• 骨干网络敏感性分析： 本研究强调，深度监督的有效性高度依赖于底层表示（隐式 vs. 显式）以及场景配置（稀疏前向视角 vs. 对象中心型）。

实验结果
评估在 KITTISeq02（每隔 2 帧的稀疏设置）、KITTISeq05 和 Mip-NeRF-360 Bicycle 场景上进行。

• Mip-NeRF-360 (隐式)：

  • 在 KITTISeq02 上，掩码单目深度监督仅提供了微小的渲染增益（例如，在最佳情况下 PSNR 从 20.378 提高到 20.607），并且没有改善度量几何（与仅 RGB 的基准相比，AbsRel 和 RMSE 变差了）。
  • 在 KITTISeq05 上，全局和掩码深度监督都导致了渲染质量和几何质量相对于仅 RGB 训练的下降。
  • 结论： 隐式密度场对尺度对齐单目深度的噪声非常敏感，先验表现为一种微弱或具有破坏性的正则化项。

• Splatfacto (显式)：

  • 在 KITTISeq02 上，Splatfacto 受益显著。PSNR 从 14.903（仅 RGB）提高到 15.932，且 RMSE 从 0.542 大幅下降到 0.100。
  • 匹配比例消融实验证实，低误差掩码的表现优于高误差掩码和随机掩码，证明了增益来自于区域选择。
  • 在 KITTISeq05 上，在渲染和几何方面均观察到了类似的改进。
  • 结论： 显式高斯表示允许深度监督直接引导高斯的放置，从而有效地减少了漂浮物并改善了稀疏区域的几何结构。

• Bicycle 场景 (对象中心型)：

  • 在该具有强多视角覆盖的场景中，深度监督改善了几何结构（RMSE 从 1.479 下降到 0.722），但通常降低了 RGB 渲染质量（PSNR, SSIM, LPIPS 下降）。
  • 这表明存在一种权衡，即当 RGB 约束已经很强时，深度先验可能会过度正则化重建过程。

意义与主张
论文得出结论，单目深度先验在稀疏视角重建中是一把双刃剑。其效用并非普适，而是高度取决于重建骨干网络和场景约束：

1. 骨干网络依赖性： 对于显式高斯表示（Splatfacto）在稀疏前向场景中的应用，它们非常有效；但对于隐式 NeRF 类表示（Mip-NeRF-360），它们几乎没有益处，甚至可能产生负面影响。
2. 可靠性是关键： 增益不仅在于增加了监督数据，更在于过滤掉了单目先验与 RGB 观测发生冲突的不可靠区域。
3. 权衡： 在具有强多视角覆盖的场景中，深度监督可能会以牺牲光度保真度为代价来提升几何指标。

作者主张在适度的权重下，针对显式场景表示在欠约束的稀疏视角场景中，选择性地应用单目深度先验。他们建议未来的工作可以侧重于更好的尺度对齐、不确定性感知掩码以及自适应损失权重。