3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation

技术摘要：用于自监督单目视频深度估计的 3D 一致性优化

问题陈述
可靠的单目视频深度估计对于内窥镜导航中的下游 3D 推理和具身智能（包括密集重建、机器人辅助引导和手术场景理解）至关重要。然而，硬件限制阻碍了临床部署；大多数标准内窥镜是单目的，且缺乏可靠的相机位姿追踪。现有的自监督方法通常将视频帧视为独立的实体，或依赖于微弱的时间正则化。这些方法无法捕捉手术场景的整体 3D 几何结构，导致几何预测不一致、严重的跨帧漂移以及时间性闪烁。在具有挑战性的内窥镜条件下，这些误差会迅速累积，破坏任何下游 3D 重建的可靠性。

方法论
作者提出了一种范式转变，将序列视频深度估计重新构建为一个无约束的多视图 3D 重建问题。该方法不再孤立地处理每一帧，而是将内窥镜视频视为一组锚定在共享 3D 场景上的多视图观测集合。这种方法利用了近期 3D 基础模型的几何先验，且无需地面真值（ground-truth）相机位姿。

该框架由两个主要阶段组成：

1. 3D 几何理解网络：

   • 架构： 该网络采用交替注意力 Transformer（Alternating-Attention Transformer），通过交织帧级内视图注意力（intra-view attention）与全局间视图注意力（inter-view attention）来增强空间-时间相干性。输入图像使用 DINOv2 特征进行标记化（tokenization）。
   • 场景表示： 底层场景由一组 3D 高斯基元（$P$）表示，这些基元由 3D 中心、不透明度、各向异性协方差和球面谐波系数参数化。
   • 头部（Heads）： 网络采用三个专门的头部：
     • 相机头部（Camera Head）： 预测每帧的外参（$T_t$）和内参（$K$）。
     • 深度头部（Depth Head）： 预测初始逐像素深度图（$D^{init}_t$），该图仅用于将图像像素反投影到 3D 空间，为高斯中心提供初始化。
     • 高斯头部（Gaussian Head）： 将 Transformer 特征与浅层 CNN 外观特征融合，以预测剩余的高斯属性。
   • 渲染： 通过可微分的高斯泼溅（Gaussian splatting）机制，从 3D 高斯和预测的相机参数中渲染出预期的 RGB 图像（$\hat{I}_t$）和深度图（$\hat{D}_t$）。

2. 3D 一致性优化框架：
   网络通过一个自监督目标进行训练，该目标通过对渲染输出强制执行三种协同约束，从而联合优化深度图和相机位姿：

   • 图像级光度一致性（$L_{rgb}$）： 最小化输入帧 $I_t$ 与渲染图像 $\hat{I}_t$ 之间的 $L_1$ 差异，确保外观和结构的一致性。
   • 世界坐标系几何对齐（$L_{3D}$）： 这是消除空间漂移的核心机制。它将第 $t$ 帧的渲染深度点反投影到统一的世界坐标系中，并将其重投影到相邻帧（$t'$）上。在有效像素集（处理遮挡和越界投影）上计算重投影深度与目标帧渲染深度之间的一致性损失。应用鲁棒的 Huber 惩罚项以减轻动态组织运动和离群值的影响。
   • 多尺度时间梯度一致性（$L_{temp}$）： 为了在保持几何感知不连续性的同时抑制时间性闪烁，该损失在多个尺度上惩罚相邻帧之间空间梯度的绝对偏差。

最终训练目标是这三种损失的加权和。至关重要的是，该优化严格属于训练时目标；在推理过程中，模型通过单次前馈传递直接预测深度，无需测试时优化。

核心贡献

1. 新颖范式： 作者引入了一个自监督框架，将单目视频深度估计重新表述为无位姿的多视图 3D 一致性优化问题，释放了 3D 基础模型在临床内窥镜领域的潜力。
2. 统一优化策略： 他们提出了一种具有显式世界坐标对齐和多尺度时间梯度约束的策略。这有效地将连续帧锚定到全局连贯的几何结构中，消除了跨帧 3D 漂移。
3. 最先进的性能： 该方法在公开基准测试上实现了卓越的准确性，并在不受限的临床环境中展示了强大的零样本泛化能力。

结果
该框架在两个公开手术数据集上进行了评估：SCARED（带有地面真值深度和位姿）和 Hamlyn（复杂的体内手术过程，用于零样本评估）。

• 定量性能： 在 SCARED 数据集上，所提方法在所有指标上均优于近期的基准方法（EndoDAC, VDA, EndoDAV 和 AnySplat）。具体而言，它将绝对相对误差（Abs Rel）从 0.100 (AnySplat) 降低到 0.060，将 RMSE 从 10.400 降低到 5.503，同时实现了 0.978 的 $\delta_1$ 准确率。
• 零样本泛化： 在 Hamlyn 数据集上，该方法同样在所有指标上取得了最佳结果，将 Abs Rel 从 0.299 降低到 0.108，将 RMSE 从 29.938 降低到 10.535。
• 定性分析： 视觉对比表明，该方法能更好地保留场景结构，并避免了现有方法中观察到的异常误差和时间不一致性（闪烁），尤其是在大幅度运动的情况下。
• 消融实验： 实验证实所有三个损失组件（$L_{rgb}$, $L_{3D}$, $L_{temp}$）都提供了互补的益处。与基准相比，引入几何约束（$L_{3D}$）和时间约束（$L_{temp}$）显著增强了空间准确性和稳定性。此外，将一致性优化模块应用于不同的骨干网络（VDA 和 AnySplat）一致地提升了它们的性能。

意义
论文声称，通过将病态的单目视频深度估计转化为鲁棒的多视图 3D 重建问题，所提出的框架有效地弥合了强大的 3D 基础模型与无位姿临床内窥镜之间的鸿沟。结果表明，通过显式强制执行全局 3D 一致性和时间相干性，可以在现实世界的运营室中实现可靠的深度估计，与现有方法相比，显著减少了几何漂移和时间不稳定。这一进展为微创手术中更可靠的下游应用（如密集重建和机器人辅助引导）铺平了道路。