3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation

Resumen Técnico: Optimización de la Consistencia 3D para la Estimación de Profundidad en Vídeo Monocular con Aprendizaje Automático Supervisado

Planteamiento del Problema
La estimación fiable de la profundidad en vídeo monocular es esencial para el razonamiento 3D descendente y la IA incorporada en la navegación endoscópica, incluyendo la reconstrucción densa, la guía asistida por robots y la comprensión de la escena quirúrgica. Sin embargo, el despliegue clínico se ve obstaculizado por las limitaciones del hardware; la mayoría de los endoscopios estándar son monoculares y carecen de un seguimiento fiable de la pose de la cámara. Los enfoques de aprendizaje automático supervisado existentes suelen tratar los fotogramas de vídeo como entidades independientes o dependen de una regularización temporal débil. Estos métodos no logran capturar la geometría 3D holística de la escena quirúrgica, lo que conduce a predicciones geométricamente inconsistentes, una deriva severa entre fotogramas y parpadeo temporal. Estos errores se acumulan rápidamente en condiciones endoscópicas desafiantes, socavando la fiabilidad de cualquier reconstrucción 3D descendente.

Metodología
Los autores proponen un cambio de paradigma que redefine la estimación de la profundidad en vídeo secuencial como un problema de reconstrucción 3D multivista sin restricciones. En lugar de procesar los fotogramas de forma aislada, el método trata un vídeo endoscópico como una colección de observaciones multivista ancladas a una escena 3D compartida. Este enfoque aprovecha los sesgos geométricos de modelos fundacionales 3D recientes sin requerir poses de cámara de verdad fundamental (ground-truth).

El marco consta de dos etapas principales:

1. Red de Comprensión de la Geometría 3D:

   • Arquitectura: La red utiliza un Transformador de Atención Alternante que entrelaza la atención intra-vista a nivel de fotograma con la atención inter-vista global para imponer coherencia espacial-temporal. Las imágenes de entrada se tokenizan utilizando características de DINOv2.
   • Representación de la Escena: La escena subyacente se representa mediante un conjunto de primitivas de Gauss 3D ($P$), parametrizadas por centros 3D, opacidad, covarianza anisotrópica y coeficientes de armónicos esféricos.
   • Cabezales (Heads): La red emplea tres cabezales especializados:
     • Cabezal de Cámara: Predice las poses extrínsecas por fotograma ($T_t$) e intrínsecas ($K$).
     • Cabezal de Profundidad: Predice un mapa de profundidad inicial por píxel ($D^{init}_t$) utilizado únicamente para proyectar de vuelta los píxeles de la imagen al espacio 3D, proporcionando una inicialización para los centros de las Gaussias.
     • Cabezal de Gaussia: Fusiona las características del transformador con características de apariencia de CNN superficiales para predecir el resto de los atributos de la Gaussia.
   • Renderizado: Un mecanismo de splatting de Gauss diferenciable renderiza las imágenes RGB esperadas ($\hat{I}_t$) y los mapas de profundidad ($\hat{D}_t$) a partir de las Gaussias 3D y los parámetros de cámara predichos.

2. Marco de Optimización de Consistencia 3D:
   La red se entrena mediante un objetivo de aprendizaje automático supervisado que optimiza conjuntamente los mapas de profundidad y las poses de la cámara imponiendo tres restricciones sinérgicas sobre los resultados renderizados:

   • Consistencia Fotométrica a Nivel de Imagen ($L_{rgb}$): Minimiza la diferencia $L_1$ entre el fotograma de entrada $I_t$ y la imagen renderizada $\hat{I}_t$, asegurando la consistencia de la apariencia y la estructura.
   • Alineación Geométrica en Coordenadas del Mundo ($L_{3D}$): Este es el mecanismo central para eliminar la deriva espacial. Desproyecta los puntos de profundidad renderizados del fotograma $t$ hacia un sistema de coordenadas del mundo unificado y los reproyecta en fotogramas vecinos ($t'$). Se calcula una pérdida de consistencia entre la profundidad reproyectada y la profundidad renderizada del fotograma objetivo, estrictamente sobre conjuntos de píxeles válidos (gestionando oclusiones y proyecciones fuera de límites). Se aplica una penalización de Huber robusta para mitigar el movimiento del tejido dinámico y los valores atípicos (outliers).
   • Consistencia de Gradiente Temporal Multiescala ($L_{temp}$): Para suprimir el parpadeo temporal preservando las discontinuidades conscientes de la geometría, esta pérdida penaliza el desajuste absoluto de los gradientes espaciales entre fotogramas adyacentes a través de múltiples escalas.

El objetivo de entrenamiento final es una suma ponderada de estas tres pérdidas. Crucialmente, esta optimización es estrictamente un objetivo de tiempo de entrenamiento; durante la inferencia, el modelo predice la profundidad en una única pasada de alimentación directa (feed-forward) sin optimización en tiempo de prueba.

Contribuciones Clave

1. Nuevo Paradigma: Los autores introducen un marco de aprendizaje automático supervisado que redefine la estimación de la profundidad en vídeo monocular como un problema de optimización de consistencia 3D multivista sin necesidad de pose, desbloqueando el potencial de los modelos fundacionales 3D para la endoscopia clínica.
2. Estrategia de Optimización Unificada: Proponen una estrategia que cuenta con alineación explícita de coordenadas del mundo y restricciones de gradiente temporal multiescala. Esto ancla eficazmente los fotogramas secuenciales a una geometría global coherente, eliminando la deriva 3D entre fotogramas.
3. Rendimiento de Vanguardia (State-of-the-Art): El método logra una precisión superior en los bancos de pruebas públicos y demuestra una generalización zero-shot robusta en entornos clínicos no restringidos.

Resultados
El marco fue evaluado en dos conjuntos de datos quirúrgicos públicos: SCARED (con profundidad y poses de verdad fundamental) y Hamlyn (procedimientos in vivo complejos, utilizado para la evaluación zero-shot).

• Rendimiento Cuantitativo: En el conjunto de datos SCARED, el método propuesto superó a los bases recientes (EndoDAC, VDA, EndoDAV y AnySplat) en todas las métricas. Específicamente, redujo el Error Relativo Absoluto (Abs Rel) de 0.100 (AnySplat) a 0.060 y el RMSE de 10.400 a 5.503, logrando además una precisión $\delta_1$ de 0.978.
• Generalización Zero-Shot: En el conjunto de datos Hamlyn, el método también logró los mejores resultados en todas las métricas, reduciendo el Abs Rel de 0.299 a 0.108 y el RMSE de 29.938 a 10.535.
• Análisis Cualitativo: Las comparaciones visuales mostraron que el método preserva mejor la estructura de la escena y evita los errores anormales y las inconsistencias temporales (parpadeo) observados en los métodos existentes, particularmente en escenarios con gran movimiento.
• Estudios de Ablación: Los experimentos confirmaron que los tres componentes de pérdida ($L_{rgb}$, $L_{3D}$, $L_{temp}$) aportan beneficios complementarios. La inclusión de las restricciones geométricas ($L_{3D}$) y temporales ($L_{temp}$) mejoró significativamente la precisión espacial y la estabilidad en comparación con los modelos base. Además, aplicar el módulo de optimización de consistencia a diferentes arquitectas (backbones) (VDA y AnySplat) mejoró consistentemente su rendimiento.

Significación
El artículo sostiene que, al transformar la estimación de la profundidad en vídeo monocular (un problema mal planteado) en un problema robusto de reconstrucción 3D multivista, el marco propuesto cierra eficazmente la brecha entre los potentes modelos fundacionales 3D y la endoscopia clínica sin necesidad de pose. Los resultados demuestran que imponer explícitamente la consistencia 3D global y la coherencia temporal permite una estimación de la profundidad fiable en quirófanos reales, reduciendo significativamente la deriva geométrica y la inestabilidad temporal en comparación con los métodos actuales. Este avance allana el camino para aplicaciones descendentes más fiables en la cirugía mínimamente invasiva, como la reconstrucción densa y la guía asistida por robots.