Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction

Resumen Técnico: Supervisión de Profundidad Monocular Consciente de la Fiabilidad para la Reconstrucción Neuronal de Vista Dispersa

Planteamiento del Problema
La reconstrucción neuronal de vista dispersa es particularmente desafiante en escenas de conducción en exteriores. A diferencia de los conjuntos de datos centrados en objetos donde las cámaras orbitan un objetivo, las secuencias de conducción autónoma involucran cámaras que se mueven a lo largo de trayectorias estrechas y frontales. Esto resulta en una superposición multivista limitada, un paraleje débil para regiones distantes y dificultades con objetos dinámicos, reflejos y regiones del cielo. Si bien los Campos de Radiancia Neuronal (NeRF) y el Splatting de Gaussianas 3D (3DGS) logran una renderización de alta calidad con suficientes vistas, se vuelven insuficientemente restringidos con entradas dispersas, lo que a menudo conduce a una geometría incorrecta y a la aparición de "floaters" (elementos flotantes).

Aunque los estimadores de profundidad monocular como Depth Anything V2 (DA-V2) ofrecen priors geométricos densos, sus predicciones son relativas, ruidosas y no son uniformemente fiables en todas las regiones de la imagen. Aplicar estos priors de manera uniforme puede introducir errores en áreas no fiables (por ejemplo, límites de oclusión o superficies reflectantes). La cuestión central abordada es cómo aprovechar eficazmente la supervisión de profundidad monocular en entornos de vista dispersa sin comprometer la calidad de la reconstrucción debido a priors ruidosos.

Metodología
Los autores proponen un pipeline de supervisión de profundidad monocular consciente de la fiabilidad que aplica selectivamente la supervisión de profundidad basándose en la fiabilidad de la reconstrucción RGB. El enfoque consta de tres etapas principales:

1. Prior de Profundidad Monocular con Alineación de Escala:

   • Se utiliza DA-V2 para generar mapas de profundidad relativa densos.
   • Estos mapas se alinean a la profundidad métrica mediante un proceso de ajuste de escala-desplazamiento por imagen contra anclajes de referencia válidos (puntos LiDAR para KITTI, puntos COLMAP para la escena de la Bicicleta).
   • La profundidad alineada se recorta a un rango válido (por ejemplo, 80 m para KITTI) para servir como un prior métrico.

2. Enmascaramiento de Fiabilidad Fotométrica:

   • Primero se entrena un modelo base de solo RGB para establecer una referencia de la calidad de la reconstrucción.
   • Se calcula el error de reconstrucción fotométrica por píxel ($e(u)$) comparando la imagen renderizada del modelo base con la verdad de campo (ground truth).
   • Se genera una máscara binaria basada en un umbral $\tau$. Los píxeles con bajo error fotométrico ($e(u) < \tau$) se consideran "fiables" y se conservan para la supervisión de profundidad, mientras que las regiones de alto error (que probablemente contienen objetos dinámicos, reflejos o cielo) se enmascaran.

3. Objetivo de Supervisión de Profundidad Enmascarada:

   • El modelo de reconstrucción (ya sea Mip-NeRF-360 o Splatfacto) se reentrena con una función de pérdida conjunta: $L = L_{rgb} + \lambda_{depth} L_{depth}$.
   • La pérdida RGB se aplica a la imagen completa.
   • La pérdida de profundidad ($L_{depth}$) se calcula únicamente en los píxeles donde la máscara de supervisión efectiva ($M_{eff}$) está activa, definida como la intersección de la máscara de fiabilidad fotométrica y la máscara de validez de profundidad.
   • Esto asegura que el prior monocular ruidoso solo regularice las regiones donde la reconstrucción RGB ya es consistente.

Contribuciones Clave

• Estrategia de Supervisión Selectiva: El artículo introduce un método para aplicar priors de profundidad monocular selectivamente basados en el error de reconstrucción fotométrica, en lugar de aplicarlos uniformemente en toda la imagen.
• Evaluación Comparativa: La estrategia se evalúa en dos representaciones de escena distintas: un campo de densidad implícito (Mip-NeRF-360) y una representación de Gaussianas explícita (Splatfacto).
• Ablación y Generalización: Mediante ablaciones de ratio de coincidencia y experimentos en múltiples secuencias de KITTI (02 y 05) y la escena de la Bicicleta, los autores demuestran que las mejoras derivan de la selección de regiones fiables en lugar de simplemente reducir el número de píxeles supervisados.
• Análisis de Sensibilidad del Backbone: El trabajo destaca que la eficacia de la supervisión de profundidad depende altamente de la representación subyacente (implícita vs. explícita) y de la configuración de la escena (dispersa frontal vs. centrada en objetos).

Resultos Experimentales
La evaluación se llevó a cabo en KITTISeq02 (configuración dispersa de cada 2ª fotograma), KITTISeq05 y la escena de la Bicicleta de Mip-NeRF-360.

• Mip-NeRF-360 (Implícito):

  • En KITTISeq02, la supervisión de profundidad monocular enmascarada proporcionó solo ganancias marginales en la renderización (por ejemplo, el PSNR aumentó de 20.378 a 20.607 en el mejor de los casos) y no mejoró la geometría métrica (AbsRel y RMSE empeoraron en comparación con el modelo base de solo RGB).
  • En KITKISeq05, tanto la supervisión de profundidad global como la enmascarada degradaron tanto la calidad de la renderización como la geometría en comparación con el entrenamiento de solo RGB.
  • Conclusión: El campo de densidad implícito es sensible al ruido de la profundidad monocular alineada por escala, y el prior actúa como un regularizador débil o desestabilizador.

• Splatfacto (Explícito):

  • En KITTISeq02, Splatfacto se benefició significativamente. El PSNR mejoró de 14.903 (solo RGB) a 15.932, y el RMSE cayó drásticamente de 0.542 a 0.100.
  • Las ablaciones de ratio de coincidencia confirmaron que las máscaras de bajo error superaron a las de alto error y a las máscaras aleatorias, probando que el beneficio proviene de la selección de regiones.
  • En KITTISeq05, se observaron mejoras similares tanto en la renderización como en la geometría.
  • Conclusión: La representación explícita de Gaussianas permite que la supervisión de profundidad guíe directamente la colocación de las Gaussianas, reduciendo eficazmente los "floaters" y mejorando la geometría en regiones dispersas.

• Escena de la Bicicleta (Centrada en Objetos):

  • En esta escena con fuerte cobertura multivista, la supervisión de profundidad mejoró la geometría (el RMSE cayó de 1.479 a 0.722) pero generalmente degradó la calidad de la renderización RGB (PSNR, SSIM, LPIPS disminuyeron).
  • Esto sugiere un compromiso donde los priors de profundidad pueden sobre-regularizar la reconstrucción cuando las restricciones RGB ya son fuertes.

Significancia y Afirmaciones
El artículo concluye que los priors de profundidad monocular son un arma de doble filo en la reconstrucción de vista dispersa. Su utilidad no es universal, sino que depende fuertamente del backbone de reconstrucción y de las restricciones de la escena:

1. Dependencia del Backbone: Son altamente efectivos para representaciones de Gaussianas explícitas (Splatfacto) en escenas frontales dispersas, pero ofrecen poco o ningún beneficio —e incluso pueden ser perjudiciales— para las representaciones de tipo NeRF implícito (Mip-NeRF-360).
2. La Fiabilidad es la Clave: Las ganancias no se deben simplemente a la adición de más datos de supervisión, sino al filtrado de regiones no fiables donde el prior monocular entra en conflicto con las observaciones RGB.
3. Compromisos: En escenas con fuerte cobertura multivista, la supervisión de profundidad puede mejorar las métricas geométricas a costa de la fidelidad fotométrica.

Los autores abogan por la aplicación selectiva de los priors de profundidad monocular con un peso moderado, particularmente para representaciones de escenas explícitas en escenarios de vista dispersa insuficientemente restringidos. Sugieren que el trabajo futuro podría centrarse en una mejor alineación de escala, en el enmascaramiento basado en la incertidumbre y en el peso de pérdida adaptativo.