Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting

Resumen Técnico: Underwater360

Enunciado del Problema
La reconstrucción de alta fidelidad de escenas 3D submarinas es crítica para la exploración inmersiva, pero enfrenta obstáculos significativos. Los métodos tradicionales que dependen de cámaras de perspectiva estándar luchan bajo el agua debido al entorno acuático inestable (corrientes, partículas en suspensión) y a la degradación óptica severa causada por la absorción y dispersión de la luz. Estos factores debilitan las correspondencias entre vistas, lo que lleva a una estimación de la pose de la cámara poco fiable y a artefactos de reconstrucción. Además, las cámaras convencionales de campo estrecho requieren vistas densas y superpuestas para la cobertura, algo difícil de lograr de manera fiable bajo el agua. Aunque la Dispersión de Gaussianas 3D (3DGS) ha revolucionado la reconstrucción de escenas terrestres, las adaptaciones existentes para entornos submarinos están diseñadas principalmente para imágenes de perspectiva y no abordan los desafíos acoplados de la distorsión de la proyección esférica (inherente a los panoramas de 360°) y la degradación por medio participante. Por el contrario, los métodos de renderizado omnidireccional existentes suelen asumir condiciones de aire claro y no modelan el transporte de luz submarino.

Metodología
Los autores proponen Underwater360, un marco de 3DGS omnidireccional informado por la física diseñado para reconstruir escenas panorámicas submarinas. El marco integra tres componentes principales:

1. Dispersión de Gaussianas Omnidireccional:
   En lugar de proyectar Gaussianas 3D sobre una imagen de Proyección Equirectangular (ERP) 2D (lo que introduce distorsión geométrica), el método realiza el lanzamiento de rayos directamente en el espacio de la cámara esférica. Para cada píxel en la imagen ERP, se define un rayo de visión en coordenadas esféricas. La contribución de cada Gaussiana se evalúa a lo largo de estos rayos dentro de un plano tangente local. Este enfoque, construido sobre el marco SPaGS, mitiga las distorsiones de proyección esférica y proporciona profundidades de intersección rayo-gaussiana precisas necesarias para el modelado físico posterior.

2. Modelado Físico de la Apariencia y el Medio:
   Para manejar la degradación submarina, los autores desacoplan la radiancia intrínseca de la escena de la retrodispersión dependiente de la profundidad y la atenuación utilizando el Modelo de Formación de Imágenes Submarinas (UIFM).

   • Apariencia Intrínseca: Un módulo de incrustación de apariencia condicionado a la pose ajusta el color base de cada Gaussiana utilizando una red neuronal multicapa (MLP) ligera. Esto desvincula la radiancia intrínseca de la escena de los efectos dependientes de la vista y los desplazamientos inducidos por el medio, asegurando que la representación base de la Gaussiana permanezca estable.
   • Estimación del Medio: Dos redes neuronales ligeras estiman los parámetros físicos del agua.
     • Backscatter-Net: Toma el mapa de profundidad como entrada para predecir coeficientes de atenuación para la retrodispersión, modelando la saturación asintótica del color de la luz del agua a distancia infinita y las desviaciones en el campo cercano.
     • DeattenuateNet: Toma el mapa de profundidad y la incrustación de vista como entrada para predecir coeficientes de atenuación que varían espacialmente, teniendo en cuenta las condiciones de agua no homogéneas.
       La imagen degradada final se sintetiza combinando la radiancia limpia, la atenuación estimada y la retrodispersión según el modelo físico: $I(p) = J(p) \odot A(p) + B(p)$.

3. Optimización Conjunta:
   El sistema optimiza los atributos de las Gaussianas (posición, covarianza, opacidad, color) y los parámetros de las redes de apariencia y medio de manera conjunta. La función de pérdida combina la pérdida L1 píxel a píxel y la similitud estructural (L-SSIM) para supervisar la reconstrucción frente a las observaciones panorámicas submarinas crudas.

Contribuciones Clave

• Marco Unificado: El artículo presenta la primera formulación unificada que acopla el renderizado de Gaussianas omnidireccional con la formación explícita de imágenes submarinas, permitiendo la reconstrucción conjunta de geometría, apariencia dependiente de la vista y degradación del medio a partir de entradas panorámicas.
• Dispersión de Gaussianas Omnidireccional: Introducción de un módulo que realiza el lanzamiento de rayos esférico directamente en el espacio de la cámara, reduciendo eficazmente las distorsiones geométricas asociadas con las aproximaciones de proyección 2D en campos de visión de 360°.
• Modelado Consciente de la Física: Una arquitectura novedosa que desvincula explícitamente la radiancia intrínseca de la escena de la atenuación y la retrodispersión submarinas utilizando priores de profundidad e incrustaciones condicionadas a la pose, permitiendo una restauración de escenas fundamentada físicamente.
• Nuevos Puntos de Referencia: El establecimiento de un nuevo conjunto de datos de referencia panorámico submarino, OmniUW (sintético, 5 escenas en Unreal Engine 5) y Insta360 (del mundo real, 5 escenas capturadas con una cámara Insta360 X4), que comprende tanto escenas 360° submarinas sintéticas como del mundo real.

Resultados
Se realizaron experimentos extensos en los conjuntos de datos sintéticos OmniUW y del mundo real Insta360, comparando Underwater360 con métodos basados en NeRF y 3DGS de última generación (incluyendo variantes específicas para entornos submarinos y omnidireccionales).

• Rendimiento Cuantitativo: Underwater360 logró un rendimiento superior o casi superior en la mayoría de las escenas y métricas (PSNR, SSIM, LPIPS) en ambos conjuntos de datos. Cabe destacar que demostró una robustez significativa en escenas con degradación severa donde otros métodos lucharon o produjeron resultados inestables.
• Mejoras Cualitativas: Las comparaciones visuales mostraron que el método recupera detalles locales más claros y apariencias de escena más fieles. Se encontró que la descomposición de la escena en radiancia limpia, atenuación y retrodispersión era más coherente espacialmente y físicamente plausible en comparación con trabajos anteriores.
• Perspectivas de Ablación: Los resultados indicaron que, aunque la dispersión de Gaussianas omnidireccional por sí sola es efectiva para escenas claras, el modelado explícito de la formación de imágenes submarinas es crucial para manejar la atenuación y la retrodispersión severas.

Significado y Afirmaciones
Los autores afirman que Underwater360 ofrece una nueva perspectiva sobre la reconstrucción de escenas submarinas al unificar la representación de escenas panorámicas con el modelado físico explícito. Al aprovechar la cobertura rica de la imagen omnidireccional y la eficiencia de 3DGS, el método proporciona restricciones globales más fuertes para la reconstrucción en entornos submarinos desafiantes. El trabajo se posiciona como un paso fundamental hacia una visión 3D submarina robusta, proporcionando a la comunidad el primer conjunto de datos de referencia y un marco capaz de manejar los desafíos acoplados de la distorsión esférica y la degradación del medio. Los autores reconocen limitaciones relacionadas con las suposiciones de escenas estáticas, la falta de modelado de refracción para las carcasas de las cámaras y la inestabilidad en entornos extremadamente turbios o con escasa textura, sugiriendo estos como direcciones para trabajos futuros.