Semantic Segmentation and Depth Estimation for Real-Time Lunar Surface Mapping Using 3D Gaussian Splatting

Título: Segmentación Semántica y Estimación de Profundidad para Mapeo de la Superficie Lunar en Tiempo Real Utilizando 3D Gaussian Splatting

1. Problema y Motivación

La exploración robótica de la superficie lunar enfrenta desafíos únicos para la navegación autónoma y el mapeo:

• Condiciones Ambientales: Entornos con poca textura, iluminación de alto contraste y sombras profundas y duras (sin dispersión atmosférica).
• Limitaciones de Hardware: Las rovers suelen estar restringidas a hardware endurecido contra la radiación y sensores de bajo consumo, priorizando cámaras sobre sensores activos como LiDAR.
• Limitaciones de los Métodos Actuales:
  • Los métodos SLAM clásicos (basados en características geométricas) fallan en zonas sin textura.
  • Los métodos basados en aprendizaje profundo a menudo no generalizan bien a entornos extraterrestres.
  • Las representaciones de mapas tradicionales (nubes de puntos, voxels) son intensivas en memoria y no capturan detalles finos de la superficie.
  • Las representaciones neuronales existentes, como los Campos de Radiación Neuronales (NeRF), son computacionalmente costosas para tiempo real, difíciles de actualizar incrementalmente y poco interpretables para información semántica explícita.

2. Metodología

El artículo propone un marco de trabajo de mapeo en tiempo real que integra modelos de percepción densa con una representación de escena explícita basada en 3D Gaussian Splatting (3DGS). La arquitectura consta de tres etapas principales:

• Frontend de Percepción y Seguimiento:

  • Asume estimaciones de pose externas (ej. odometría visual-inercial).
  • Estimación de Profundidad: Evalúa modelos estéreos y monoculares. Se selecciona RAFT-Stereo (basado en unidades recurrentes de puerta o GRU) por su equilibrio entre precisión y velocidad, superando a métodos tradicionales como SGBM en regiones de baja textura.
  • Segmentación Semántica: Evalúa diversas arquitecturas (U-Net, DeepLab, etc.) y selecciona MANet por su superior rendimiento en la detección de rocas y regolito.
  • Se aplican máscaras para excluir el cielo y evitar la creación de puntos 3D erróneos.

• Mapeo Incremental (Backend):

  • Fusiona la pose, el mapa de profundidad denso y las etiquetas semánticas para generar una nube de puntos 3D semántica por cuadro.
  • Inicializa nuevos Gaussianos 3D a partir de estos puntos. Cada gaussiano hereda la etiqueta semántica correspondiente.
  • Utiliza un filtrado basado en voxels para mantener el mapa gestionable, añadiendo nuevos gaussianos solo en regiones no observadas previamente.

• Motor de Optimización:

  • Funciona de forma asíncrona en segundo plano, optimizando los parámetros de los gaussianos y las poses de las cámaras clave.
  • Función de Pérdida Personalizada: Adapta la pérdida estándar de 3DGS para entornos lunares:
    • Pérdida de Profundidad Supervisada: Penaliza la diferencia entre la profundidad renderizada y la estimada (solo en zonas válidas).
    • Pérdidas de Regularización Volumétrica: Penalizan la densidad en espacios vacíos (cielo) y fomentan la opacidad en superficies sólidas.
    • Pérdida Semántica: Utiliza la verosimilitud negativa (NLL) para alinear el campo semántico renderizado con las máscaras de segmentación.
  • Se modifica la estrategia de densificación: se eliminan los reinicios globales de opacidad para evitar el "olvido catastrófico" en mapeos a largo plazo.

3. Contribuciones Clave

1. Marco de Mapeo en Tiempo Real: Desarrollo de un pipeline basado en 3DGS específico para entornos lunares, ofreciendo renderizado rápido y actualizaciones incrementales flexibles.
2. Benchmarking de Percepción: Evaluación exhaustiva de modelos de estimación de profundidad (estéreo y monoculares) y segmentación semántica en datos sintéticos lunares (generados con el simulador LuPNT).
3. Integración Semántica y Geométrica: Análisis del impacto directo de los inputs de percepción en la calidad de la reconstrucción 3D, demostrando que la combinación de segmentación y profundidad densa con representaciones aprendidas es efectiva.
4. Adaptación de 3DGS: Modificación de la estrategia de densificación y pérdida de 3DGS para manejar las condiciones de iluminación extremas y la necesidad de mapeo incremental sin olvidar partes estables del mapa.

4. Resultados

Los experimentos se realizaron en un trayecto simulado de 120 metros utilizando el conjunto de datos LuPNT.

• Selección de Modelos:
  • Profundidad: RAFT-Stereo demostró la mejor compensación entre precisión geométrica y velocidad (4.4 FPS), superando a métodos tradicionales que fallan en sombras y texturas bajas.
  • Semántica: MANet logró el mejor rendimiento en la detección de rocas (crítico para evitar peligros), con una precisión comparable a modelos más grandes.
• Precisión de Reconstrucción:
  • El pipeline completo logró un error de altura geométrica de aproximadamente 2.8 cm en el trayecto de 120 metros.
  • Superó a una línea base tradicional de nube de puntos (que tuvo un error de 3.5 cm), demostrando que la representación gaussiana continua suaviza el ruido y aproxima mejor la geometría.
  • Métricas de precisión y recall (umbral de 5 cm): 64.3% y 68.6% respectivamente.
• Impacto de la Percepción: El uso de etiquetas semánticas de "verdad fundamental" (ground truth) mejoró marginalmente los resultados finales, lo que confirma la alta eficacia del modelo MANet seleccionado.
• Errores: Las mayores discrepancias geométricas se concentraron en los bordes oscuros y de alto contraste de las rocas, donde tanto la estimación de profundidad como la segmentación tienen dificultades para distinguir entre sombras profundas y el cielo negro.
• Eficiencia: El mapa 3DGS (2.4 GB) comprime significativamente la información visual en comparación con los datos brutos (19.2 GB), aunque requiere más memoria que una nube de puntos simple (331 MB) debido a la naturaleza de la representación.

5. Significado y Conclusión

Este trabajo demuestra que es posible crear mapas 3D densos, semánticos y de gran escala para la superficie lunar en tiempo real, superando las limitaciones de los sensores pasivos y las representaciones discretas tradicionales.

• Viabilidad para Misiones: La capacidad de generar mapas detallados sin LiDAR es crucial para misiones futuras donde el peso y la potencia son limitados.
• Fundamento para SLAM: El sistema establece una base sólida para un sistema SLAM completo, donde la optimización conjunta de mapa y pose (típica de 3DGS) podría ofrecer ventajas significativas sobre métodos separados, especialmente en la corrección de deriva y consistencia multi-vista.
• Futuro: Los autores identifican la integración de un frontend de seguimiento completo (SLAM), la extracción de superficies basada en densidad y la optimización para hardware de vuelo (cuantización) como los siguientes pasos críticos para la implementación en misiones reales.

En resumen, la combinación de modelos de percepción avanzados con la representación explícita y eficiente de 3DGS ofrece una solución prometedora para la navegación autónoma en entornos extraterrestres desafiantes.