Resumen Técnico: ActMVS – Reconstrucción de Escenas Activa con Estereoscopía Multi-Vista Monocular

1. Planteamiento del Problema

La reconstrucción activa de escenas es esencial para que los robots y los Vehículos Aéreos No Tripulados (UAV) naveguen y mapeen entornos desconocidos de forma autónoma, particularmente en escenarios como la inspección industrial y la respuesta ante desastres, donde la adquisición manual de datos es costosa. Mientras que los métodos pasivos (p. ej., SfM, SLAM) procesan datos pre-recolectados, la reconstrucción activa requiere la planificación en tiempo real de trayectorias de sensores para maximizar la cobertura garantizando al mismo tiempo una navegación libre de colisiones.

Los enfoques actuales de reconstrucción activa dependen predominantemente de sensores de profundidad (p. ej., LiDAR, luz estructurada) para generar mapas de ocupación de alta confianza para el razonamiento espacial seguro. Sin embargo, estos sensores introducen restricciones prohibitivas de costo, peso y potencia para plataformas con recursos limitados. Los autores pretenden desarrollar una solución exclusivamente de visión monocular.

El desafío central radica en la adquisición de predicciones de profundidad densas a tasas de fotogramas con precisión de escala métrica utilizando únicamente una cámara. Los métodos existentes de estimación de profundidad monocular carecen de precisión métrica, mientras que las técnicas estándar de Estereoscopía Multi-Vista (MVS) enfrentan dos limitaciones críticas en entornos activos:

1. Baselines Insuficientes: El uso de fotogramas adyacentes suele resultar en una profundidad subóptima debido a una paralaje o covisibilidad insuficiente.
2. Falta de Contexto Global: Los métodos de MVS basados en aprendizaje recientes suelen procesar solo un número limitado de fotogramas de referencia (p. ej., 8), lo que provoca la acumulación de errores y una falta de consistencia global, comprometiendo la seguridad de la planificación y la calidad de la reconstrucción.

2. Metodología: Marco de Trabajo ActMVS

ActMVS se presenta como el primer marco de trabajo para la reconstrucción de escenas monocular activa. Integra una representación de escena híbrida con un novedoso grafo de factores de vista y una optimización de profundidad global para permitir la generación de mapas de profundidad densos, de alta calidad y globalmente consistentes en línea.

A. Representación de Escena Híbrida

El sistema mantiene tres representaciones concurrentes:

• Grafo de Factores de Vista ($G_f$): Modela las relaciones geométricas entre fotogramas. Los nodos almacenan imágenes de vista, mapas de profundidad optimizados, poses e intrínsecos. Las aristas codifican pesos de visibilidad vóxel-fotograma para indicar el solapamiento geométrico.
• Mapa de Vóxeles ($M_v$): Construido sobre OctoMap, almacena probabilidades de ocupación. Sirve tanto como mapa de ocupación para la planificación libre de colisiones como modelo de visibilidad para superficies co-visibles.
• Mapa de Gaussian Splatting ($M_g$): Utiliza surfels gaussianos para una reconstrucción de superficie de alta fidelidad, generando mapas de color, profundidad, normales y opacidad mediante renderizado diferenciable.

B. Proceso de Reconstrucción Activa en Línea

El marco de trabajo opera iterativamente en dos fases:

1. Fase de Planificación (Siguiente Mejor Vista - NBV):
   • Se muestrean puntos de vista candidatos dentro de los límites de seguridad y exploración.
   • Un puntaje ponderado que combina la completitud de la vista (vóxeles inexplorados visibles) y la distancia de viaje (calculada mediante búsqueda de ruta A*) determina la Siguiente Mejor Vista (NBV).
   • Las trayectorias se interpolan a lo largo de la ruta A* para asegurar una covisibilidad suficiente para la posterior predicción de profundidad MVS.
2. Fase de Mapeo:
   • Modelado de Visibilidad: Calcula solapamientos por pares ($\Omega_{tj}$) mediante la covisibilidad de vóxeles, actualizando el Grafo de Factores de Vista al conectar la vista actual con los $k$ vecinos superiores.
   • Predicción de Profundidad: Adapta el método MVS de alimentación hacia adelante (feedforward) MVSA para estimar la profundidad densa utilizando los vecinos seleccionados como vistas de referencia.
   • Optimización de Profundidad Global: Realiza $N_{iter}$ pasos de optimización global sobre el mapa de profundidad mediante el deformado (warping) de profundidad por pares dentro del grafo.
   • Actualización: Actualiza el Mapa de Vóxeles mediante la integración de ocupación probabilística y refina el Mapa Gaussiano inicializando primitivas en áreas de baja opacidad y minimizando las pérdidas fotométricas/de profundidad.

C. Innovaciones Técnicas Clave

1. Grafo de Factores de Vista con Modelado de Visibilidad Vóxel-Fotograma:

   • Para abordar los problemas de oclusión en la selección de fotogramas de referencia, el método calcula máscaras de frustum por fotograma ($M_t$) proyectando los centros de los vóxeles en el plano de la cámara y verificándolos contra la profundidad gaussiana renderizada.
   • Esto permite un cálculo eficiente de solapamiento mediante una operación AND lógica, filtrando los vóxeles obstruidos.
   • Un puntaje de correlación equilibra la covisibilidad ($\Omega_{ij}$) y la traslación de la cámara para seleccionar fotogramas de referencia que proporcionen baselines significativos (evitando poses demasiado cercanas o demasiado distantes).

2. Optimización de Profundidad Global:

   • Para superar el contexto limitado de un MVS estándar (que procesa ~8 fotogramas), ActMVS impone consistencia 3D en todo el Grafo de Factores de Vista.
   • Factor de Consistencia de Profundidad: Alinea estructuras 3D co-visibles entre pares de fotogramas mediante el retroproyección de la profundidad, el deformado de puntos y la aplicación de una pérdida Huber en el espacio logarítmico a las correspondencias válidas.
   • Regularización: Incorpora la regularización de Variación Total (TV) para asegurar la suavidad y la plausibilidad geométrica.
   • El sistema resuelve esta optimización no lineal mediante retropropagación iterativa (optimizador Adam), propagando las restricciones geométricas de forma incremental.

3. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos Replica (9 escenas) utilizando el simulador Habitat, comparando ActMVS contra líneas base RGB-D de última generación: ActiveGS y NARUTO.

• Desempeño Cuantitativo:

  • ActMVS logra el mejor desempeño entre todos los métodos de solo RGB en métricas de renderizado (PSNR, SSIM, LPIPS) y métricas de calidad de malla (Precisión, Completitud, distancia de Chamfer).
  • Aunque los métodos RGB-D (ActiveGS) generalmente superan en rendimiento, ActMVS se acerca estrechamente a su desempeño, validando que la optimización de profundidad restringida por multi-vista compensa la falta de sensores de profundidad.
  • Estudios de Ablación:
    • sin OPT: La eliminación de la optimización global causa una degradación significativa de la superficie y de la estabilidad de la profundidad.
    • sin REF: Reemplazar la selección de referencia basada en vóxeles con una simple selección de fotogramas adyacentes conduce a fallos de MVS debido a una paralaje insuficiente.
    • sin MVS: Reemplazar MVS con un estimador métrico monocular (DepthAnythingV2) resulta en fallos catastróficos de reconstrucción debido a la acumulación de errores.

• Resultados Cualitativos:

  • Las comparaciones visuales muestran que ActMVS produce mallas de alta calidad y renderizados de vistas novedosas, superando a NARUTO (que sufre de degradación por puntos de vista dispersos) y acercándose a la fidelidad visual de ActiveGS.

• Simulaciones Extendidas:

  • El marco de trabajo fue probado en AirSim con un cuadricóptero UAV utilizando el Ego-planner para la ejecución de la trayectoria.
  • El sistema navegó con éxito entornos complejos sin colisiones, demostando la viabilidad del bucle de planificación de rutas y reconstrucción.
  • Nota: Los autores reconocen que la reconstrucción actual basada en 3DGS requiere una memoria de video significativa, excediendo la capacidad de los dispositivos típicos integrados, lo que requiere procesamiento en el lado del servidor para la implementación actual.

4. Significación y Reivindicaciones

El artículo presenta a ActMVS como el primer marco de trabajo para la reconstrucción de escenas monocular activa. Su importancia radica en:

• Avance de la Inteligencia Espacial: Permite que robots/UAV realicen la exploración y reconstrucción autónoma y segura utilizando solo una cámara monocular, eliminando la necesidad de sensores de profundidad costosos y pesados.
• Cerrar la Brecha: Aborda con éxito el compromiso entre la precisión métrica de MVS y la consistencia global requerida para el mapeo en línea.
• Desempeño Competitivo: Demuestra que un enfoque de solo visión puede lograr un rendimiento competitivo con los métodos RGB-D, haciendo que la reconstrucción activa de alta fidelidad sea accesible para plataformas con recursos limitados.

Los autores concluyen que, si bien el sistema actual requiere recursos computacionales significativos, el trabajo futuro se centrará en optimizar para el despliegue en tiempo real en drones totalmente autónomos bajo restricciones físicas.