Cross-Session 3D LiDAR and Camera Fusion for Robust Localization of Unmanned Aerial Vehicles in GPS-Denied Environments

Resumen Técnico: Fusión de Cámara y LiDAR 3D entre Sesiones para una Localización de UAV Robusta

Planteamiento del Problema
La localización precisa es crítica para los Vehículos Aéreos No Tripulados (UAV) que realizan inspecciones de infraestructura, como el monitoreo de la parte inferior de puentes, túneles y cañones urbanos. En estos entornos donde no hay señal de GPS, la navegación estándar por satélite no está disponible o no es confiable. Aunque existen soluciones actuales, estas enfrentan limitaciones significativas:

• Los sistemas basados únicamente en visión se degradan en entornos de baja iluminación o con pocos elementos distintivos, y sufren de deriva (drift) ante la falta de cierre de bucle (loop closure).
• Los sistemas basados únicamente en LiDAR tienen dificultades en escenas geométricamente degeneradas (por ejemplo, superficies planas o túneles largos) y acumulan deriva con el tiempo debido a la falta de restricciones globales.
• Los sistemas de VIL (Visual-Inertial-LiDAR) fuertemente acoplados (por ejemplo, FAST-LIVO, LVI-SAM) ofrecen alta precisión, pero a menudo requieren configuraciones de sensores complejas (cámaras estéreo, IMUs) y presentan dificultades cuando las tasas de fotogramas disminuyen o el solapamiento visual es limitado.
• Los métodos basados en aprendizaje suelen requerir datos de entrenamiento extensos y pueden fallar ante cambios de dominio (iluminación, cambios de perspectiva).

Además, los datos de una sola sesión suelen ser insuficientes para una localización consistente en estructuras complejas donde la iluminación varía y los elementos distintivos están distribuidos de manera desigual.

Metodología: Fusión Cruzada (Cross-Fusion)
Los autores proponen Cross-Fusion, un marco de localización híbrido que integra un LiDAR 3D y una cámara monocular. El sistema opera en dos fases distintas:

1. Fase Offline (Construcción de la Base de Datos):

   • Se construye una base de datos visual-geométrica de referencia utilizando datos de sesiones de inspección previas (por ejemplo, robots terrestres o vuelos manuales de drones).
   • Extracción de Características: Los puntos clave locales y los descriptores se extraen mediante métodos basados en CNN (SuperPoint o DISK).
   • Recuperación Global: Se computan descriptores globales (EigenPlaces) para cada imagen para permitir la recuperación rápida de imágenes candidatas de bases de datos extensas.
   • Generación del Mapa: Los pares de imágenes con solapamiento se emparejan (SuperGlue) y se procesan a través de un flujo de trabajo de Estructura desde el Movimiento (SfM) (COLOMP) para generar una nube de puntos 3D dispersa ($X_i$) con poses de cámara conocidas.

2. Fase Online (Localización en Tiempo Real):

   • Odometría LiDAR: El UAV estima su pose aproximada ($P_t$) alineando escaneos de LiDAR consecutivos mediante el método de Iterative Closest Point (ICP) o métodos similares. Esto proporciona un seguimiento de movimiento continuo, pero es propenso a la deriva.
   • Corrección Visual:
     • Recuperación Aproximada: La imagen actual de la cámara se compara con la base de datos offline utilizando descriptores globales para identificar las $k$ imágenes más similares.
     • Emparejamiento Fino: Los rasgos locales se emparejan entre la imagen actual y las imágenes candidatas de la base de datos utilizando SuperGlue.
     • Transferencia 2D-3D entre Sesiones: Esta es la innovación central. Los puntos clave 2D emparejados se proyectan sobre la nube de puntos LiDAR online ($L_i$) y sobre el mapa 3D offline ($X_i$). Esto crea correspondencias 3D-3D entre el escaneo LiDAR actual y el mapa preconstruido.
     • Refinamiento de Pose: Se resuelve un problema de registro de nubes de puntos truncado para minimizar el error de distancia entre los puntos del LiDAR y los puntos del mapa, lo que genera una pose corregida de 6 grados de libertad (6-DoF) relativa al mapa global.

Contribuciones Clave
El artículo identifica cuatro contribuciones principales:

1. Estrategia de Fusión entre Sesiones: Un novedoso flujo de trabajo que asocia las observaciones del UAV online con una base de datos visual-geométrica preconstruida. Esto proporciona restricciones de pose globales para corregir la deriva en entornos con pocos rasgos sin requerir GPS.
2. Transferencia de Correspondencia 2D-3D Guiada por LiDAR: Un mecanismo que eleva los emparejamientos de imagen 2D-2D a correspondencias de nube de puntos 3D-3D mediante la proyección de los puntos clave emparejados a través del flujo de datos LiDAR online. Esto permite la corrección de pose de 6-DoF sin depender de un IMU o una cámara estéreo.
3. Configuración de Sensores Robusta y Ligera: El sistema logra una precisión competitiva utilizando únicamente un LiDAR 3D y una cámara monocular, evitando la complejidad de los sistemas visuales-inerciales fuertemente acoplados. Demuestra una mayor robustez bajo tasas de fotogramas bajas o condiciones visuales degradadas.
4. Implementación de Código Abierto: Los autores proporcionan el código para apoyar la reproducibilidad.

Resultos Experimentales
Los experimentos se realizaron en un área de edificio de 150m x 150m utilizando un cuadricóptero equipado con un LiDAR Quanergy M8 y una cámara Intel RealSense D435. Se utilizó la información de GPS únicamente como referencia de verdad absoluta (ground truth).

• Reducción de la Deriva: El método propuesto redujo significamente el error de localización en comparación con la odometría basada solo en LiDAR. Mientras que las trayectorias de solo LiDAR acumularon deriva con el tiempo, el método Cross-Fusion mantuvo la alineación con la referencia GPS aprovechando las correcciones visuales de la base de datos offline.
• Robustez frente al Estado del Arte: Al compararse con FAST-LIVO (un método de SLAM VIL fuertemente acoplado), Cross-Fusion mostró una precisión ligeramente inferior en condiciones normales. Sin embargo, demostró una robustez superior en escenarios extremos. Específicamente, cuando la tasa de fotogramas de la cámara se redujo a menos de 1 fps, FAST-LIVO falló en estimar la trayectoria debido a su dependencia del acoplamiento fuerte y el solapamiento continuo, mientras que Cross-Fusion mantuvo una localización estable.

Significancia y Reivindicaciones
El artículo afirma que Cross-Fusion ofrece una solución práctica para la "economía de baja altitud", específicamente para la inspección rutinaria de infraestructura en entornos sin GPS. Al aprovechar los levantamientos de referencia preexistentes (comunes en el monitoreo de salud estructural), el sistema cierra la brecha entre la simplicidad de la odometría de un solo sensor y la complejidad de los sistemas multisensores fuertemente acoplados.

Los autores reconocen modestamente las limitaciones: el sistema actualmente depende de una base de datos de imágenes recolectada previamente, lo que limita su uso en escenarios dinámicos donde el mapeo previo no es práctico. Se propone como trabajo futuro la integración de datos de múltiples sesiones online (por ejemplo, coordinando agentes terrestres y aéreos) para permitir la construcción de mapas en tiempo real sin depender únicamente de datos estáticos previos. El trabajo no pretende reemplazar todos los métodos de SLAM existentes, sino que proporciona un equilibrio entre precisión, robustez y simplicidad de hardware para casos de uso de inspección específicos.