PiLoT v2: Pixel-to-Orthogonal Map Alignment for Free-view UAV Geo-localization

Resumen Técnico: PiLoT v2

Declaración del Problema
La geolocalización sin deriva y en tiempo real para Vehículos Aéreos No Tripulados (UAV) es crítica para misiones autónomas en entornos con denegación de GNSS. Aunque el sistema pionero, PiLoT, logró una alta precisión alineando los flujos de video de los UAV con vistas renderizadas de mallas 3D pesadas (Registro Neural de Píxel a 3D), este enfoque sufre de cuellos de botella significativos en el despliegue. La dependencia de un almacenamiento masivo de mallas 3D (a menudo >10 GB), la adquisición de mapas complejos mediante fotogrametría oblicua y el renderizado en línea computacionalmente costoso dificultan severamente la ejecución en plataformas embebidas con recursos limitados. Además, las alternativas ligeras existentes que utilizan mapas 2.5D (Mapas de Ortofotografía Digital Verdadera - TDOMs, y Modelos Digitales de Superficie - DSMs) luchan contra la severa discrepancia geométrica entre las vistas de mapas ortogonales y las imágenes oblicuas de los UAV, fallando a menudo al no poder soportar la localización secuencial en tiempo real.

Metodología
PiLoT v2 propone un cambio de paradigma del registro "Píxel-a-3D" al alineamiento "Píxel-a-Mapa Ortogonal". El marco de trabajo opera mediante un pipeline de localización de doble hilo, pero reemplaza el módulo de renderizado intensivo de GPU por una operación de recorte de mapas altamente eficiente y amigable para la CPU.

1. Representación de Mapa Ligera: En lugar de mallas 3D, el sistema utiliza TDOMs (que proporcionan apariencia con referencia geográfica) y DSMs (que proporcionan altura métrica). Para una imagen de consulta dada, se recorta una vista de referencia local directamente de estos mapas basándose en un prior de pose (por ejemplo, la estimación del cuadro anterior o una corrección de GNSS gruesa).
2. Registro de Características de Vista Cruzada: Para cerrar la brecha geométrica entre los recortes ortogonales 2.5D y las imágenes oblicuas del UAV, los autores entrenan una red de registro de características utilizando un novedoso conjunto de datos sintéticos a gran escala. Este conjunto de datos, generado mediante AirSim–Cesium–Unreal Engine, proporciona anotaciones geométricas precisas para pares de oblicuo-ortogonal. La red emplea una arquitectura de codificador-decodificador ligera para extraer pirámides de características multiescala y mapas de incertidumbre, permitiendo un emparejamiento de características robusto a pesar de las diferencias drásticas de perspectiva.
3. Fusión de Multisensores: Para mitigar la degradación visual y la ambigüedad inherente a las referencias 2.5D (que carecen de textura de vista lateral), el sistema integra los priors de los sensores a bordo directamente en el manifold de optimización de la pose:
   • Gravedad de la IMU: Restringe la actitud del UAV (roll y pitch).
   • Rango Láser de Punto Único: Proporciona una medición directa de distancia a la superficie, anclando la pose al DSM y reduciendo la ambigüedad de profundidad.
4. Optimización: El sistema emplea un optimizador Levenberg-Marquardt (LM) de múltiples hipótesis. Muestrea múltiples hipótesis de pose en el espacio local $(x, y, \psi)$ para manejar errores de inicialización. Un proceso de grueso a fino minimiza una función objetivo conjunta que comprende residuales fotográficos (del emparejamiento de características de vista cruzada), residuales de la IMU y residuales de rango láser.

Contribuciones Clave

• Pipeline PiLoT v2: Un pipeline de geolocalización en tiempo real que reemplaza el costoso renderizado 3D con un ligero recorte de mapas TDOM+DSM, reduciendo drásticamente la sobrecarga de almacenamiento y computación mientras mantiene una estructura de doble hilo.
• Red de Vista Cruzada Robusta: Una red de registro de características entrenada en datos sintéticos a gran escala con anotaciones geométricas, que cierra efectivamente la brecha de modalidad entre los recortes de mapas ortogonales y las imágenes oblicuas de UAV con una fuerte generalización zero-shot.
• Integración de Priors de Sensores: La incorporación directa de los priors de dirección de gravedad y rango láser de punto único en el manifold de refinamiento de pose basado en LM para asegurar la robustez contra la degradación visual de vista cruzada.
• Construcción de Benchmark: Un benchmark exhaustivo de TDOM+DSM alineado con los conjuntos de datos de malla oblicua 3D existentes (SynthCity-6, UAVScenes, UAVD4L-2yr), facilitando la evaluación justa de métodos basados en mapas ligeros.

Resultados Experimentales
Los experimentos realizados en conjuntos de datos sintéticos y del mundo real demuestran que PiLoT v2 logra un rendimiento comparable, y en algunos casos superior, a los métodos basados en mallas 3D de última generación (incluyendo el PiLoT original y Render2Loc).

• Precisión: En el benchmark UAVD4L-2yr, PiLoT v2 logró un error de traslación mediano de 1.577 m y un error de rotación de 1.488°, superando al PiLoT original (1.600 m / 1.582°) a pesar de utilizar un prior de mapa significativamente más ligero.
• Eficiencia: El método opera a 17 FPS en una GPU RTX 5090, en comparación con los 28 FPS del PiLoT original (que utiliza renderizado más pesado), pero ofrece requisitos de almacenamiento drásticamente menores (472 MB frente a 19.5 GB para datos de mapa) y elimina la necesidad de renderizado GPU en línea.
• Robustez: El sistema logró cero Conteos de Recuperación de Fallos (FRC) en todos los benchmarks probados, lo que indica una estabilidad de nivel de secuencia superior en comparación con las líneas base que sufrieron deriva o fallos de inicialización.
• Ablación: Los estudios confirmaron que tanto los datos de entrenamiento de vista cruzada como la fusión de los priors de los sensores (gravedad y rango láser) son críticos para lograr alta precisión y estabilidad.

Significancia
El artículo afirma que PiLoT v2 hace avanzar la localización de UAV basada en visión en entornos con GNSS denegado o degradado al demostrar que los mapas 2.5D ligeros pueden servir como un sustituto efectivo de las pesadas referencias de malla 3D. Al cambiar el paradigma hacia el registro directo de píxel-a-mapa ortogonal y aprovechar los priors de los sensores a bordo, el trabajo proporciona una solución práctica para la geolocalización desplegable en el borde (edge) en tiempo real. Este enfoque equilibra precisión, robustez y eficiencia, ofreciendo un camino viable para operaciones de UAV autónomas donde los recursos de almacenamiento y computación son limitados.