SemCityLoc: Aerial 6DoF Localization Using Semantic 3D City Models

Resumen Técnico: SemCityLoc

Planteamiento del Problema
La localización aérea de 6 grados de libertad (6DoF) para Vehículos Aéreos No Tripulados (UAV) es crítica para la navegación urbana, la inspección y la creación de gemelos digitales, particularmente en entornos con denegación de GNSS. Los enfoques convencionales dependen típicamente de señales RTK-GNSS precisas o de reconstrucciones 3D radiométricamente ricas (por ejemplo, mallas densas texturizadas). Sin embargo, estos métodos enfrentan problemas significivos de escalabilidad, altos costos de memoria y computación, y preocupaciones de privacidad en entornos urbanos. Además, las alternativas basadas en mapas existentes suelen depender de ortofotos 2D o dependen de un alineamiento basado en contornos dispersos con modelos de edificios abstractos, lo que carece de robustez en cañones urbanos de corto alcance caracterizados por fachadas repetitivas, oclusiones y fuertes distorsiones de perspectiva. La falta de benchmarks estandarizados que combinen poses con precisión de centímetros, imágenes de baja altitud y modelos de ciudades semánticos con Niveles de Detalle (LoD) estandarizados dificulta aún más la evaluación sistemática.

Metodología: SemCityLoc
Los autores proponen SemCityLoc, un sistema de alineamiento semántico-geométrico que redefine la estimación de la pose aérea como un registro de superficies estructuradas. En lugar de emparejar bordes dispersos o texturas densas, el método alinea priors visuales derivados de modelos fundacionales (segmentación semántica y profundidad monocular) con modelos de ciudades 3D ligeros y conformes al estándar LoD.

El sistema opera mediante una estrategia de grueso a fino (coarse-to-fine):

1. Priors Perceptuales: Una imagen de consulta del UAV se procesa utilizando un backbone DINOv3 congelado con un decodificador DPT ligero para generar máscaras de segmentación semántica, y MoGe-2 para estimar un mapa de profundidad monocular. Estos modelos sirven como priors perceptuales fijos.
2. Selección de Pose Gruesa (Volumen de Costo 4D): Dado un prior de pose inicial, el sistema muestrea un espacio de búsqueda 4D (traslación $x, y, z$ y yaw $\psi$, con roll y pitch fijos). Para cada pose candidata, se renderizan máscaras semánticas del modelo de ciudad LoD. Se construye un volumen de costo 4D calculando la Intersección sobre Unión (IoU) entre las máscaras renderizadas y la máscara semántica de la imagen de consulta. La pose que genera el máximo costo semántico se selecciona como la estimación gruesa ($\xi_c$).
3. Refinamiento de Pose (Filtro de Partículas): Un esquema de optimización de filtro de partículas refina la estimación gruesa. Este genera hipótesis de pose perturbadas alrededor de $\xi_c$. Cada hipótesis se califica mediante una función de costo conjunta que combina:
   • Costo Semántico: IoU entre las máscas semánticas renderizadas de alta resolución y la máscara de la consulta.
   • Costo de Profundidad: Una pérdida $L_1$ robusta entre el mapa de profundidad de la consulta y el mapa de profundidad renderizado, alineado mediante parámetros de escala y desplazamiento global.
     Las partículas se actualizan iterativamente para converger en la pose final de 6DoF ($\xi^*$).

Contribuciones Clave

1. Localización Semántico-Geométrica: El artículo introduce un método que reformula la localización aérea como un registro de superficies estructuradas. Al aprovechar clases de superficies semánticas (por ejemplo, techos, paredes) junto con la estructura geométrica, el enfoque aumenta la discriminabilidad de la pose en entornos urbanos repetitivos y ocluidos, evitando la necesidad de reconstrucciones radiométricas densas.
2. Benchmark SemCityLockeD: Los autores presentan SemCityLockeD, el primer benchmark del mundo real diseñado para una evaluación rigurosa en este entorno. Este empareja poses de UAV con precisión de centímetros (derivadas de RTK-GNSS, IMU y GCPs) con modelos de ciudades semánticos estandarizados LoD1–LoD3 e imágenes desafiantes de baja altitud (aprox. 75 m) en cañones urbanos densos. El conjunto de datos incluye 962 imágenes y soporta la evaluación sistemática a través de diferentes niveles de abstracción geométrica.
3. Evaluación Extensa: El método se evalúa en SemCityLockeD y en benchmarks existentes (UAVD4L-LoD, Swiss-EPFL), demostrando mejoras consistentes sobre los enfoques basados en mapas de última generación.

Resultos
Los experimentos en el benchmark SemCityLockeD demuestran ganancias sustanciales de rendimiento:

• Recall: En el umbral estricto de 2 m – 2°, SemCityLoc logra un recall del 69.15%, casi duplicando el 35.11% logrado por la línea base LoD-Loc. El recall mejora al 84.04% (3 m – 3°) y al 89.36% (5 m – 5°).
• Reducción de Error: El error de posición medio se reduce de 9.89 m (LoD-Loc) a 2.62 m, y el error de yaw medio disminuye de 1.78° a 0.42°.
• Ablación: Se demuestra que tanto la selección semántica gruesa como las etapas de refinamiento semántico-profundidad son complementarias y críticas para una estimación estable.
• Generalización: El método mantiene un rendimiento competitivo o superior en otros benchmarks (UAVD4L-LoD, Swiss-EPFL), incluyendo escenarios de "fuera de trayectoria" (out-of-trajectory) y "fuera de lugar" (out-of-place), lo que indica robustez ante cambios de trayectoria y variaciones en la densidad estructural.
• Eficiencia: El sistema converge más rápido que las líneas base de entrenamiento desde cero (LoD-Loc) debido al uso de modelos fundacionales preentrenados y un objetivo basado en IoU, logiendo un tiempo de ejecución sub-segundo (0.878 s por imagen) adecuado para el despliegue en línea.

Significancia
El artículo afirma que los modelos de ciudades 3D semánticamente estructurados proporcionan restricciones suficientes y escalables para la localización aérea de alta precisión sin requerir reconstrucciones de escenas radiométricas. Al cambiar del emparejamiento de bordes al registro de superficies estructuradas, el enfoque aborda las limitaciones de los sistemas actuales basados en mapas en cañones urbanos desafiantes. La introducción de SemCityLockeD llena un vacío crítico en la literatura al proporcionar un benchmark del mundo real estandarizado con alta precisión de verdad de campo (ground truth) y definiciones de LoD estandarizadas, permitiendo una evaluación más confiable de futuros sistemas de localización aérea. El trabajo sugiere que combinar priors de visión modernos con datos geoespaciales estandarizados es una dirección prometedora para la próxima generación de sistemas de localización de UAV que preserven la privacidad y sean escalables.