SemCityLoc: Aerial 6DoF Localization Using Semantic 3D City Models

Sintesi Tecnica: SemCityLoc

Problematica
La localizzazione aerea a 6 gradi di libertà (6DoF) per i veicoli aerei non pilotati (UAV) è fondamentale per la navigazione urbana, l'ispezione e il digital twinning, particolarmente in ambienti privi di segnale GNSS. Gli approcci convenzionali si affidano tipicamente a segnali RTK-GNSS precisi o a ricostruzioni 3D radiometricamente ricche (ad esempio, mesh dense e testurizzate). Tuttavia, questi metodi affrontano significativi problemi di scalabilità, costi di memoria e computazionali elevati e preoccupazioni relative alla privacy in contesti urbani. Inoltre, le alternative basate su mappe esistenti spesso dipendono da ortofoto 2D o si affidano ad allineamenti basati su contorni sparsi con modelli edilizi astratti, che mancano di robustezza nei canyon urbani a corto raggio caratterizzati da facciate ripetitive, occlusioni e forti distorsioni prospettiche. La mancanza di benchmark standardizzati che combinino pose con precisione centimetrica, immagini a bassa quota e modelli semantici della città con Livello di Dettaglio (LoD) standardizzato ostacola ulteriormente una valutazione sistematica.

Metodologia: SemCityLoc
Gli autori propongono SemCityLoc, un sistema di allineamento semantico-geometrico che inquadra la stima della posa aerea come un registro di superfici strutturate. Inve al di là del matching di bordi sparsi o texture dense, il metodo allinea i priori visivi derivati da modelli di fondazione (segmentazione semantica e profondità monoculare) con modelli della città 3D leggeri e conformi allo standard LoD.

Il sistema opera tramite una strategia coarse-to-fine (da grossolana a raffinata):

1. Priori Percettivi: Un'immagine di query dell'UAV viene elaborata utilizzando un backbone DINOv3 congelato con un decoder DPT leggero per generare maschere di segmentazione semantica, e MoGe-2 per stimare una mappa di profondità monoculare. Questi modelli fungono da priori percettivi fissi.
2. Selezione della Posa Grossolana (Volume di Costo 4D): Dato un prior di posa iniziale, il sistema campiona uno spazio di ricerca 4D (traslazione $x, y, z$ e imbardata $\psi$, con rollio e beccheggio fissi). Per ogni posa candidata, vengono renderizzate le maschere semantiche dal modello della città LoD. Un volume di costo 4D viene costruito calcolando l'Intersection over Union (IoU) tra le maschere renderizzate e la maschera semantica dell'immagine di query. La posa che produce il massimo costo semantico viene selezionata come stima grossolana ($\xi_c$).
3. Raffinamento della Posa (Filtro a Particelle): Uno schema di ottimizzazione tramite filtro a particelle affina la stima grossolana. Esso genera ipotesi di posa perturbate attorno a $\xi_c$. Ogni ipotesi viene valutata utilizzando una funzione di costo congiunta che combina:
   • Costo Semantico: IoU tra le maschere semantiche renderizzate ad alta risoluzione e la maschera di query.
   • Costo di Profondità: Una perdita $L_1$ robusta tra la mappa di profondità di query e la mappa di profondità renderizzata, allineata tramite parametri di scala globale e shift.
     Le particelle vengono aggiornate iterativamente per convergere sulla posa 6DoF finale ($\xi^*$).

Contributi Chiave

1. Localizzazione Semantico-Geometrica: Il documento introduce un metodo che riformula la localizzazione aerea come un registro di superfici strutturate. Sfruttando le classi di superficie semantiche (ad esempio, tetti, pareti) insieme alla struttura geometrica, l'approccio aumenta la discriminabilità della posa in ambienti urbani ripetitivi e occlusi, evitando la necessità di ricostruzioni radiometriche dense.
2. Benchmark SemCityLockeD: Gli autori presentano SemCityLockeD, il primo benchmark del mondo reale progettato per una valutazione rigorosa in questo contesto. Esso accoppia pose di UAV con precisione centimetrica (derivate da RTK-GNSS, IMU e GCP) con modelli della città semantici standardizzati LoD1–LoD3 e immagini sfidanti a bassa quota (circa 75 m) in canyon urbani densi. Il dataset include 962 immagini e supporta la valutazione sistematica attraverso diversi livelli di astrazione geometrica.
3. Valutazione Estensiva: Il metodo è valutato su SemCityLockeD e su benchmark esistenti (UAVD4L-LoD, Swiss-EPFL), dimostrando miglioramenti costanti rispetto agli approcci basati su mappe allo stato dell'arte.

Risultati
Gli esperimenti sul benchmark SemCityLockeD dimostrano sostanziali guadagni di prestazioni:

• Recall: Alla soglia rigorosa di 2 m – 2°, SemCityLoc raggiunge una recall del 69,15%, quasi raddoppiando il 35,11% ottenuto dalla baseline LoD-Loc. La recall migliora all'84,04% (3 m – 3°) e all'89,36% (5 m – 5°).
• Riduzione dell'Errore: L'errore posizionale medio è ridotto da 9,89 m (LoD-Loc) a 2,62 m, e l'errore medio di imbardata diminuisce da 1,78° a 0,42°.
• Ablazione: Sia la selezione semantica grossolana che le fasi di raffinamento semantico-profondità sono mostrate come complementari e critiche per una stima stabile.
• Generalizzazione: Il metodo mantiene prestazioni competitive o superiori su altri benchmark (UAVD4L-LoD, Swiss-EPFL), inclusi scenari "out-of-trajectory" e "out-of-place", indicando robustezza rispetto a spostamenti di traiettoria e variazioni di densità strutturale.
• Efficienza: Il sistema converge più velocemente delle baseline di addestramento da zero (LoD-Loc) grazie all'uso di modelli di fondazione pre-addestrati e di un obiettivo basato su IoU, raggiungendo un tempo di esecuzione sub-secondario (0,878 s per immagine) adatto all'implementazione online.

Significatività
Il documento sostiene che i modelli della città 3D semanticamente strutturati forniscono vincoli sufficienti e scalabili per una localizzazione aerea ad alta precisione senza richiedere ricostruzioni radiometriche della scena. Passando dal matching basato su bordi al registro di superfici strutturate, l'approccio affronta i limiti degli attuali sistemi basati su mappe nei difficili canyon urbani. L'introduzione di SemCityLockeD colma una lacuna critica nella letteratura fornendo un benchmark del mondo reale standardizzato con ground truth ad alta accuratezza e definizioni LoD standardizzate, consentendo una valutazione più affidabile dei futuri sistemi di localizzazione aerea. Il lavoro suggerisce che la combinazione di moderni priori visivi con dati geospaziali standardizzati sia una direzione promettente per la localizzazione UAV di prossima generazione, scalabile e rispettosa della privacy.