SemCityLoc: Aerial 6DoF Localization Using Semantic 3D City Models

Technische Samenvatting: SemCityLoc

Probleemstelling
Luchtwaardige 6DoF-lokalisatie (zes vrijheidsgraden) voor Unmanned Aerial Vehicles (UAV's) is cruciaal voor navigatie in stedelijke gebieden, inspecties en digitale tweelingen, met name in omgevingen waar GNSS-signalen ontbreken. Conventionele benaderingen vertrouwen doorgaans op nauwkeurige RTK-GNSS-signalen of radiometrisch rijke 3D-reconstructies (bijv. dichte getextureerde meshes). Deze methoden kampen echter met aanzienlijke schaalbaarheidsproblemen, hoge geheugen- en rekenkosten en privacyzorgen in stedelijke contexten. Bov�els voldoen de bestaande kaartgebaseerde alternatieven vaak niet aan de eisen van 2D-orthofoto's of vertrouwen ze op ijle contourgebaseerde uitlijning met abstracte gebouwmodellen, wat een gebrek aan robuustheid oplevert in nabije stedelijke canyons die worden gekenmerkt door repetitieve gevels, occlusies en sterke perspectivische vervormingen. Een gebrek aan gestandaardiseerde benchmarks die centimeternauwkeurige poses, beelden op lage hoogte en gestandaardiseerde Level of Detail (LoD) semantische stadmodellen combineren, belemmert bovendien systematische evaluatie.

Methodologie: SemCityLoc
De auteurs stellen SemCityLoc voor, een semantisch-geometrisch uitlijningssysteem dat luchtwaardige pose-estimatie herformuleert als gestructureerde oppervlakteregistratie. In plaats van ijle randen of dichte texturen te matchen, stemt de methode visuele priors af die zijn afgeleid van foundation-modellen (semantische segmentatie en monoculaire diepte) met lichtgewicht, gestandaardiseerde, aan LoD voldoende 3D-stadmodellen.

Het systeem werkt via een coarse-to-fine strategie:

1. Perceptuele Priors: Een query-afbeelding van de UAV wordt verwerkt met een bevroren DINOv3-backbone met een lichtgewicht DPT-decoder om semantische segmentatiemaskers te genereren, en MoGe-2 om een monoculaire dieptekaart te schatten. Deze modellen dienen als vaste perceptuele priors.
2. Coarse Pose Selectie (4D Cost Volume): Gegeven een initiële pose-prior, samplet het systeem een 4D-zoekruimte (translatie $x, y, z$ en yaw $\psi$, waarbij roll en pitch vaststaan). Voor elke kandidaat-pose worden semantische maskers gerenderd vanuit het LoD-stadmodel. Een 4D-cost volume wordt geconstrueerd door de Intersection over Union (IoU) te berekenen tussen de gerenderde maskers en het semantische masker van de query-afbeelding. De pose die de maximale semantische kosten oplevert, wordt geselecteerd als de grove schatting ($\xi_c$).
3. Pose Verfijning (Particle Filter): Een particle filter optimalisatieschema verfijnt de grove schatting. Het genereert geperturbeerde pose-hypothesen rondom $\xi_c$. Elke hypothese wordt gescoord met behulp van een gezamenlijke kostenfunctie die een combinatie vormt van:
   • Semantische Kosten: IoU tussen hoog-resolutie gerenderde semantische maskers en het query-masker.
   • Diepte Kosten: Een robuuste $L_1$-loss tussen de query-dieptekaart en de gerenderde dieptekaart, uitgelijnd via globale schaal- en verschuivingsparameters.
     De deeltjes (particles) worden iteratief bijgewerkt om te convergeren naar de uiteindelijke 6DoF-pose ($\xi^*$).

Belangrijkste Bijdragen

1. Semantisch-Geometrische Lokalisatie: Het artikel introduceert een methode die luchtwaardige lokalisatie herformuleert als gestructureerde oppervlakte-uitlijning. Door gebruik te maken van semantische oppervlakteklassen (bijv. daken, muren) naast geometrische structuur, vergroot de aanpak de pose-onderscheidbaarheid in repetitieve en geoccludeerde stedelijke omgevingen, zonder de noodzaak van dichte radiometrische reconstructies.
2. SemCityLockeD Benchmark: De auteurs presenteren SemCityLockeD, de eerste real-world benchmark die is ontworpen voor rigoureuze evaluatie in deze setting. Het koppelt centimeternauwkeurige UAV-poses (afgeleid van RTK-GNSS, IMU en GCP's) aan gestandaardiseerde LoD1–LoD3 semantische stadmodellen en uitdagende beelden op lage hoogte (ca. 75 m) in dichte stedelijke canyons. De dataset bevat 962 afbeeldingen en ondersteunt systematische evaluatie over verschillende niveaus van geometrische abstractie.
3. Uitgebreide Evaluatie: De methode wordt geëvalueerd op SemCityLockeD en bestaande benchmarks (UAVD4L-LoD, Swiss-EPFL), waarbij consistente verbeteringen worden aangetoond ten opzichte van state-of-the-art kaartgebaseerde benaderingen.

Resultaten
Experimenten op de SemCityLockeD benchmark tonen substantiële prestatiewinsten aan:

• Recall: Bij de strikte 2m–2° drempel bereikt SemCityLoc een recall van 69,15%, wat bijna het dubbele is van de 35,11% behaald door de LoD-Loc baseline. De recall verbetert naar 84,04% (3m–3°) en 89,36% (5m–5°).
• Foutreductie: De gemiddelde positiefout wordt verminderd van 9,89 m (LoD-Loc) naar 2,62 m, en de gemiddelde yaw-fout daalt van 1,78° naar 0,42°.
• Ablatie: Zowel de grove semantische selectie als de semantisch-diepte verfijningsfasen blijken complementair en cruciaal voor stabiele schatting.
• Generalisatie: De methode behoudt een concurrerende of superieure prestatie op andere benchmarks (UAVD4L-LoD, Swiss-EPFL), inclusief in "out-of-trajectory" en "out-of-place" scenario's, wat wijst op robuustheid tegen trajectverschuivingen en variërende structurele dichtheden.
• Efficiëntie: Het systeem convergeert sneller dan baselines die vanaf nul worden getraind (LoD-Loc) dankzij het gebruik van voorgetrainde foundation-modellen en een IoU-gebaseerde doelstelling, waarbij een runtime van minder dan een seconde (0,878 s per afbeelding) wordt behaald, wat geschikt is voor online inzet.

Betekenis
Het artikel stelt dat semantisch gestructureerde 3D-stadmodellen voldoende en schaalbare beperkingen bieden voor hoog-precieze luchtwaardige lokalisatie zonder dat daar radiometrische scènereconstructies voor nodig zijn. Door de verschuiving van randgebaseerde matching naar gestructureerde oppervlakteregistratie, adresseert de aanpak de beperkingen van huidige kaartgebaseerde systemen in uitdagende stedelijke canyons. De introductie van SemCityLockeD vult een kritiek gat in de literatuur door een gestandaardiseerde, real-world benchmark te bieden met hoge-accuraatheid grondwaarheid en gestandaardiseerde LoD-definities, wat een meer betrouwbare evaluatie van toekomstige luchtwaardige lokalisatiesystemen mogelijk maakt. Het werk suggereert dat de combinatie van moderne visuele priors met gestandaardiseerde geospatiale data een veelbelovende richting is voor de volgende generatie privacy-bewuste en schaalbare UAV-lokalisatie.