Technische Samenvatting: SKYPART

Probleemstelling

Cross-view geo-localisatie (CVGL) heeft tot doel een schuine drone-opname te koppelen aan een geo-referentie satellietbeeld, en fungeert als een kritieke back-up voor autonome drones wanneer Global Navigation Satellite Systems (GNSS) worden verstoord, gespoofd of niet beschikbaar zijn. Ondanks recente vooruitgang ondervinden bestaande CVGL-methode drie aanhoudende beperkingen:

1. Compressie van globale beschrijvers: Huidige benaderingen comprimeren het patch-rooster tot één enkele vector, waardoor ze niet in staat zijn om het gedeelde ruimtelijke lay-out (invariant over kijkhoekverschillen) te scheiden van de textuur (zeer variabel).
2. Altitude als storende variabele: Hoogtegerelateerde schaalvariaties worden impliciet behouden in de geleerde embeddings in plaats van te worden gemarginaliseerd als een storende variabele, wat leidt tot instabiliteit tijdens inferentie wanneer altitude-metagegevens ontbreken.
3. Meerdere doelen in training: Training vertrouwt op handmatig afgestelde scalair gewichten voor verliezen die opereren op incompatibele gradiëntschalen, wat suboptimaal is voor het balanceren van concurrerende doelen.

Bovendien hebben deze methoden vaak moeite onder ernstige weerscorrupties (mist, sneeuw, duisternis) waar textuursignalen verslechteren, waardoor de ruimtelijke structuur het enige betrouwbare signaal overhoudt.

Methodologie: SKYPART

De auteurs stellen SKYPART voor, een lichtgewicht, uitwisselbare kop voor op patches gebaseerde Vision Transformers (ViTs) die CVGL herformuleert als een lay-outgerichte factorisatieprobleem. De kernhypothese is dat lay-outsignalen (wegen, daken, vegetatievlekken) stabieler zijn dan textuur onder veranderingen in kijkhoek, belichting en sensor.

Architectuur

SKYPART werkt op een gedeelde op patches gebaseerde encoder (DINOv2 ViT-S/14) en bestaat uit vier belangrijke componenten die zijn gebaseerd op gevestigde theorie:

1. Prototype-gebaseerde ontdekking van onderdelen:

   • In plaats van globale pooling hanteert SKYPART een bank van $K_{max}=12$ leerbare prototypes.
   • Een single-pass cosine-toewijzingsmodule laat patch-tokens concurreren om deze prototypes. In tegenstelling tot iteratieve slot-attention, maakt dit gebruik van een vastpunt-toewijzing die voldoende is voor zoekopdrachten.
   • Een per-image salientiegoot (Gumbel-sigmoid) selecteert een actief subset van prototypes ($K \approx 10$) specifiek voor het tafereel, waarbij irrelevante exemplaren worden uitgezet (bijv. "water"-prototypes in stedelijke scènes).

2. Drie-weg fusie:
   De zoekembeddings is een geleerde fusie van drie takken:

   • Globale tak: Behoudt het CLS-token ($f_{cls}$) voor globale context.
   • Onderdeel-tak: Poolt salientie-gewogen onderdeelbeschrijvers ($f_{part}$) die componentidentiteiten vertegenwoordigen.
   • Grafiek-tak: Past een twee-laags Graph Attention Network (GAT) toe op actieve prototypenodes om de ruimtelijke rangschikking te vangen ($f_{graph}$).
   • Een lichtgewicht gating-MLP leert niet-negatieve gewichten om deze te combineren tot een 768-D embedding: $f = \text{L2Norm}(w_p f_{part} + w_c f_{cls} + w_g f_{graph})$.

3. Altitude-geconditioneerde modulatie (FiLM):

   • Tijdens training conditioneert Feature-wise Linear Modulation (FiLM) het clusteringpad op altitude-bins.
   • Cruciaal, tijdens inferentie, worden altitude-specifieke parameters vervangen door hun gemarginaliseerde gemiddelde. Dit zorgt ervoor dat de uiteindelijke embedding altitude-vrij is, waarbij altitude wordt behandeld als een storende variabele die moet worden gemarginaliseerd in plaats van als een kenmerk dat moet worden gecodeerd.

4. GEOPARTLOSS (Meerdere doelen optimalisatie):
   Het model wordt end-to-end getraind met een nieuwe verliesfunctie die vier doelen combineert via Kendall homoscedastische onzekerheidsgewichting:

   • Uitlijning: Circle loss, proxy-anchor en InfoNCE toegepast op de gefuseerde embedding.
   • Kwaliteit van onderdelen: Masked Part Reconstruction (MAR) en regularisatie voor prototype-diversiteit om ervoor te zorgen dat prototypes verschillende semantische gebieden bestrijken.
   • Distillatie: Uitlijning naar een bevroren DINOv2 ViT-B/14 leraar en een EMA zelf-ensemble.
   • Altitude: SmoothL1-regressie op genormaliseerde altitude (alleen actief wanneer metadata beschikbaar is).
   • De gewichten worden automatisch geleerd ($\exp(-s_g)$), wat garandeert dat stationaire punten van het verlies Pareto-stationair zijn voor de vector-doelstelling, waardoor handmatige scalair afstemming overbodig wordt.

Belangrijkste Bijdragen

• Architecturale Herformulering: Verschuift CVGL van compressie van globale beschrijvers naar expliciete prototypegroepering, waarbij identiteit (onderdelen) wordt gescheiden van rangschikking (lay-out).
• Marginalisatie van storende variabelen: Introduceert een FiLM-mechanisme tijdens training dat het model toelaat altitude-bewuste kenmerken te leren terwijl het altitude-invariante embeddings produceert tijdens inferentie.
• Training met onzekerheidsgewichting: Implementeert een multi-objectieve loss (GEOPARTLOSS) die automatisch uitlijning, kwaliteit van onderdelen, distillatie en altitude-regressie balanceren zonder handmatig afgestelde hyperparameters.
• Efficiëntie: SKYPART is een lichtgewicht module (26,95 M parameters, 22,14 GFLOPs) die werkt in één enkele forward pass zonder opnieuw te rangschikken, augmentatie tijdens testtijd (TTA) of query-uitbreiding.

Experimentele Resultaten

SKYPART werd geëvalueerd op SUES-200, University-1652 en DenseUAV onder een strikt single-pass protocol (geen opnieuw rangschikken, geen TTA).

• State-of-the-Art Prestaties: SKYPART stelt nieuwe records op alle drie de datasets. Op SUES-200 bereikt het een gemiddelde R@1 van 98,74% (Drone→Satelliet) en 100,00% (Satelliet→Drone), en presteert het beter dan grotere baselines (bijv. CAMP, MEAN) ondanks aanzienlijk minder parameters.
• Weerbestendigheid: Onder de WeatherPrompt-benchmark (10 weerscorrupties) toont SKYPART superieure robuustheid. Het behoudt hoge nauwkeurigheid onder gecombineerde storingen zoals mist+sneeuw en duisternis, waar baselines op globale beschrijvers instorten. De nauwkeurigheidskloof met de sterkste baseline verbreedt onder deze omstandigheden, wat de lay-outgerichte benadering valideert.
• Zero-Shot Transfer: Bij een zero-shot transfer van University-1652 naar SUES-200 leidt SKYPART in de richting Drone→Satelliet, wat suggereert dat de geleerde structurele groepering beter generaliseert over datasets dan textuurgebaseerd memoriseren.
• Ablatiestudies:
  • Het verwijderen van de uitlijningsgroep veroorzaakt een catastrofale storing, wat bevestigt dat deze de primaire drager van het signaal is.
  • Het verwijderen van de onderdeel- of grafiektakken verslechtert de prestaties, waarbij de grafiektak het meest kritiek is onder zware weersomstandigheden (mist+sneeuw), wat de waarde van lay-outinformatie bevestigt wanneer textuur is gecorrumpeerd.
  • De salientiegoot biedt een winst van ongeveer 2% ten opzichte van het gebruik van alle prototypes, wat de waarde van per-image adaptiviteit bewijst.

Betekenis en Claims

Het artikel stelt dat SKYPART een verschuiving vertegenwoordigt in de CVGL-ontwerpphilosophie: in plaats van te vertrouwen op steeds grotere globale beschrijvers of complexe wrappers tijdens inferentie, wordt robuuste localisatie bereikt door textuur expliciet uit te schakelen en ruimtelijke lay-out te behouden.

• Robuustheid: Het vermogen van de methode om prestaties te handhaven onder weerscorrupties en variërende altitudes zonder metadata tijdens inferentie, maakt het geschikt voor real-world drone-operaties zonder GPS.
• Efficiëntie: Het bereikt state-of-the-art resultaten met een fractie van de parameters en rekenkracht van best presterende baselines, waardoor het inzetbaar is op systemen aan boord met beperkte middelen.
• Theoretische Grondslag: De aanpak is gebaseerd op informatie-bottlenecktheorie en Pareto-optimalisatie, en biedt een principiële alternatief voor heuristische multi-task training.

De auteurs wijzen op beperkingen, waaronder dat generalisatie over continenten nog niet is getest buiten specifieke zero-shot experimenten en dat de prototype-toewijzingen niet menselijk interpreteerbaar zijn. Zij erkennen ook het risico van dubbel gebruik voor onbevoegde surveillance en raden privacybeveiligingen aan voor implementatie.