SATGround: A Spatially-Aware Approach for Visual Grounding in Remote Sensing

Probleemstelling

De snelle groei van aardobservatietechnologieën heeft geleid tot een enorme toename aan hoogwaardige satellietbeelden. Het extraheren van bruikbare inzichten uit deze data vereist schaalbare machine learning-modellen. Hoewel Vision-Language Models (VLMs) veelbelovend zijn voor multi-modale taken, hebben bestaande methoden voor visuele grounding (het koppelen van tekstuele beschrijvingen aan specifieke locaties in een afbeelding) in de remote sensing-sector aanzienlijke beperkingen:

1. Gebrek aan geometrische structuur: Bestaande VLMs behandelen bounding box-coördinaten vaak als gewone tekst (tekstuele representatie van nummers). Dit benut de inherente ruimtelijke relaties en geometrie niet optimaal.
2. Spatiale onnauwkeurigheid: Zonder een expliciete ruimtelijke metriek hebben modellen moeite met begrip van nabijheid en zijn ze minder robuust tegen kleine verstoringen of distributieveranderingen.
3. Oriëntatieproblemen: In satellietbeelden kunnen objecten in willekeurige hoeken voorkomen. Standaard, as-gealigneerde bounding boxes zijn vaak ongeschikt, terwijl veel bestaande modellen geen rekening houden met rotatie.

Methodologie: SATGround

SATGround introduceert een nieuwe, ruimtelijk bewust (spatially-aware) grounding-mechanisme dat een voorgeïmplementeerde VLM combineert met een gespecialiseerd localisatiemodule. De kern van de aanpak is het scheiden van taalgeneratie en ruimtelijke regressie via een gestructureerde interface.

1. Gestructureerde Visual Grounding:
In plaats van coördinaten als tekst te genereren, gebruikt SATGround twee speciale control tokens:

• <bb>: Geeft aan dat een bounding box volgt.
• <loc>: Een token dat latent features bevat die direct worden gebruikt voor het voorspellen van coördinaten.
  Dit zorgt voor een duidelijke scheiding van verantwoordelijkheden: het taalmodel genereert de tekst, terwijl een dedicated module de ruimtelijke data regresseert.

2. Architectuur:

• Backbone: Een voorgeïmplementeerde VLM (gebaseerd op LLaVA-architectuur) met een bevroren visuele encoder (ViT) en een trainbare projector.
• Dual-Output: Het model wordt gefinetuned om zowel tekstuele antwoorden als <loc>-features te genereren.
• Grounding Module: Een eenvoudige, trainbare MLP (Multi-Layer Perceptron) die de latent features van de <loc>-tokens omzet in de uiteindelijke bounding box-coördinaten.
• Training: Het model wordt getraind met een gecombineerde loss-functie:
  • Cross-entropy loss voor tekstgeneratie.
  • Grounding loss (regressie) voor de bounding box-coördinaten.
  • De <loc>-tokens worden gemaskeerd tijdens de cross-entropy berekening, maar hun features worden gebruikt voor de regressie.

3. Oriëntatie en Matching:

• Oriënted Bounding Boxes (OBB): Omdat objecten in satellietbeelden vaak schuin staan, worden bounding boxes gemodelleerd als een 5-tuple: $(x_1, y_1, x_2, y_2, \theta)$, waarbij $\theta$ de rotatiehoek is. De waarden worden genormaliseerd en via een sigmoid-activatie beperkt tot een geldig bereik.
• Groepeerde Bipartiete Matching: Om semantische fouten te voorkomen (bijv. een "basketbalveld" koppelen aan een "tennisbaan" puur op basis van ruimtelijke nabijheid), worden voorspelde bounding boxes gegroepeerd op basis van hun volgorde in de gegenereerde tekst. Binnen elke groep wordt de Hungarian-algoritme toegepast om de optimale 1-op-1 matching tussen voorspellingen en ground truth te vinden.

Belangrijkste Bijdragen

1. SATGround Framework: Een nieuwe, ruimtelijk bewust localisatietechniek specifiek ontworpen voor aardobservatie-data.
2. Gestructureerde Interface: Het introduceren van speciale tokens (<bb>, <loc>) die de VLM koppelen aan een dedicated localisatiemodule, waardoor taal en ruimtelijke redenering effectief worden geïntegreerd zonder de taalcapaciteiten te verstoren.
3. State-of-the-Art Prestaties: Het bereiken van significante verbeteringen op meerdere remote sensing-benchmarks door het combineren van instructie-following met expliciete geometrische modellering.

Resultaten

SATGround is geëvalueerd op diverse benchmarks, waaronder GeoChat, EarthDial, NWPU VHR-10 en andere datasets voor objectdetectie en VQA.

• Visuele Grounding: Het model behaalde een 33,2% relatieve verbetering in visual grounding prestaties ten opzichte van de huidige state-of-the-art (EarthDial). Op de GeoChat-testset steeg de nauwkeurigheid naar 24,4% (tegenover 18,6% voor EarthDial).
• Zero-Shot Generalisatie: Het model presteerde superieur op ongezette datasets (zoals NWPU VHR-10 en Zwembad-detectie), wat aantoont dat de geleerde ruimtelijke redenering goed generaliseert.
• Gestuurde Beschrijving: Bij de taak "grounding description" (het genereren van tekst én bounding boxes) overtrof SATGround baselines op tekstuele kwaliteitsmetrieken (ROUGE, METEOR) en localisatie-nauwkeurigheid.
• VQA: De prestaties op Visual Question Answering (VQA) bleven robuust en competitief, wat bewijst dat de toegevoegde ruimtelijke modulatie de fundamentele redeneercapaciteiten van de VLM niet schaadt.
• Ablatie-studies: Deze bevestigden dat de twee-token-ontwerp, de gebruikte Hungarian matching binnen groepen, en de expliciete modellering van rotatie (OBB) cruciaal zijn voor de hoge prestaties.

Betekenis en Impact

SATGround markeert een belangrijke stap vooruit in de toepassing van Vision-Language Models op satellietbeelden. Door de beperkingen van tekstuele representaties van coördinaten te overwinnen en expliciete geometrische redenering in te bouwen, biedt het een betrouwbaarder en nauwkeuriger oplossing voor real-world analyse van aardobservatie-data. De methode maakt het mogelijk om complexe instructies in natuurlijke taal te vertalen naar precieze ruimtelijke lokalisaties, wat essentieel is voor toepassingen zoals rampenbestrijding, voedselzekerheid en stedelijke groei-analyse. De code wordt na acceptatie openbaar gemaakt, wat de adoptie en verdere ontwikkeling in de gemeenschap zal stimuleren.