DiffuSAM: Diffusion Guided Zero-Shot Object Grounding for Remote Sensing Imagery

Probleemstelling

Het doel van objectlokalizatie in remote sensing (satelliet- en luchtfoto's) is het nauwkeurig identificeren en lokaliseren van objecten zoals gebouwen, voertuigen en wegen. Traditionele methoden vereisen grote, handmatig geannoteerde datasets, wat kostbaar en tijdrovend is. Bovendien hebben modellen die op specifieke datasets zijn getraind vaak moeite met generalisatie naar verschillende geografische regio's of opnamecondities (zoals mist of lage contrasten). Er is dus behoefte aan data-efficiënte, zero-shot benaderingen die zonder taakspecifiek training nauwkeurige resultaten kunnen leveren. Bestaande foundation-modellen zoals SAM3 (Segment Anything Model 3) en RemoteSAM bieden sterke segmentatie, maar missen soms de contextuele precisie die nodig is voor complexe scènes in satellietbeelden.

Methodologie: DiffuSAM

De auteurs stellen DiffuSAM voor, een hybride pijplijn die de krachten van generatieve diffusiemodellen combineert met geavanceerde segmentatiemodellen om tekstgestuurde objectlokalizatie te realiseren. De pijplijn bestaat uit de volgende stappen:

1. Pre-processing:

   • Om de kwaliteit van satellietbeelden te verbeteren (die vaak last hebben van mist, lage contrasten en atmosferische verstoring), wordt het beeld omgezet naar de CIELAB-kleerruimte.
   • Er wordt CLAHE (Contrast-Limited Adaptive Histogram Equalization) toegepast op de luminantie-kanaal om lokale contrasten te verhogen zonder ruis te versterken.
   • Vervolgens wordt het beeld teruggeconverteerd naar RGB en wordt unsharp masking toegepast om de scherpte van randen te vergroten.
   • De natuurlijke taal-query wordt herschreven door een klein LLM (Qwen3-8b) om irrelevante instructies te verwijderen die de model kunnen misleiden.

2. Diffusie-gebaseerde Lokalizatie:

   • Het model Qwen-Image-Edit (een diffusiemodel) wordt gebruikt om een ruwe schatting van de objectlocatie te genereren.
   • Op basis van de tekstuele prompt en het ingevoerde beeld genereert het model een bewerkte versie waarin het beschreven object is gemarkeerd met een rode omlijndingsbox. Dit zet de tekstuele beschrijving om in een ruimtelijke aanwijzing zonder extra training.

3. Initiële Segmentatie met SAM3:

   • Het bewerkte beeld met de rode boxen wordt doorgegeven aan SAM3.
   • SAM3 genereert segmentatiemaskers die beperkt zijn tot de gemarkeerde gebieden, wat resulteert in initiële, ruwe bounding boxes.

4. Adaptieve Verfijning (Adaptive Refinement Strategy):

   • De tekstuele prompt wordt aangepast door directionele termen (zoals "links" of "rechts") te verwijderen, aangezien deze impliciet in het ingeknipte beeld zitten.
   • Het beeldgebied binnen de initiële box wordt ingeknipt en onafhankelijk verwerkt.
   • De pijplijn kiest dynamisch tussen twee modellen op basis van de grootte van het ingeknipte gebied (bepaald door een hyperparameter $p$, empirisch ingesteld op 10%):
     • RemoteSAM: Wordt gebruikt voor grote gebieden (> $p$% van het origineel). Deze is getraind op satellietbeelden en is beter geschikt voor complexe scènes met meerdere objecten of veel achtergrondcontext.
     • SAM3: Wordt gebruikt voor kleine gebieden. Deze levert fijnere, nauwkeurigere segmentatie voor precieze lokale objecten.
   • Er is een fallback-mechanisme: als het geselecteerde model geen geldig masker produceert, wordt het alternatief geprobeerd. Lukt dit ook niet, dan wordt de originele diffusie-box als eindresultaat gebruikt.

5. Eindresultaat:

   • Het definitieve segmentatiemasker (van RemoteSAM of SAM3) wordt gebruikt om de uiteindelijke bounding box te berekenen.

Kernbijdragen

• Hybride Architectuur: De eerste integratie van diffusiemodellen voor ruwe lokalisatie met foundation-segmentatiemodellen specifiek voor remote sensing.
• Zero-Shot Capabiliteit: Het systeem vereist geen taakspecifieke training of grote geannoteerde datasets voor remote sensing; het werkt puur op basis van tekstuele prompts.
• Adaptieve Modelselectie: Een dynamische strategie die de juiste segmentatiemodel kiest op basis van de schaal van het object, waardoor zowel grote complexe scènes als kleine objecten nauwkeurig worden behandeld.
• Preprocessing voor Remote Sensing: Een specifieke voorverwerkingsstap om atmosferische storingen en lage beeldkwaliteit te compenseren.

Resultaten

De methode is geëvalueerd op twee benchmarks: VRSBench (groot scala aan remote sensing beelden met visuele grounding) en NWPU-VHR-10 (zeer hoge resolutie objectdetectie).

• Prestaties: DiffuSAM overtreft de huidige state-of-the-art methoden, waaronder RemoteSAM, SAM3, EarthMind en Falcon.
• Verbetering: Op de NWPU-VHR-10 dataset werd een verbetering van meer dan 14% in Acc@0.5 (nauwkeurigheid bij een IoU > 0,5) behaald ten opzichte van RemoteSAM.
• Vergelijking:
  • Op VRSBench: 0,7913 Acc@0.5 (DiffuSAM) vs. 0,7812 (RemoteSAM).
  • Op NWPU-VHR-10: 0,8049 Acc@0.5 (DiffuSAM) vs. 0,6624 (RemoteSAM).
• De resultaten tonen aan dat de combinatie van generatieve en segmentatiemodellen robuustere resultaten oplevert dan het gebruik van één type model alleen.

Significantie en Toekomstperspectief

Het paper demonstreert dat het combineren van generatieve diffusiemodellen (voor contextuele lokalisatie) met gespecialiseerde foundation-modellen (voor precieze segmentatie) een krachtige route is voor data-efficiënte remote sensing toepassingen. Dit opent de deur voor flexibele systemen die snel kunnen worden ingezet in scenario's zoals rampenbestrijding, stedelijke planning en milieu-monitoring zonder dat er enorme datasets nodig zijn.

Beperkingen:
Een belangrijke beperking is de "hallucinatie"-neiging van diffusiemodellen; als het object moeilijk te vinden is of ontbreekt, kan het model een synthetisch object genereren in plaats van het juiste gebied te markeren. Daarnaast zijn de initiële boxen van het diffusiemodel vaak as-georiënteerd, wat onnodige objecten kan bevatten.

Toekomstig werk:
De auteurs plannen om de hallucinaties in diffusiemodellen te controleren en modellen te fine-tunen op remote sensing datasets om mist en andere obstructies direct uit de beelden te verwijderen, waardoor de outputkwaliteit verder wordt verbeterd.