Low-Data Supervised Adaptation Outperforms Prompting for Cloud Segmentation Under Domain Shift

Probleemstelling

Het artikel adresseert een fundamentele uitdaging bij het toepassen van vision-language modellen (zoals CLIPSeg) op satellietbeelden, specifiek voor wolksegmentatie. Er bestaat een grote "domain shift" (domeinverschuiving) tussen de natuurlijke afbeeldingen waarop deze modellen zijn getraind en de spectrale, bovenaanzicht-satellietbeelden.

• Visuele discrepantie: Satellietbeelden hebben een overhead-perspectief, gebruiken multispectrale sensoren en bevatten amorf atmosferische fenomenen (zoals wolken die overgaan in nevel), wat sterk afwijkt van objectgerichte natuurlijke scènes.
• Linguïstische discrepantie: Meteorologische termen (bijv. "optisch dunne cirrus" of "wolkenschaduw") komen zelden voor in de tekst-afbeelding paren die gebruikt zijn voor het trainen van CLIP-modellen.
• Hypothese: De huidige dominante AI-deploymentsparadigma is dat "prompting" (het gebruik van tekstuele instructies) voldoende zou zijn om een bevroren model aan te passen aan een specifiek domein, zonder het model te finetunen. Dit artikel test deze aanname voor cloudsegmentatie.

Methodologie

De auteurs voeren een gecontroleerde empirische vergelijking uit met het model CLIPSeg op de CloudSEN12+ dataset (een expert-gelabelde dataset voor Sentinel-2 beelden).

1. Prompt Engineering Evaluatie:

   • Er werden 60 variaties van prompts getest, variërend van simpele labels tot complexe domein-specifieke terminologie, uiterlijk-beschrijvingen en contextuele aanwijzingen.
   • Doel: Zien of linguïstische verfijning de visuele kloof kan overbruggen.

2. Supervised Adaptation (Finetuning):

   • Twee strategieën werden vergeleken op verschillende data-budgetten (van 0,1% tot 100% van de trainingsdata):
     • Full Fine-Tuning (FFT): Alle modelparameters worden bijgewerkt.
     • Low-Rank Adaptation (LoRA): Alleen lage-rang decompositiematrices worden toegevoegd aan de decoder (parameter-efficiënt), terwijl de backbone bevroren blijft.
   • Data: Gebruik van RGB-bandjes (B4, B3, B2) voor compatibiliteit met CLIPSeg.
   • Verliesfunctie: Een samengestelde loss (Focal + Tversky + Boundary loss) om om te gaan met class-imbalance en kleine objecten (dunne wolken/schaduwen).

3. Evaluatiemetrics:

   • Gemiddelde Intersection over Union (mIoU) en per-class IoU.
   • Vergelijking van zero-shot prestaties versus gesuperviseerde prestaties.

Belangrijkste Resultaten

1. Prompting Faalt Volledig:

   • Geen enkele van de 60 geprompte varianten presteerde beter dan de zero-shot baseline met simpele labels (0,255 mIoU).
   • Sommige geavanceerde prompts scoorden zelfs zo laag als 0,07 mIoU (een daling van 73%).
   • Conclusie: Linguïstische aanpassing kan de fundamentele visuele en spectrale mismatch tussen natuurlijke beelden en satellietdata niet overbruggen. Negatieve prompts (bijv. "geen wolk") werken zelfs slechter omdat het model niet is getraind om "niet" als semantische operator te interpreteren in deze context.

2. Extreem Laag Data-Verbruik voor Finetuning:

   • Supervised Fine-Tuning overtreft de zero-shot prestaties al met slechts 0,1% gelabelde data (ongeveer 8 afbeeldingen).
   • Met 5–10% data (ongeveer 425–850 afbeeldingen) wordt ongeveer 85% van de maximaal haalbare mIoU bereikt.
   • Dit weerlegt de aanname dat annotatiekosten een belemmering zijn voor het gebruik van gesuperviseerde methoden in plaats van prompting.

3. FFT vs. LoRA en Class-specifieke Prestaties:

   • Algemeen: Full Fine-Tuning (FFT) presteert consistent beter dan LoRA (verschil van 0,03–0,09 mIoU).
   • Duidelijke Klassen: Voor spectrally duidelijke klassen (heldere lucht, dikke wolken) presteren beide methoden bijna gelijk.
   • Ambigue Klassen: Voor spectrally ambiguë klassen (dunne wolken en wolkenschaduw) is FFT aanzienlijk superieur. LoRA faalt hier omdat de lage-rang beperkingen niet genoeg ruimte bieden om de fijne spectrale overlappingen in de embedding-ruimte te modelleren.
   • Supervision Dip: Bij zeer lage data (0,5–1%) daalt de prestatie voor ambiguë klassen tijdelijk onder het zero-shot niveau voordat deze herstelt bij 2,5–5% data. Dit wordt gemaskeerd door de totale mIoU, maar is kritiek voor specifieke toepassingen.

Bijdragen

1. Systematisch Bewijs van Falen: Het eerste systematische bewijs dat prompt engineering niet werkt voor satellietsegmentatie onder zware domeinverschuiving.
2. Kruispunt van Supervisie: Identificatie van een verrassend laag kruispunt (0,1% data) waar gesuperviseerde finetuning prompt-strategieën overtreft.
3. Nuance in Adaptatiestrategie: Het aantonen dat de keuze tussen LoRA en FFT geen kwestie is van rekencapaciteit, maar van taakstructuur. Voor spectrally ambiguë klassen is de extra parameter-capaciteit van FFT noodzakelijk.

Significantie en Conclusie

De studie levert een duidelijk advies voor practitioners in de aardeobservatie: gelabelde data is niet de dure alternatief voor prompting; het is de verstandigste weg.

• Voor clouddetectie, een cruciale stap voor atmosferische correctie in bijna elke EO-toepassing, volstaan enkele honderden expert-gelabelde patches om prestaties te bereiken die geen enkele prompt-engineering strategie kan benaderen.
• De resultaten suggereren dat voor gespecialiseerde domeinen zoals remote sensing, de investering in annotatie (zelfs in kleine hoeveelheden) essentieel is om de kloof met pre-trained modellen te overbruggen.
• Toekomstig werk zou zich moeten richten op het verbeteren van parameter-efficiënte methoden voor spectrally ambiguë klassen en het gebruik van semi-supervised learning om de "dip" bij lage data te mitigeren.