How do Self-Supervised Remote Sensing Vision Models Transfer to Downstream Tasks?

Technische Samenvatting: Hoe Self-Supervised Remote Sensing Vision Modellen Transfereert naar Downstream Taken

Probleemstelling
Self-supervised geospatial foundation models (GeoFMs) zijn ontstaan om overdraagbare representaties te leren van grootschalige ongelabelde satellietbeelden. Echter, hun downstream gedrag blijft moeilijk te karakteriseren. In tegen tegenover de begrip van natuurlijke afbeeldingen, presenteert remote sensing (RS) data unieke uitdagingen: het mist discrete objectgrenzen, leunt zwaar op spectrale, temporele en geografische context, en vereist frequent dichtheid op pixelniveau in plaats van scène-niveau classificatie. Recente benchmarks wijzen erop dat GeoFMs niet consistent beter presteren dan supervised baselines, en geen enkel modelontwerp domineert over diverse downstream taken. Bovendien is het onduidelijk hoe verschillende self-supervised learning (SSL) doelstellingen specifieke soorten informatie (bijv. laag-niveau spectrale versus hoog-niveau semantische informatie) behouden en hoe deze informatie georganiseerd is over de netwerkdiepte. Gevolglik zijn standaard downstream adaptatiestrategieën, zoals zware multi-scale decoders, mogelijk niet afgestemd op de manier waarop GeoFMs hun interne representaties structureren.

Methodologie
De auteurs voeren een uitgebreide evaluatie uit van zes representatieve GeoFMs verspreid over drie pretraining families: joint-embedding (MoCo, DINO v1), reconstructie (MAE, Prithvi v1), en multimodal/hybrid (CROMA, TerraMind). Deze modellen variëren in architecturale schaal (ViT-S vs. ViT-B), aantal parameters (42M tot 2B), en pretraining data (SSL4EO, NASA HLS, TerraMesh).

De studie hanteert drie primaire analytische benaderingen:

1. Downstream Transfer Evaluatie: De modellen worden geëvalueerd over diverse taken, waaronder image-level classificatie (EuroSAT), regressie (NeuCo-Bench voor laag-niveau en semantische taken), en pixel-level segmentatie (PANGAEA-Bench, PASTIS, Sen1Floods11). Evaluaties houden rekening met variërende beschikbaarheid van labels (1-shot, 10%, 100%) en adaptatie pipelines (frozen encoder versus fine-tuning).
2. Diepte-gebaseerde Representatie Analyse: Met behulp van layerwise linear probes beoordelen de auteurs welke transformer blocks taakrelevante informatie bevatten. Dit maakt onderscheid tussen laag-niveau taken (bijv. biomassa schatting) en hoog-niveau semantische taken.
3. Adaptatie en Fine-Tuning Analyse: De studie vergelijkt verschillende decoder architecturen (zware multi-scale UPerNet, lichtgewicht multi-scale, en single-level upsamplers) en kwantificeert representatie verschuivingen tijdens fine-tuning met behulp van Centered Kernel Alignment (CKA).

Belangrijkste Bijdragen

• Gevoeligheid van Model Rangschikking: De auteurs demonstreren dat GeoFM rangschikkingen zeer gevoelig zijn voor het type taak, labelbeschikbaarheid en adaptatie-instellingen. Een model dat goed presteert op één taak (bijv. semantische regressie) kan onderpresteren op een andere (bijv. dense segmentatie), zelfs wanneer ze zijn getraind op dezelfde dataset.
• Diepte-gebaseerde Informatie Organisatie: Door middel van layerwise probing onthult de studie dat taakrelevante informatie vaak meer toegankelijk is in intermediaire transformer blocks dan in de finale layer embeddings. Reconstructie-gebaseerde modellen (MAE, Prithvi) hebben de neiging om laag-niveau informatie dieper in het netwerk te behouden, terwijl joint-embedding modellen (MoCo, DINO) een scherpere transitie laten zien van de laag-niveau naar de semantische fase. TerraMind vertoont progressieve verbetering over alle dieptes.
• Impact van Adaptatie Strategieën: Downstream adaptatie keuzes, met name decoder design en fine-tuning, beïnvloeden de prestaties aanzienlijk. De auteurs vinden dat lichtere, single-level decoders vaak de zware multi-scale decoders (zoals UPerNet) evenaren of overtreffen, wat suggereert dat standaard dense-prediction heads mogelijk niet overeenkomen met de informatie organisatie van GeoFMs.
• Fine-Tuning Dynamiek: CKA analyse laat zien dat fine-tuning de GeoFMs niet uniform herschrijft. De sterkste representatie veranderingen zijn vaak gelokaliseerd tot specifieke sub-layers, met name de eerste lineaire layer van de MLP binnen de ViT blocks, in plaats van gelijkmatig verdeeld over het netwerk.

Resultaten

• Taak Afhankelijkheid: Op regressie en classificatie taken verschuiven model rangschikkingen op basis van labelbeschikbaarheid en afstand metrieken. Bijvoorbeeld, joint-embedding modellen blinken uit bij hoog-niveau semantische taken (EuroSAT) maar worstelen met laag-niveau regressie, terwijl reconstructie modellen de inverse trend vertonen.
• Decoder Efficiëntie: In segmentatie case studies (PASTIS en Sen1Floods11) presteren lightweight decoders met minder parameters frequent beter dan de standaard UPerNet. Bijvoorbeeld, een single-level upsampler die gebruik maakt van intermediaire layers (Block 5 of 7) levert vaak betere resultaten op dan het gebruik van final-layer features met een zware decoder.
• Fine-Tuning Effecten: Fine-tuning levert substantiële winst op voor complexe, multi-class taken (PASTIS) maar biedt minimale of negatieve rendementen voor simpelere binary taken (Sen1Floods11). Opmerkelijk genoeg wordt een supervised ImageNet baseline (ViT-B/16 aangepast naar 13 kanalen) competitief met GeoFMs wanneer deze wordt gefine-tuned, zelfs in low-label regimes.
• Scaling versus Robuustheid: Hoewel TerraMind (getraind op de grootste dataset met 2B parameters) robuustheid demonstreert over de meeste taken, blijven kleinere general-purpose modellen en de ImageNet baseline competitief op specifieke datasets, wat aangeeft dat schaling alleen niet garandeert dat er een superieure transfer prestatie is voor alle geospatial taken.

Significantie en Claims
Het artikel betoogt dat het transfer gedrag van GeoFMs niet intrinsiek is aan het model alleen, maar een functie is van de interactie tussen de pretraining doelstelling, de downstream taakstructuur en de adaptatie strategie. De auteurs claimen dat huidige evaluatie pipelines vaak falen in het rekening houden met hoe informatie georganiseerd is over de netwerkdiepte, wat leidt tot suboptimale model selectie en adaptatie.

De studie motiveert een verschuiving weg van "one-size-fits-all" adaptatie strategieën. Specifiek suggereert het dat:

1. Representatie-Bewuste Evaluatie: Toekomstige benchmarks moeten rekening houden met intermediaire layer representaties in plaats van uitsluitend te vertrouwen op de finale embeddings.
2. Maatwerk Adaptatie: Decoder designs moeten worden afgestemd op de diepte profielen van specifieke GeoFMs, waarbij potentieel de voorkeur wordt gegeven aan lichtere, single-level decoders of adaptieve layer selectie boven zware multi-scale fusie.
3. Gerichte Fine-Tuning: Omdat fine-tuning lokale veranderingen induceert (bijv. in de MLP layers), zou toekomstig werk parameter-efficiënte fine-tuning methoden kunnen verkennen die zich richten op deze specifieke sub-modules in plaats van volledige netwerk updates.

Uiteindelijk concluderen de auteurs dat het begrijpen van de interne mechanismen van GeoFMs cruciaal is voor het ontwikkelen van nauwkeurigere en efficiëntere Earth observation systemen, aangezien de huidige grootschalige modellen niet universeel beter presteren dan kleinere of supervised baselines zonder zorgvuldig ontworpen downstream transfer schema's.