How To Embed Matters: Evaluation of EO Embedding Design Choices

Dit artikel presenteert een systematische analyse van ontwerpkeuzes voor embeddings in aardobservatie-workflows op basis van GeoFMs, waarbij wordt aangetoond dat compacte, herbruikbare representaties mogelijk zijn en dat transformer-architecturen met gemiddelde pooling, tussenliggende ResNet-lagen en het combineren van zelftoezicht-objectieven de prestaties consistent verbeteren.

De kern

Hoe je een aardse "vingerafdruk" maakt: Een simpele uitleg over het slimme gebruik van satellietbeelden

Stel je voor dat de aarde wordt gefotografeerd door miljoenen satellieten. Deze camera's schieten elke dag petabytes aan beelden op: enorme bergen data die alles tonen, van bossen en gewassen tot wolken en stadsverwarming.

Vroeger moesten computers die hele berg beelden elke keer opnieuw bekijken om iets te leren (bijvoorbeeld: "Hoeveel graan staat er op dit veld?"). Dat is als proberen een heel boek te lezen elke keer dat je een vraag over het verhaal wilt beantwoorden. Het kost veel tijd, energie en opslagruimte.

De auteurs van dit paper, Luis, Isabelle en hun team, hebben een slimme oplossing bedacht: Embeddings.

Wat is een Embedding? (De "Vingerafdruk")

In plaats van het hele boek te lezen, maken we een korte samenvatting of een vingerafdruk van de foto.

• De oude manier: Bewaar de hele foto (groot, zwaar, traag).
• De nieuwe manier: Maak een compacte, digitale "vingerafdruk" van de foto. Deze is 500 tot 2000 keer kleiner dan het origineel, maar bevat nog steeds alle belangrijke informatie om vragen te beantwoorden.

Deze paper onderzoekt hoe je die vingerafdruk het beste maakt. Want als je de vingerafdruk verkeerd maakt, is hij onbruikbaar.

De Grote Vergelijking: Welke "Kunstenaar" maakt de beste vingerafdruk?

De onderzoekers hebben gekeken naar verschillende "kunstenaars" (AI-modellen) die de vingerafdrukken maken. Ze hebben twee hoofdsoorten getest:

1. De "Blokjesbouwer" (ResNet/CNN): Dit model kijkt naar de foto alsof het een legpuzzel is. Het kijkt naar kleine stukjes naast elkaar.
   • Resultaat: Goed voor het tellen van objecten (bijv. "Is dit een boom of een huis?"), maar minder goed voor het begrijpen van complexe patronen zoals de hoeveelheid biomassa of de vorm van wolken.
2. De "Verbindingmaker" (ViT/Transformer): Dit model kijkt naar de hele foto tegelijk en zoekt naar langeafstandsrelaties. Het ziet hoe een bos in het noorden samenhangt met een rivier in het zuiden.
   • Resultaat: Dit model is de winnaar! Het maakt veel betere vingerafdrukken voor complexe taken, zoals het meten van temperatuur of het voorspellen van droogte.

De les: Als je slimme vingerafdrukken wilt, kies dan voor de "Verbindingmaker" (Transformer).

De "Samenstelling" van de Vingerafdruk

Het is niet alleen belangrijk wie de vingerafdruk maakt, maar ook hoe je hem samenstelt.

• Het Gemiddelde vs. De Uitersten:
  Stel je voor dat je een foto van een veld maakt.

  • Gemiddelde (Mean Pooling): Je neemt de gemiddelde kleur van het hele veld. Dit werkt het beste. Het geeft een eerlijk beeld van de hele situatie.
  • Uitersten (Min/Max Pooling): Je kijkt alleen naar het donkerste of helderste puntje. Dit werkt slecht, want je mist de context. Het is alsof je zegt "het is een zonnige dag" omdat je op één klein plekje naar de zon hebt gekeken, terwijl de rest van de hemel grijs is.
  • De "Hoofdletter" (CLS Token): Bij sommige modellen is er een speciaal puntje dat de hele foto samenvat. Dit werkt ook goed, maar het "gemiddelde" is vaak veiliger en betrouwbaarder.

• De Diepte van de Laag:
  Een AI-model heeft verschillende lagen, net als een oorschaal.

  • Bij de "Blokjesbouwer" (ResNet) is de buitenste laag (dieper in het model) vaak te "samengeknepen". De beste informatie zit vaak in de middenlagen. Het is alsof je een boek leest: de samenvatting op het einde is soms te kort, maar de hoofdstukken in het midden bevatten de echte details.
  • Bij de "Verbindingmaker" (ViT) wordt het model steeds beter naarmate het dieper gaat, tot het een punt bereikt waar het niet meer verbetert.

De Kracht van Combineren

Wat als je twee verschillende vingerafdrukken van dezelfde foto combineert?

• Als je twee vingerafdrukken van dezelfde kunstenaar combineert, gebeurt er niet veel nieuws.
• Maar als je een vingerafdruk van een Contrast-expert (goed voor landgebruik) combineert met een Herstel-expert (goed voor natuurverschijnselen), krijg je een super-vingerafdruk.
  • Voorbeeld: De ene expert is goed in het zien van "dit is een korenveld", de andere is goed in "dit is een wolk". Als je ze samenvoegt, kun je beide vragen tegelijk perfect beantwoorden.

Waarom is dit belangrijk voor de wereld?

Deze bevindingen zijn cruciaal voor de toekomst van onze planeet:

1. Opslagruimte: We hoeven geen petabytes aan ruwe beelden meer op te slaan. We kunnen ze vervangen door kleine, slimme vingerafdrukken.
2. Snelheid: Het is veel sneller om een vingerafdruk te analyseren dan een hele foto.
3. Toekomstbestendig: Als we eenmaal een goede vingerafdruk hebben, kunnen we die gebruiken voor honderden verschillende vragen (van klimaatmonitoring tot landbouw), zonder de originele foto's opnieuw te hoeven bekijken.

Kortom: De onderzoekers hebben ontdekt dat de beste manier om de aarde te begrijpen, niet is door elke foto opnieuw te bekijken, maar door slimme, compacte samenvattingen te maken met de juiste AI-tools. Het is alsof we van het lezen van hele boeken zijn overgestapt op het gebruik van een perfecte, betrouwbare samenvatting die ons alles vertelt wat we nodig hebben.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "How To Embed Matters: Evaluation of EO Embedding Design Choices" in het Nederlands.

Probleemstelling

Aardobservatie (Earth Observation - EO) missies genereren petabytes aan multispectrale beelden. Traditionele workflows voor het analyseren van deze data vertrouwen vaak op end-to-end aanpassing van modellen, wat vereist dat ruwe beelden en zware backbone-modellen herhaaldelijk worden opgehaald en verwerkt. Dit leidt tot hoge rekentijd, opslagkosten en schaalbaarheidsproblemen.

Hoewel Geospatiale Fundamentele Modellen (GeoFMs) veelbelovend zijn, is het onduidelijk hoe de beste compacte, taak-agnostische embeddings (intermediate representaties) moeten worden ontworpen. Specifiek ontbreekt het aan gestructureerde richtlijnen over:

1. Waar in het model de representaties moeten worden geëxtraheerd (diepte).
2. Hoe ruimtelijke en temporele informatie moet worden geaggregeerd (pooling).
3. Welke pretrainingsstrategieën (self-supervised learning objectives) het beste werken voor specifieke EO-taken.
4. Of het combineren van embeddings uit verschillende modellen of objectives voordelen biedt.

Het doel is om te bepalen hoe GeoFMs kunnen fungeren als vaste feature-extractors die compacte embeddings genereren, die vervolgens kunnen worden hergebruikt voor diverse downstream-taken zonder toegang tot de ruwe data.

Methodologie

De auteurs voeren een systematische analyse uit van embedding-ontwerpkeuzes binnen GeoFM-workflows, gebruikmakend van het NeuCo-Bench framework.

• Dataset en Taken: De evaluatie is gebaseerd op de SSL4EO-S12-downstream dataset, met acht regressietaken die variëren van semantische landbedekking (landbouw, bos) tot continue fysische metingen (biomassa, hitte-eilanden) en atmosferische indicatoren (wolken).
• Modellen: Er worden twee families van backbones vergeleken:
  • CNN: ResNet-50.
  • Transformer: ViT-Small (inclusief TerraMind).
  • Pretraining: Verschillende self-supervised learning (SSL) methoden zoals DINO, MoCo, MAE, FGMAE, SoftCon en DeCur.
• Experimentele Variabelen:
  • Architectuur: CNN vs. Transformer.
  • Diepte: Extractie van features uit eindlagen versus tussentijdse lagen (intermediate layers).
  • Ruimtelijke Aggregatie: Vergelijking van Mean, Max, Min pooling en CLS-token gebruik.
  • Temporele Aggregatie: Onafhankelijke encoding van 4 seizoensgebonden tijdstippen, gevolgd door gemiddelde pooling.
  • Combinatie: Concatenatie van embeddings (binnen één model: Mean + CLS; tussen modellen: Mean + Mean van verschillende SSL-objectives).
• Evaluatiemetrics:
  • $R^2$ (R-squared): Maatstaf voor voorspellende nauwkeurigheid.
  • NeuCo Quality Score (Q-score): Een metriek die zowel de gemiddelde nauwkeurigheid als de variabiliteit (robuustheid) over 50 train-test splits combineert. Dit is cruciaal om stabiele generalisatie te onderscheiden van toevallige pieken.

Belangrijkste Bijdragen

1. Systematische Evaluatie: De eerste uitgebreide studie die specifiek focust op de ontwerpkeuzes voor het genereren van EO-embeddings, in plaats van alleen end-to-end fine-tuning.
2. Compressie-effectiviteit: Demonstratie dat embeddings meer dan 500x kleiner zijn dan de ruwe inputdata (Sentinel-2 patches), terwijl ze toch bruikbaar blijven voor diverse taken.
3. Ontwerprichtlijnen: Het bieden van empirisch onderbouwde richtlijnen voor het selecteren van de juiste backbone, laag, pooling-methode en pretraining-objectief voor specifieke EO-scenario's.
4. Complementariteit: Het aantonen dat het combineren van embeddings van verschillende pretrainingsdoelen (bijv. DINO + MAE) robuustheid en prestaties kan verbeteren zonder extra toegang tot ruwe data.

Resultaten

1. Architectuur: Transformers vs. CNNs

• Transformers (ViT) presteren over het algemeen superieur, vooral op taken met continue fysische variabelen (biomassa, wolken, hitte-eilanden). Ze kunnen langere ruimtelijke afhankelijkheden beter modelleren.
• CNNs (ResNet) doen het goed op semantische taken (landbedekking), maar presteren slecht of zelfs negatief op continue fysische taken.
• TerraMind (een ViT met multimodale pretraining) levert de meest consistente en sterke prestaties over alle taken.

2. Diepte van het Model (Intermediate vs. Final Layers)

• ViT: Prestaties stijgen in de eerste lagen en stabiliseren (verzadigen) rond laag 3-5. Verdere diepte levert weinig winst op voor geaggregeerde omgevingsvoorspellingen.
• ResNet: Toont een duidelijk "omgekeerde U-vorm". De tussentijdse lagen (laag 2-4) presteren vaak aanzienlijk beter dan de eindlaag, vooral voor continue fysische taken. Het gebruik van de eindlaag als standaard is dus suboptimaal voor CNNs in deze context.

3. Ruimtelijke Aggregatie (Pooling)

• Mean Pooling is de meest robuuste en betrouwbare strategie voor zowel ViT als ResNet.
• Max/Min Pooling presteren over het algemeen slechter, vooral op continue taken, omdat ze waardevolle ruimtelijke informatie verliezen.
• CLS-token (voor ViT) is een competitief alternatief voor Mean Pooling, maar biedt zelden een significant voordeel.

4. Self-Supervised Objectives (SSL)

• Er is geen "one-size-fits-all" oplossing.
• Contrastieve methoden (DINO) zijn sterk voor semantische landbedekking.
• Reconstructiemethoden (MAE, FGMAE) zijn beter in het vastleggen van continue fysische variaties (biomassa, wolken).
• SoftCon toont een gebalanceerd profiel.

5. Concatenatie (Combinatie van Embeddings)

• Het combineren van embeddings van verschillende SSL-objectives (bijv. DINO + MAE) levert aanzienlijke winst op in robuustheid en soms in nauwkeurigheid, omdat ze complementaire informatie vastleggen.
• Het combineren van verschillende aggregatiestrategieën binnen één model (Mean + CLS) levert slechts marginale winst op, wat wijst op redundantie.

Betekenis en Conclusie

Dit onderzoek onderstreept dat de keuze voor het embedding-ontwerp cruciaal is voor de schaalbaarheid en prestaties van aardobservatie-workflows. De belangrijkste conclusies zijn:

• Embedding-centric workflows zijn een haalbaar en efficiënt alternatief voor end-to-end fine-tuning, mits de architectuur en representatie zorgvuldig worden ontworpen.
• Voor Transformers is Mean Pooling van de eindlagen (of vroege lagen) de standaardkeuze.
• Voor CNNs is het essentieel om tussentijdse lagen te exporteren in plaats van de eindlaag, om de beste prestaties op fysische taken te behalen.
• Het combineren van embeddings van modellen met verschillende pretrainingsdoelen kan de robuustheid van het systeem verhogen zonder de opslag van ruwe data te vereisen.

De studie biedt een blauwdruk voor het bouwen van schaalbare, kostenefficiënte EO-systemen waarbij compacte, vooraf berekende embeddings de ruwe data vervangen, terwijl de analytische waarde behouden blijft.