🤖 machine learning

From Pixels to Patches: Pooling Strategies for Earth Embeddings

Deze paper introduceert de EuroSAT-Embed-dataset en toont aan dat geavanceerde pooling-strategieën, zoals statistische en covariantie-pooling, de prestaties van aardse foundation-modellen aanzienlijk verbeteren ten opzichte van de standaard gemiddelde pooling, vooral bij geografisch gesplitste testdata.

Oorspronkelijke auteurs: Isaac Corley, Caleb Robinson, Inbal Becker-Reshef, Juan M. Lavista Ferres

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Isaac Corley, Caleb Robinson, Inbal Becker-Reshef, Juan M. Lavista Ferres

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Van Pixels naar Patches: Hoe we beter naar de aarde kunnen kijken

Stel je voor dat je een gigantische, superduurzame camera hebt die de hele aarde in beeld brengt. Deze camera is zo slim (een "foundation model") dat hij niet alleen foto's maakt, maar voor elk klein puntje op de foto (een pixel) een soort "identiteitskaart" of embeddings maakt. Deze kaartjes bevatten alle informatie over wat dat puntje is: is het gras, water, een dak of een weg?

Maar hier zit een probleem: de camera levert deze identiteitskaarten voor elk individueel puntje, terwijl wij vaak antwoorden nodig hebben voor hele gebieden. Bijvoorbeeld: "Is dit hele veld landbouwgrond?" of "Is dit hele dorp woonwijk?".

In de wetenschap noemen we dit het verschil tussen pixels (de kleine puntjes) en patches (de grote stukken land). Om van de ene naar de andere te gaan, moeten we al die duizenden identiteitskaarten van de puntjes samenvoegen tot één enkel antwoord. Dit proces heet pooling (samenvoegen).

Het oude probleem: De gemiddelde leugenaar

Vroeger deden onderzoekers dit heel simpel: ze namen gewoon het gemiddelde van alle puntjes.

De analogie: Stel je voor dat je een foto van een drukke markt maakt. Je hebt een kraam met appels, een kraam met sinaasappels en een kraam met bananen. Als je het "gemiddelde fruit" neemt, krijg je een raar, grijs, smakeloos fruit dat op niets lijkt. Je verliest de kleur en de smaak van de individuele kraampjes.
Het gevolg: Als je dit gemiddelde gebruikt om te voorspellen of een gebied landbouw is, werkt het prima als je in hetzelfde gebied blijft. Maar zodra je naar een ander land of een ander klimaat gaat (een "ruimtelijke verschuiving"), faalt het. Het gemiddelde verwijdert namelijk de interessante variatie. Een woonwijk met veel daken, bomen en straten ziet er in het gemiddelde misschien hetzelfde uit als een industrieterrein, terwijl ze heel verschillend zijn.

De nieuwe oplossing: Kijk naar de statistieken

De auteurs van dit paper zeggen: "Wacht even, we moeten niet alleen naar het gemiddelde kijken, maar naar de verspreiding."

Ze hebben een nieuwe manier bedacht om die duizenden identiteitskaarten samen te voegen. In plaats van één getal te nemen, kijken ze naar:

Wat is het minimum?
Wat is het maximum?
Wat is het gemiddelde?
Hoe variatie is het? (Is alles gelijk of heel chaotisch?)

De analogie: In plaats van het "gemiddelde fruit" te maken, zeggen ze: "Oké, we hebben hier een bak fruit. Het is 40% appels, 30% sinaasappels, er is één enorme ananas (het maximum) en de rest is heel klein (het minimum)." Door deze statistieken te gebruiken, behoud je het verhaal van het gebied. Je ziet dat het een gemengde buurt is, niet een eentonig gebied.

Wat hebben ze gedaan?

De onderzoekers hebben een nieuwe dataset gemaakt genaamd EuroSAT-Embed. Ze hebben 81.000 kaarten van de aarde genomen, die al waren omgezet in die slimme identiteitskaarten door drie verschillende supercomputers (AlphaEarth, OlmoEarth en Tessera).

Vervolgens hebben ze 11 verschillende manieren getest om die kaarten samen te voegen. Ze hebben gekeken of deze methoden beter werkten in twee situaties:

Willekeurig: De testgebieden zaten door elkaar heen in het trainingsgebied (makkelijk).
Ruimtelijk: De testgebieden lagen ver weg van de trainingsgebieden (moeilijk, want de natuur ziet er daar anders uit).

De resultaten: Variatie is kracht

Het resultaat was verrassend duidelijk:

Het simpele gemiddelde (mean pooling) deed het goed in makkelijke tests, maar zakte in als ze naar nieuwe, andere gebieden gingen.
De methoden die statistieken gebruikten (min, max, gemiddelde, spreiding) deden het veel beter. Ze waren niet alleen accurater, maar ook veel robuuster. Ze gaven minder snel de geest als het landschap veranderde.
De allerbeste methode was covariantie (een ingewikkeldere manier om te kijken hoe de eigenschappen samenhangen), maar deze maakt de data wel heel groot.

Wat betekent dit voor de praktijk?

De auteurs geven een duidelijke advies voor iedereen die met deze aard-kaarten werkt:

Gebruik niet zomaar het gemiddelde. Dat is te simpel en laat veel waardevolle informatie weg.
Gebruik "Stats Pooling" als standaard. Dit is een slimme mix van min, max, gemiddelde en spreiding. Het kost iets meer rekenkracht (4 keer zoveel data), maar het werkt veel beter, vooral als je naar nieuwe gebieden kijkt.
Wil je het allerbeste resultaat? Gebruik dan de geavanceerde methode (covariantie), tenzij je computer daar te traag van wordt.

Kortom: Als je de aarde wilt begrijpen met AI, kijk dan niet alleen naar het gemiddelde van een gebied. Kijk ook naar de uitschieters en de variatie. Net zoals een goede kok niet alleen naar het gemiddelde van de ingrediënten kijkt, maar naar de balans tussen zoet, zuur, zout en bitter, moeten we naar de balans in de aard-kaarten kijken om de werkelijkheid beter te begrijpen.

Titel: Van Pixels naar Patches: Pooling-strategieën voor Aarde-Embeddings

Workshop: ICLR 2026 Machine Learning for Remote Sensing (ML4RS)
Auteurs: Isaac Corley, Caleb Robinson, Inbal Becker-Reshef, Juan M. Lavista Ferres

1. Het Probleem: Resolutie-mismatch en Aggregatie

De opkomst van Geospatial Foundation Models (GFMs) heeft geleid tot de beschikbaarheid van pixel-level embedding-producten (dichte representaties per pixel) die kunnen worden gedownload en hergebruikt zonder toegang tot de onderliggende encoder.

Er ontstaat echter een fundamenteel probleem bij het toepassen van deze modellen op downstream-taken:

Resolutie-mismatch: GFMs genereren embeddings op pixel-niveau (bijv. 10m resolutie), maar veel toepassingen (zoals landgebruikscategorieën, landbouwpercelen of gebouwen) vereisen labels op een grovere schaal (patches of regio's).
Aggregatie-noodzaak: Om van pixel-embeddings naar een patch-representatie te gaan, moet er een aggregatiestap (pooling) worden uitgevoerd.
Beperking van de standaard: De huidige standaard, mean pooling (gemiddelde), negeert de variabiliteit binnen een patch. Dit kan leiden tot het verlies van cruciale signaal-informatie, vooral bij ruimtelijke verdelingsverschillen (spatial distribution shift), wat resulteert in slechtere generalisatie naar nieuwe geografische gebieden.

2. Methodologie

De auteurs onderzoeken post-hoc pooling-strategieën in een "fixed-embedding" setting, waarbij de encoder niet meer beschikbaar is.

Dataset (EuroSAT-Embed): De auteurs hebben een nieuwe dataset gepubliceerd bestaande uit 81.000 GeoTIFF-bestanden met embeddings, afgeleid van drie verschillende GFMs:
1. AlphaEarth (64-dimensionaal)
2. OlmoEarth-Nano (128-dimensionaal)
3. Tessera (128-dimensionaal)
  Deze embeddings zijn gegenereerd voor de EuroSAT dataset (10 klassen, 64x64 pixels per patch).
Evaluatie-protocol:
- Splits: Vergelijking tussen een standaard willekeurige split (random split) en een geografisch gescheiden split (spatial split, gebaseerd op lengtegraad) om ruimtelijke autocorrelatie en data-lekkage te minimaliseren.
- Probes: Evaluatie met twee methoden: k-Nearest Neighbors (kNN) en Lineaire Probes (multinomial logistic regression).
- Methoden: Er zijn 13 pooling-methoden getest:
  - 11 training-free methoden: Inclusief Mean, Max, Generalized Mean (GeM), Center-Weighted Mean, en diverse statistische aggregaties (Std, Mean+Std, Stats, Percentiles, Covariance).
  - 2 train-set-fitted baselines: PCA en Bag of Visual Words (BoVW).

3. Belangrijkste Bijdragen

EuroSAT-Embed: Publicatie van een uitgelijnde set pixel-level embedding datasets voor drie populaire GFMs.
Gestandaardiseerde Benchmark: Een uitgebreide vergelijking van 13 pooling-methoden onder verschillende omstandigheden (random vs. spatial splits, verschillende encoders).
Empirisch Bewijs: Het aantonen dat eenvoudige verdelingsstatistieken (distributional statistics) de ruimtelijke generalisatie significant verbeteren ten opzichte van de standaard mean pooling, zonder dat er extra training van de encoder nodig is.

4. Resultaten

De resultaten tonen duidelijke voordelen van geavanceerde pooling-methoden, vooral bij ruimtelijke splits:

Verbeterde Generalisatie:
- Mean pooling vertoont een grote daling in nauwkeurigheid bij de overgang van random naar spatial splits (gemiddelde gap van 8.8%).
- Stats pooling (combinatie van min, max, mean, std) verkleint deze gap met meer dan 50% (naar 3.8%).
- Covariance pooling en Mean+Max tonen eveneens kleine gaps (rond 4.3-4.6%) bij behoud van hoge nauwkeurigheid.
Nauwkeurigheid:
- Bij lineaire probes bereikt Stats pooling een gemiddelde nauwkeurigheid van 93.0% op spatial splits (tegenover 87.3% voor Mean), een verbetering van +6%.
- Covariance pooling levert de hoogste absolute nauwkeurigheid op (tot 94.4% op de Tessera-encoder), maar vereist een veel hogere dimensie ( $D(D+1)/2$ ).
Trade-off: Er is geen afweging (trade-off) gevonden tussen nauwkeurigheid en robuustheid. Methoden die het beste presteren op ruimtelijke splits hebben ook de kleinste generalisatiegaps.
kNN vs. Lineair: Covariance helpt lineaire probes meer dan kNN, wat suggereert dat tweede-orde statistieken vooral nuttig zijn voor lineaire classificatie.

5. Significantie en Aanbevelingen

Het paper concludeert dat pooling niet langer een vooraf ingestelde, triviale stap mag zijn, maar een ontwerpbeslissing van de eerste orde moet zijn voor practitioners die werken met vaste embedding-producten.

De auteurs stellen een drie-trapsstrategie voor:

Baseline: Gebruik Mean pooling als uitgangspunt.
Standaard aanbeveling: Gebruik Stats pooling (min/max/mean/std). Dit verdubbelt de dimensie (4x de oorspronkelijke embedding-dimensie) en levert de beste balans tussen verbeterde ruimtelijke generalisatie en rekenkosten.
Maximale nauwkeurigheid: Gebruik Covariance pooling als de toename in representatiedimensie acceptabel is en maximale nauwkeurigheid de prioriteit is.

Conclusie: Het behoud van intra-patch variabiliteit via verdelingsstatistieken is cruciaal voor het behoud van class-signalen onder ruimtelijke verschuivingen. Dit biedt een eenvoudige, trainingsvrije manier om bestaande foundation-modellen voor aardobservatie aanzienlijk robuuster te maken voor real-world toepassingen.