💻 computer science

GeoSANE: Learning Geospatial Representations from Models, Not Data

GeoSANE is een geospatieel model foundry dat bestaande foundation-modellen combineert door gewichten te genereren in plaats van te pre-trainen, waardoor het superieure en generaliseerbare neurale netwerken voor diverse aardobservatietaken produceert.

Oorspronkelijke auteurs: Joelle Hanna, Damian Falk, Stella X. Yu, Damian Borth

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joelle Hanna, Damian Falk, Stella X. Yu, Damian Borth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

GeoSANE: De "Kookboek" voor Aardobservatie (In plaats van het koken zelf)

Stel je voor dat je een enorme bibliotheek hebt vol met duizenden kookboeken. Elk boek is geschreven door een andere chef-kok. Sommige boeken zijn gespecialiseerd in het koken van vis, andere in het bakken van brood, en weer andere in het maken van soep. Elk boek is geweldig op zijn eigen gebied, maar als je vandaag een heel nieuw gerecht wilt maken, moet je kiezen welk boek je gebruikt. Misschien is dat boek niet perfect voor wat je nodig hebt, en dan moet je weer een nieuw boek gaan schrijven (of een nieuw model trainen), wat veel tijd en energie kost.

Het probleem
In de wereld van satellietbeelden (remote sensing) gebeurt precies dit. Er zijn nu meer dan 70 verschillende "foundation models" (de basismodellen) die allemaal zijn getraind op verschillende soorten beelden (zoals infrarood, radar, of gewone foto's) en voor verschillende taken (zoals het vinden van overstromingen of het tellen van bomen). Gebruikers moeten steeds opnieuw beslissen welk model ze moeten gebruiken. Het is alsof je voor elke maaltijd een heel nieuw kookboek moet kopen in plaats van één meesterchef te hebben die alles kan.

De oplossing: GeoSANE
De onderzoekers van GeoSANE hebben een slimme, nieuwe manier bedacht. In plaats van een nieuw kookboek te schrijven door zelf urenlang te koken (dat is het "trainen op data"), kijken ze naar de bestaande kookboeken zelf.

Ze hebben een slimme machine gebouwd die de recepten (de gewichten van de neurale netwerken) van al die duizenden bestaande modellen leest. Deze machine, GeoSANE, leert niet van de ingrediënten (de satellietbeelden), maar van de structuur van de recepten die al door andere chefs zijn geschreven.

Hoe werkt het? (De Analogie)

De Verzameling: GeoSANE verzamelt 103 verschillende bestaande modellen van het internet (zoals Hugging Face). Het zijn modellen die al weten hoe ze overstromingen moeten zien, hoe ze gebouwen moeten tellen, en hoe ze bosbranden moeten detecteren.
De Vertaling: De machine zet deze recepten om in een soort "geheime code" (een latente ruimte). Het is alsof het alle kookboeken in één grote, samenvattende "Master Receptenboek" omzet.
Het Nieuwe Gerecht: Als jij nu een nieuw model nodig hebt (bijvoorbeeld een klein model dat snel een overstroming kan detecteren op een mobiele telefoon), vraagt GeoSANE aan zijn "Master Receptenboek": "Geef me een recept dat lijkt op een overstromingsdetector, maar dan compact."
Het Resultaat: GeoSANE genereert direct de nieuwe recepten (de gewichten) voor jou. Je hoeft niet te wachten tot het model langzaam leert; het model is er direct, klaar om een beetje te oefenen (finetunen) en dan direct goed te presteren.

Waarom is dit zo cool?

Snelheid: Je hoeft geen enorme datasets meer te downloaden en uren te wachten op training. Het model wordt "op afroep" gemaakt.
Kwaliteit: De modellen die GeoSANE maakt, zijn vaak beter dan modellen die vanaf nul zijn getraind. Ze hebben immers de wijsheid van alle andere modellen in zich.
Flexibiliteit: Je kunt vragen om een groot model voor een supercomputer of een heel klein model voor een drone. GeoSANE past het recept aan, zonder dat je een nieuwe trainer hoeft te bouwen.
Lichtgewicht: Vaak proberen mensen grote modellen te verkleinen door ze te "knippen" (pruning) of te "leren van een meester" (distillation). GeoSANE slaat die tussenstappen over en maakt direct het perfecte kleine model.

Samenvattend
GeoSANE is als een super-chef die niet zelf kookt, maar de kennis van duizenden andere chefs samenvoegt. Als je hem vraagt om een gerecht te maken, pakt hij niet de grondstoffen (de beelden), maar pakt hij de beste recepten uit de hele wereld, combineert ze tot één perfect recept, en geeft je dat direct.

Dit verandert de manier waarop we kunstmatige intelligentie voor de aarde gebruiken: we hoeven niet langer alles opnieuw uit te vinden, maar kunnen bouwen op de wijsheid die al in de bestaande modellen zit.

1. Het Probleem

Het landschap van Remote Sensing Foundation Models (RSFMs) is momenteel sterk gefragmenteerd. Er zijn meer dan 70 verschillende modellen beschikbaar, elk getraind op specifieke sensoren (bijv. Sentinel-1, Sentinel-2, SAR), ruimtelijke resoluties, of doelen (bijv. classificatie, segmentatie).

Fragmentatie: Geen enkel model dekt het volledige spectrum van geospatiale kennis. Gebruikers moeten constant kiezen welk model ze moeten gebruiken of opnieuw moeten trainen voor een nieuwe taak.
Inefficiëntie: Het hertrainen van een nieuw foundation model vanaf nul vereist enorme hoeveelheden data en rekenkracht.
Beperkingen van bestaande methoden: Bestaande technieken zoals model merging (het samenvoegen van gewichten) werken vaak alleen goed voor modellen met dezelfde architectuur. Pruning en distillatie voor het maken van lichte modellen leiden vaak tot prestatieverlies.

De kernvraag is: Hoe kunnen we de kennis van al deze diverse, reeds getrainde modellen combineren in één uniek, flexibel systeem zonder opnieuw te pre-trainen op ruwe satellietdata?

2. Methodologie: GeoSANE

GeoSANE (Geospatial Model Foundry) introduceert een fundamenteel nieuwe benadering: in plaats van te leren van data, leert het van de gewichten van bestaande modellen. Het systeem fungeert als een "model smederij" die nieuwe, op maat gemaakte neurale netwerken genereert.

Het proces verloopt in drie fasen:

A. Verzameling en Tokenisatie

Data: GeoSANE verzamelt een heterogene collectie van 103 open-source remote sensing modellen (ongeveer 38 miljard parameters) van platforms zoals Hugging Face. Deze omvatten diverse architecturen (ViT, Swin, ResNet, UNet, YOLO) en modaliteiten (optisch, multispectraal, SAR).
Tokenisatie: De gewichten ( $w$ ) van deze modellen worden geladen, herschikt in 2D-matrices per laag en opgesplitst in vaste tokens ( $T_n$ ).
Positieve Embedding: Elke token krijgt een 3D-positie-embedding toegevoegd die de sequentiepositie, de laagindex en de positie binnen de laag aangeeft. Een binair masker onderscheidt echte parameters van padding.

B. Weight-Space Autoencoder

GeoSANE gebruikt een Transformer-based Encoder-Decoder architectuur in de "weight space":

Encoder: Tokeniseert de input-weights en projecteert ze naar een gedeelde latente ruimte ( $Z$ ). Deze ruimte vormt een compacte representatie van de kennis van alle getrainde modellen.
Decoder: Reconstructeert de originele tokens vanuit de latente ruimte.
Trainingsdoel: Het model wordt getraind met een combinatie van:
1. Reconstructieverlies: Om de oorspronkelijke gewichten zo nauwkeurig mogelijk te reconstrueren.
2. Contrastief verlies (NT-Xent): Om ervoor te zorgen dat augmented views van hetzelfde model dicht bij elkaar in de latente ruimte liggen, terwijl ze ver weg blijven van andere modellen. Dit stabiliseert het leren van de structuur.

C. Generatie van Nieuwe Modellen

Om een nieuw model te genereren voor een specifieke taak:

De gebruiker kiest een prompt-model (bijv. een ViT-L of Swin-B architectuur).
De gewichten van dit prompt-model worden geëncodet naar de latente ruimte.
Er wordt een Kernel Density Estimator (KDE) gefit rondom deze latente representatie.
Er worden nieuwe steekproeven ( $\tilde{z}$ ) getrokken uit deze verdeling. Dit verkent gebieden in de latente ruimte die structureel vergelijkbaar zijn met het prompt, maar gevormd zijn door de geaggregeerde kennis van de hele RSFM-populatie.
De decoder transformeert deze steekproeven naar nieuwe gewichten ( $\tilde{w}$ ) die klaar zijn voor finetuning op de doeltaak.

3. Belangrijkste Bijdragen

Nieuw Paradigma: Een verschuiving van data-centric pre-training naar weight-centric generation. Het leert direct van de parameters van bestaande modellen in plaats van van ruwe satellietbeelden.
Scalable Foundry: GeoSANE is een schaalbare encoder-decoder die heterogene modellen (verschillende architecturen, modaliteiten en doelen) kan verwerken en op aanvraag nieuwe gewichten kan genereren voor willekeurige doelen.
Uitgebreide Validatie: Omvangrijke experimenten op 10 diverse datasets en de GEO-Bench, die aantonen dat weight-space learning een haalbaar alternatief is voor traditionele pre-training.

4. Resultaten

GeoSANE werd geëvalueerd op classificatie, semantische segmentatie en objectdetectie over optische, multispectrale en radar-modaliteiten.

Tegenover "From Scratch": Modellen gegenereerd door GeoSANE presteren consistent beter dan modellen die vanaf nul worden getraind (random initialisatie), met significante verbeteringen op complexe datasets (bijv. +23.2% op fMoW).
Tegenover Bestaande RSFMs: GeoSANE haalt de prestaties van state-of-the-art foundation models (zoals SatMAE, Scale-MAE, CROMA) en overtreft ze vaak, zonder dat er een nieuw foundation model getraind is op grote datasets.
Tegenover Model Merging: GeoSANE presteert aanzienlijk beter dan methoden zoals DARE (model merging), wat aantoont dat het leren van een latente ruimte meer is dan simpelweg het middelen van gewichten.
Lichte Modellen: GeoSANE genereert direct efficiënte, lichte netwerken (bijv. ResNet-18, MobileNetV2) die beter presteren dan modellen verkregen via pruning of knowledge distillation. Dit is een groot voordeel voor on-board verwerking op satellieten of drones.
Generalisatie: Het systeem werkt goed over verschillende backbones (ViT, Swin, ResNet) en modaliteiten heen, wat bewijst dat de latente ruimte een robuuste representatie van geospatiale kennis bevat.

5. Betekenis en Impact

GeoSANE biedt een schaalbare weg om de groeiende diversiteit aan remote sensing modellen te benutten.

Efficiëntie: Het elimineert de noodzaak voor kostbare, grootschalige pre-training op ruwe data voor elke nieuwe taak.
Flexibiliteit: Gebruikers kunnen "on-demand" modellen genereren die perfect zijn afgestemd op hun specifieke hardware-beperkingen (grootte) en taak, zonder de complexiteit van distillatie of pruning.
Kennisunificatie: Het verenigt de kennis van honderden gespecialiseerde modellen in één enkel systeem, waardoor de barrière voor toegang tot geavanceerde geospatiale AI voor onderzoekers en praktijken verlaagt.

Kortom, GeoSANE bewijst dat het leren van de structuur van bestaande modellen een krachtigere en efficiëntere route kan zijn dan het opnieuw leren van de data zelf.