🤖 machine learning

SHRUG-FM: Reliability-Aware Foundation Models for Earth Observation

Dit paper introduceert SHRUG-FM, een betrouwbaarheidsbewust kader dat aardobservatie-modellen in staat stelt om onzekerheid te detecteren en af te zien van voorspellingen in onbekende omgevingen door het combineren van geofysische, inbeddings- en taakspecifieke signalen via een interpreteerbare beslissingsboom.

Oorspronkelijke auteurs: Maria Gonzalez-Calabuig, Kai-Hendrik Cohrs, Vishal Nedungadi, Zuzanna Osika, Ruben Cartuyvels, Steffen Knoblauch, Joppe Massant, Shruti Nath, Patrick Ebel, Vasileios Sitokonstantinou

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maria Gonzalez-Calabuig, Kai-Hendrik Cohrs, Vishal Nedungadi, Zuzanna Osika, Ruben Cartuyvels, Steffen Knoblauch, Joppe Massant, Shruti Nath, Patrick Ebel, Vasileios Sitokonstantinou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt die de aarde vanaf de ruimte bekijkt. Deze robot is getraind op miljoenen foto's van bossen, steden en oceanen. Hij is een "grondlegger" (foundation model) die heel goed kan zeggen: "Dat is een bos," of "Dat is een overstroming."

Maar hier zit een addertje onder het gras: De robot is niet slim genoeg om te weten wanneer hij het niet weet.

Als de robot voor het eerst een heel vreemd landschap ziet (bijvoorbeeld een woestijn die hij nooit heeft gezien, of een overstroming in een gebied waar hij geen trainingdata voor had), zal hij toch een antwoord geven. Hij zal met 100% zekerheid zeggen: "Dat is een bos!" terwijl het eigenlijk een rotsachtige woestijn is. In de echte wereld, bij rampen zoals branden of overstromingen, kan zo'n fout dodelijk zijn.

SHRUG-FM is de oplossing voor dit probleem. Het is een slimme "controleur" die bovenop de robot wordt geplaatst. Zijn enige taak is om te beslissen: "Mag de robot dit antwoord geven, of moet hij zijn mond houden?"

Hier is hoe SHRUG-FM werkt, vertaald in drie simpele signalen:

1. De "Nieuwsgierige Toerist" (Input Signaal)

Stel je voor dat de robot een toerist is die net in een nieuw land is aangekomen.

Het probleem: De robot kijkt naar de foto en ziet iets wat hij niet herkent.
De oplossing: SHRUG-FM kijkt niet alleen naar de foto, maar ook naar de "omgeving". Hij vraagt zich af: "Zit dit gebied in de atlas van de robot? Is het hier te hoog, te droog of te modderig voor wat de robot gewend is?"
De analogie: Als de robot in de Sahara staat en denkt dat hij een ijsbaan ziet, schreeuwt SHRUG-FM: "Wacht even! Dit is een woestijn, je hebt hier nog nooit ijs gezien. Wees voorzichtig!"

2. De "Verwarde Droom" (Embedding Signaal)

Zelfs als de omgeving er normaal uitziet, kan de robot in de war raken.

Het probleem: De robot heeft een soort "droomwereld" (een embedding space) waarin hij alle dingen die hij kent, in groepjes heeft gezet. Als de robot een nieuwe foto ziet, probeert hij die in een groepje te stoppen.
De oplossing: SHRUG-FM kijkt of de nieuwe foto ergens in de buurt van een groepje past. Als de foto ergens "tussenin" hangt, ver weg van alles wat de robot kent, is de robot verward.
De analogie: Het is alsof je een vreemde vrucht ziet. Het lijkt op een appel, maar het heeft de kleur van een sinaasappel en de vorm van een peer. De robot denkt: "Is dit een appel? Een sinaasappel? Ik weet het niet!" SHRUG-FM ziet die verwarring en zegt: "Niet antwoorden, je bent in de war."

3. De "Twijfelende Expert" (Taak Signaal)

Soms ziet alles er goed uit, maar is de robot gewoon niet zeker van zijn antwoord.

Het probleem: De robot moet een taak doen, zoals "vind de brandplekken". Soms is de foto zo vaag of de situatie zo complex dat de robot twijfelt.
De oplossing: SHRUG-FM kijkt naar hoe zeker de robot is. Als de robot zegt: "Ik denk dat dit 50% kans is dat het brand is en 50% dat het niet is," dan is dat een gevaarlijk signaal.
De analogie: Stel je voor dat een arts een diagnose stelt. Als hij zegt: "Ik ben 99% zeker dat het grijs is," is dat goed. Als hij zegt: "Het is misschien grijs, misschien niet," dan moet hij zeggen: "Ik weet het niet, vraag een tweede mening." SHRUG-FM is die tweede mening die zegt: "Hij twijfelt, wees niet zeker."

Hoe werkt het samen? (De "Glazen Doos")

SHRUG-FM combineert deze drie signalen in een heel simpel, doorzichtig systeem (een "glazen doos"). Het is geen ingewikkelde zwarte doos die niemand begrijpt. Het is meer als een verkeerslicht:

Groen: Alles lijkt bekend en de robot is zeker -> Geef het antwoord.
Rood: De omgeving is vreemd, de robot is verward, OF hij twijfelt -> Stop! Laat een mens kijken.

Waarom is dit belangrijk?

In het verleden hebben we geprobeerd de robot steeds slimmer te maken, maar we vergeten vaak om hem te leren weten wanneer hij het niet weet. SHRUG-FM zorgt ervoor dat we in noodsituaties (zoals overstromingen of aardverschuivingen) niet blindelings vertrouwen op een computer die misschien een fout maakt.

Het is alsof je een zeer ervaren piloot hebt, maar je geeft hem ook een co-piloot die alleen maar kijkt of de piloot niet in de war is. Als de co-piloot ziet dat de piloot twijfelt, grijpt hij in en zegt: "Wacht, laten we dit eerst door een mens laten controleren."

Kortom: SHRUG-FM maakt slimme aardobservatie-robots veiliger, betrouwbaarder en eerlijker, zodat we ze echt kunnen vertrouwen als het er echt toe doet.

Titel: SHRUG-FM: Betrouwbaarheidsbewuste Fundamentele Modellen voor Aardeobservatie

1. Het Probleem

Geospatiale fundamentele modellen (GFMs) voor Aardeobservatie (EO) zijn getraind op enorme datasets (bijv. Sentinel, Landsat) om representaties van het aardoppervlak te leren. Hoewel deze modellen veelbelovend zijn, vertonen ze in de praktijk vaak onbetrouwbare prestaties, vooral in omgevingen die ondervertegenwoordigd waren tijdens het vooraf trainen (pre-training).

Distributieshifts: Modellen falen bij ruimtelijke extremen (bijv. woestijnen, poolgebieden) of temporele extremen (bijv. extreme weersomstandigheden, droogte) omdat de trainingsdata deze scenario's niet volledig dekt.
Gebrek aan onzekerheidsmeting: Bestaande GFMs missen ingebouwde mechanismen om Out-of-Distribution (OOD) invoer te detecteren of onzekerheid te kwantificeren. Dit leidt vaak tot oververzekerde voorspellingen, wat riskant is voor veiligheidskritieke toepassingen zoals rampenbeheer (branden, overstromingen, aardverschuivingen).
Kloof tussen benchmark en realiteit: Modellen presteren goed op standaard benchmarks, maar falen in real-world scenario's zonder dat de gebruiker dit kan detecteren.

2. Methodologie: Het SHRUG-FM Framework

SHRUG-FM is een model-onafhankelijk framework dat een "selectieve voorspeller" (selective predictor) implementeert. In plaats van blind te voorspellen, kan het model beslissen om af te zien van een voorspelling (abstain) als het vertrouwen te laag is. Dit wordt bereikt door drie complementaire signalen te fuseren:

A. Drie Signalen voor Betrouwbaarheid:

Input-niveau OOD ( $U_I$ ):
- Detecteert onbekende fysische omgevingen op basis van interpreteerbare geofysische kenmerken (bijv. landbedekking, hoogte, helling) uit externe databases (HydroATLAS, Copernicus DEM).
- Berekent percentielranks en ruimtelijke dichtheid om te bepalen of een scène afwijkt van de verdeling van de vooraf getrainde data.
Embedding-niveau OOD ( $U_E$ ):
- Detecteert onbekende representaties in de interne ruimte van het fundamentele model.
- Gebruikt k-means clustering op de vooraf getrainde embeddings om prototypes te creëren.
- Berekent twee scores: de genormaliseerde afstand tot de dichtstbijzijnde cluster en de Nearest Centroid Distance Deficit (NCDD) om te meten hoe "verward" het model is over een sample.
Taak-specifiek Onzekerheid ( $U_T$ ):
- Kwantificeert de voorspellende onzekerheid van de downstream decoder.
- Gebruikt ensemble-methoden (standaard ensemble en bootstrap ensemble) om zowel aleatorische (data-gerelateerde) als epistemische (model-gerelateerde) onzekerheid te schatten via metrics zoals gemiddelde entropie en wederzijdse informatie (Mutual Information).

B. Selectieve Classifier:

Een shallow "glass-box" decision tree (maximale diepte 3) fungeert als de selectiefunctie $g$ .
Deze classifier neemt de drie signalen ( $U_I, U_E, U_T$ ) als input en leert wanneer een voorspelling te accepteren of af te wijzen.
Het doel is om de risico-coverage afweging te optimaliseren: het minimaliseren van het risico (fouten) op de behouden samples bij een vaste dekking.

3. Belangrijkste Bijdragen

Formalisatie van faalbronnen: Het paper identificeert en kwantificeert drie distincte bronnen van falen in GFMs: input-niveau, embedding-niveau en taak-niveau.
Unificatie van signalen: SHRUG-FM is het eerste framework in het EO-domein dat input- en latent-space distributie-analyse combineert met voorspellende onzekerheid in één systeem voor selectieve voorspelling.
Interpretabiliteit: Door een eenvoudige decision tree te gebruiken, biedt het framework inzichtelijke drempels. Gebruikers kunnen zien waarom een voorspelling werd afgewezen (bijv. "hoge helling" gecombineerd met "hoge embedding-drift").
Empirische validatie: Het framework is getest op drie hoog-risico taken: segmentatie van verbrande gebieden, overstromingsmapping en aardverschuivingdetectie.

4. Resultaten

De evaluatie werd uitgevoerd op datasets zoals ExeBench (branden), WorldFloods (overstromingen) en Landslide Reference Data (aardverschuivingen), gebruikmakend van de SSL4EO-S12 foundation models.

Risicoreductie: SHRUG-FM presteert consequent beter dan single-signal baselines (zoals alleen entropie of alleen OOD-detectie).
- Bij de "Fire" taak werd het risico bij 50% dekking verlaagd naar 0.090 (tegenover 0.137 voor de beste baseline).
- Bij "Flood" werd de Area Under the Risk-Coverage Curve (AURC) verlaagd naar 0.115.
- Bij "Landslides" (met zeer beperkte data) werd de AURC verlaagd van 0.526 naar 0.392.
Robuustheid: Het framework behoudt of verbetert de prestaties (F1-score) op de behouden samples terwijl onbetrouwbare data wordt weggefilterd.
Ablatiestudie: De studie toont aan dat onzekerheidsmeting (UQ) cruciaal is; zonder deze signalen stort de prestatie in. Er werd een "Input Paradox" waargenomen waarbij het weglaten van input-kenmerken soms de ROC AUC verhoogde in data-schaarse regimes, maar deze werden toch behouden voor interpretatie en fysieke gronding.
Feature Stabiliteit: Wederzijdse informatie (Mutual Information) bleek de meest robuuste indicator voor modelfalen over alle taken heen.

5. Betekenis en Toekomstperspectief

SHRUG-FM vormt een cruciale stap naar veilige en betrouwbare implementatie van AI voor klimaat- en milieutoepassingen.

Vertrouwen en Accountability: Het sluit de kloof tussen benchmark-prestaties en real-world betrouwbaarheid door onzekerheid om te zetten in actieerbare signalen.
Operationeel Gebruik: Het framework fungeert als een "triage-systeem": voorspellingen die als onzeker worden gemarkeerd, worden doorgestuurd naar menselijke analisten of hogere-fideliteit modellen, terwijl betrouwbare voorspellingen geautomatiseerd worden verwerkt.
Toekomst: De auteurs pleiten voor een nauwere integratie tussen FM-ontwikkeling en -implementatie, waarbij metadata (zoals pretrainingsdistributies) samen met de modellen worden gedistribueerd om integratie te vergemakkelijken.

Samenvattend biedt SHRUG-FM een praktische, interpreteerbare oplossing om de risico's van het gebruik van geospatiale fundamentele modellen in kritieke scenario's te beheersen.