Ecological mapping with geospatial foundation models

Deze studie toont aan dat het fijnafstemmen van aardobservatie-foundationmodellen zoals Prithvi-EO-2.0 en TerraMind de prestaties van traditionele baselines verbetert bij ecologische toepassingen, hoewel succes sterk afhankelijk blijft van de uitlijning van pretrainingsmodi met downstream-data en de kwaliteit van de labels.

De kern

Ecologische Kaarten met een "Superhersenen" voor de Aarde: Een Simpele Uitleg

Stel je voor dat je een enorme, complexe puzzel hebt: de aarde. We willen weten waar bossen precies staan, hoe dicht het bladerdak is, en waar veenmoerassen (natte gebieden die veel koolstof opslaan) zich bevinden. Vroeger deden we dit met gewone computers die moesten leren van nul af aan, of met mensen die urenlang door foto's keken.

In dit onderzoek hebben IBM-onderzoekers gekeken of we nieuwe, slimme "Superhersenen" (zogenoemde Foundation Models) kunnen gebruiken om deze puzzel sneller en beter op te lossen. Ze noemen deze modellen Prithvi en TerraMind.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Alleskenners" vs. De "Lokale Expert"

Stel je voor dat je een nieuwe stad wilt verkennen.

• De oude methode (ResNet): Je neemt een lokale gids die alleen de straten kent waar hij woont. Hij is goed in die ene buurt, maar als je hem naar een heel ander landschap brengt, raakt hij de weg kwijt. Dit is wat de traditionele modellen deden: ze waren getraind op gewone foto's (zoals huisdieren of auto's) en moesten dan opnieuw leren om satellietbeelden te begrijpen.
• De nieuwe methode (Prithvi & TerraMind): Dit zijn als wereldreizigers die al miljoenen foto's van de aarde hebben gezien voordat ze bij jou aankomen. Ze weten al hoe een bos eruitziet, hoe water eruitziet en hoe een berg eruitziet. Ze hoeven niet meer vanaf nul te leren; ze hoeven alleen maar een klein beetje "bij te sturen" om jouw specifieke vraag te beantwoorden.

2. Wat hebben ze getest?

De onderzoekers hebben deze Superhersenen op drie moeilijke taken getest, alsof ze een examen deden:

• Het bos in kaart brengen: Kunnen ze zien of een boom naaldbomen of loofbomen heeft, en hoe dicht het bladerdak is?
  • Resultaat: De Superhersenen waren veel beter dan de lokale gids. Ze zagen patronen die de oude modellen misten.
• Veenmoerassen vinden: Kunnen ze de rode-bruine plekken van veenmos vinden in een groot, nat gebied in Patagonië?
  • Resultaat: Ook hier waren de Superhersenen sterker. Maar er was een addertje onder het gras: de kwaliteit van de "antwoorden" (de labels) was niet altijd perfect.
• Het "Magische Vertaaltoestel" (Generatie): TerraMind heeft een speciale truc. Als je alleen maar een foto van een bos hebt, maar mist de informatie over regen of temperatuur, kan TerraMind die ontbrekende stukjes verzinnen (genereren) op basis van wat het al weet. Het is alsof je een halfvol glas water ziet en het model de rest van het glas "invult" met water dat er logischerwijs had moeten zitten.

3. De Valkuilen: Waarom is het niet perfect?

Hoewel deze modellen geweldig zijn, zijn ze niet onfeilbaar. De onderzoekers ontdekken een paar belangrijke dingen:

• De "Vertaalprobleem": Stel je voor dat je een model hebt getraind op foto's van de zomer, maar je vraagt het nu om een winterlandschap te analyseren. Het kan verwarren raken. Als de data die je invoert (bijv. een foto) te veel verschilt van wat het model in zijn "hoofd" heeft opgeslagen, maakt het fouten.
• De "Scherpte" van de foto: De satellietbeelden die ze gebruikten waren goed, maar niet haarscherp. Het is alsof je een mozaïek probeert te maken met grote tegels in plaats van kleine steentjes. Kleine details (zoals een klein stukje veenmos) gaan soms verloren.
• De "Antwoorden" zijn soms vaag: Om een model te trainen, heb je een "antwoordenboekje" nodig. In dit geval waren die antwoordenboekjes (de labels) soms gemaakt door andere computers of met grove schattingen. Als het antwoordboekje zelf onnauwkeurig is, leert het model verkeerde dingen. Het is alsof je een kind leert rekenen met een boekje waar de antwoorden soms fout zijn.

4. De Grote Les

De belangrijkste conclusie van dit onderzoek is: Deze nieuwe "Superhersenen" zijn een enorme stap vooruit. Ze zijn veel slimmer dan de oude methoden en kunnen zich beter aanpassen aan verschillende omgevingen.

Maar, ze zijn geen magische toverstaf. Om ze echt goed te laten werken, hebben ze:

1. Hoge kwaliteit data (scherpe foto's).
2. Nauwkeurige antwoorden (labels gemaakt door echte experts in het veld, niet alleen door computers).
3. De juiste "gevoelens" (soms moeten we extra informatie toevoegen, zoals hoe het terrein eruitziet of hoe de grond eruitziet, niet alleen hoe het eruitziet vanuit de lucht).

Kortom: We hebben nu een krachtig nieuw gereedschap om de aarde te begrijpen en te beschermen, maar we moeten het nog steeds met de juiste zorg en de beste informatie voeden om de beste resultaten te krijgen.

Technische samenvatting

Titel: Ecologische Mapping met Geospatiale Basismodellen (Geospatial Foundation Models)

Auteurs: Craig Mahlasi et al. (IBM Research & IBM Sustainability Software)

---

1. Probleemstelling

Hoewel Geospatiale Basismodellen (GFMs) veelbelovend zijn voor algemene aardobservatietaken (zoals landbedekking en objectdetectie), is hun waarde voor complexe ecologische toepassingen nog onvoldoende gekarakteriseerd. Ecologische systemen hebben ingewikkelde eigenschappen (zoals biodiversiteit en ondergrondse dynamiek) die niet direct worden gemeten door de satellietdata die vaak wordt gebruikt voor het vooraf trainen van deze modellen.

Bestaande modellen kampen met beperkingen zoals:

• Lage domein-generalisatie.
• Geografische en temporele bias.
• Moeite met het onderscheiden van fijne ecologische nuances (bijv. specifieke mossoorten of bladvormen).

Daarom blijven op maat gemaakte, toepassingsspecifieke machine learning-modellen vaak de standaard voor ecologische en conservatiedoeleinden. Dit onderzoek onderzoekt of GFMs deze kloof kunnen overbruggen.

2. Methodologie

Onderzoekssites en Gebruiksgeschiedenis:
Het onderzoek focust op drie specifieke ecologische use-cases:

1. NEON-sites (VS): Mapping van boskenmerken (bladvorm en kroondichtheid).
2. Karukinka Natuurpark (Patagonië, Chili): Detectie en monitoring van veenmoerassen (voornamelijk Sphagnum Magellanicum).

Modellen:
De auteurs vergelijken twee vooraf getrainde GFMs met een traditionele baseline:

• Prithvi-EO-2.0: Een transformer-gebaseerd GFM vooraf getraind op Earth Observation-data.
• TerraMind: Een multimodaal GFM (transformer) ontworpen voor heterogene ruimtelijke inputs en generatie van modaliteiten.
• ResNet-101: Een convolutioneel neuraal netwerk (CNN) vooraf getraind op RGB-afbeeldingen (als sterke baseline).

Data en Input Modaliteiten:

• Optisch: Copernicus Sentinel-2 L2A (S2-L2A) data (10m resolutie), gebruikt voor RGB en NDVI.
• Radar: Copernicus Sentinel-1 GRD (S1-GRD) data (VV en VH banden).
• Topografie: Digital Surface Model (DEM).
• Labels: Afgeleid van diverse bronnen, waaronder Copernicus Land Monitoring Service, Chileense inventarisatie (CONAF) en PEATGRIDS-datasets. De labels zijn aangepast aan de specifieke ecologische doelen (bijv. samenvoegen van bosklassen naar 'naald', 'breedblad' of 'kroondichtheid').

Experimenten:

• Zero-shot generatie: TerraMind wordt getest op het genereren van ESRI-landbedekkingskaarten vanuit S2-data.
• Fine-tuning: Alle modellen worden fijn afgestemd (fine-tuned) op de drie use-cases.
• Multimodale experimenten: TerraMind wordt getest met zowel unimodale (alleen S2) als multimodale inputs (S2 + S1 + DEM + NDVI).
• Training: Gebruik van de TerraTorch toolkit, AdamW optimizer, Dice Loss en een learning rate van $1 \times 10^{-4}$.

3. Belangrijkste Bijdragen

• Systematische Evaluatie: Eén van de eerste studies die GFMs systematisch evalueert op complexe ecologische taken (niet alleen algemene landbedekking).
• Benchmarking: Vergelijking van state-of-the-art GFMs (Prithvi, TerraMind) tegen een gevestigde CNN-baseline (ResNet-101) in ecologische contexten.
• Multimodale Analyse: Onderzoek naar de meerwaarde van het combineren van optische, radar en topografische data voor het detecteren van specifieke ecosystemen zoals veenmoerassen.
• Kritische Analyse van Datakwaliteit: Inzicht in hoe labelkwaliteit, resolutie en dataset-afwijkingen (domain shift) de prestaties van GFMs beïnvloeden.

4. Resultaten

A. Generatie (Zero-shot):
TerraMind slaagde erin om ESRI landbedekkingskaarten te genereren vanuit Sentinel-2 data met een gewogen Intersection over Union (IoU) van 78,82%. Het model presteerde uitstekend bij vegetatieklassen (bomen: 90%, weidegronden: 87%), maar had moeite met het onderscheiden van grasland van andere kruidachtige vegetatie.

B. Boskenmerken Mapping (Leaf Form & Canopy Density):

• De GFMs (Prithvi en TerraMind) presteerden consistent beter dan ResNet (minimaal 20% verbetering in F1-score).
• TerraMind was het beste model, gevolgd door Prithvi.
• De modellen slaagden erin, ondanks training op grove labels, de ruimtelijk-spectrale dimensies van de input te vangen.

C. Veenmoeras Detectie:

• Unimodaal: Prithvi en TerraMind overtroffen ResNet op alle labeldatasets.
• Multimodaal: TerraMind met multimodale input (S2 + S1 + DEM + NDVI) leverde de superieure prestaties op, met name bij het scheiden van veen van andere vegetatie. De toevoeging van radar (S1) en DEM bleek cruciaal.
• Labelkwaliteit: De prestaties varieerden sterk afhankelijk van de labelbron. De Chileense labels waren het moeilijkst te reproduceren. Modellen hadden moeite met het onderscheiden van veenmos van andere kruidachtige vegetatie zonder ondergrondse data (zoals veendiepte of koolstofgehalte).

5. Betekenis en Conclusie

Kernbevindingen:

1. Superioriteit van GFMs: GFMs presteren significant beter dan traditionele ResNet-baselines voor ecologische mapping, voornamelijk omdat ze zijn vooraf getraind op aardobservatiedata, wat de "domein-kloof" verkleint.
2. Multimodaliteit is essentieel: TerraMind toont aan dat het combineren van verschillende data-modaliteiten (optisch, radar, topografie) de prestaties aanzienlijk verbetert, vooral voor complexe taken zoals veenmoerasdetectie.
3. Beperkingen:
   • Resolutie: De 10m resolutie van Sentinel-2 en het gebrek aan pixel-level detailherstel in transformers beperken de detectie van kleine ecologische veranderingen.
   • Labelkwaliteit: "Off-the-shelf" datasets (vaak gegenereerd door ML) bevatten onzekerheden en artefacten die de modelvalidatie belemmeren. Handmatig geverifieerde, hoogwaardige labels zijn cruciaal.
   • Subsurface Dynamiek: Modellen kunnen geen ondergrondse processen (zoals veenlaag-diepte) direct waarnemen, wat leidt tot fouten bij het detecteren van specifieke veenmossoorten.

Toekomstperspectief:
Voor succesvolle toepassing van GFMs in de ecologie is zorgvuldige dataset-uitlijning nodig, gebruik van hogere resolutie data waar mogelijk, en de voorkeur voor labels die zijn geverifieerd door veldonderzoek en experts. De studie bevestigt dat GFMs een krachtig hulpmiddel zijn, maar geen "one-size-fits-all" oplossing voor complexe ecologische vraagstukken zonder aandacht voor datakwaliteit en modaliteit.