CarbonBench: A Global Benchmark for Upscaling of Carbon Fluxes Using Zero-Shot Learning

Deze paper introduceert CarbonBench, het eerste wereldwijde benchmark voor het evalueren van zero-shot leermethoden om koolstoffluxen nauwkeurig te upscalen naar onbemonsterde ecosystemen, gebaseerd op meer dan 1,3 miljoen dagelijkse observaties van 567 meetstations.

De kern

Stel je voor dat je een wereldwijde kaart wilt maken van hoeveel koolstof de natuur opslaat. Dit is cruciaal om te weten hoe we de klimaatverandering kunnen bestrijden. Maar er is een groot probleem: we hebben maar heel weinig meetpunten.

Het Probleem: De "Vlekken" op de Wereldkaart
Stel je voor dat je een gigantisch tapijt hebt (de aarde) en je wilt weten hoe dik het is op elke plek. Je hebt echter maar een paar meetlatjes (de meettorens) die je over het tapijt hebt gelegd. Je kunt de dikte precies meten waar je latje staat, maar wat gebeurt er op de plekken ernaast? Of in de jungle, of in de poolstreken waar je geen meetlatjes kunt plaatsen?

Tot nu toe probeerden wetenschappers dit op te lossen door te gokken op basis van wat ze op de plekken meten. Maar als je een model traint op bossen in Europa, werkt dat vaak slecht als je het probeert toe te passen op regenwouden in Brazilië. Het is alsof je probeert te leren skiën in Zweden en dan verwacht dat je direct perfect kunt surfen in Hawaï. De omgeving is te anders.

De Oplossing: CarbonBench (De Nieuwe "Testbaan")
Aleksei Rozanov en zijn team van de Universiteit van Minnesota hebben CarbonBench bedacht. Dit is geen nieuw meetapparaat, maar een gigantische testbaan voor slimme computerprogramma's (AI).

Het doel van CarbonBench is om te testen of een computermodel "zero-shot learning" kan. Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel:

• De Oefening: Je geeft de computer data van 567 plekken over de hele wereld (van 2000 tot 2024).
• De Uitdaging: Vervolgens vraag je de computer: "Voorspel nu de koolstofopslag op een plek waar we nooit eerder hebben gemeten."
• De Huid: De computer moet de patronen leren (zoals "als het warm is en er veel zon is, groeien planten sneller") en die toepassen op een totaal nieuwe omgeving, zonder dat hij daarvoor ooit een voorbeeld heeft gezien.

Wat maakt dit speciaal?

1. Eerlijke Vergelijking: Vroeger deed iedereen zijn eigen ding met verschillende meetpunten en verschillende rekenmethodes. Het was alsof iedereen een andere sport speelde met andere regels. CarbonBench zorgt voor één standaard: dezelfde data, dezelfde regels, zodat we echt kunnen zien welk model het beste is.
2. De "Stratified" Test: Ze testen het model op twee manieren:
   • Soort Test: Kun je het model van een bos in Nederland toepassen op een grasland in Afrika?
   • Klimaat Test: Kun je het model van een tropisch klimaat toepassen op een poolklimaat?
     Dit helpt om te zien waar de modellen het meest falen.
3. De "Worst-Case" Scenario's: Veel modellen kijken alleen naar het gemiddelde. CarbonBench kijkt ook naar de slechtste resultaten. Als een model goed is in 90% van de gevallen, maar catastrofale fouten maakt in de poolstreken, is het niet goed genoeg voor de wereld. CarbonBench pakt die fouten bloot.

De Resultaten tot nu toe
De onderzoekers hebben verschillende modellen getest, van simpele bomen (statistische modellen) tot complexe hersenen (neural networks).

• De Winnaars: Modellen die rekening houden met tijd (zoals een film die je afkijkt in plaats van een foto) deden het beter dan modellen die alleen naar één moment kijken.
• De Huidige Koning: Een model genaamd TAM-RL deed het het beste. Het was niet alleen gemiddeld goed, maar maakte vooral veel minder "catastrofale fouten" op moeilijke plekken. Het was robuust, zoals een goede all-terrain auto die overal komt, in plaats van een raceauto die alleen op een circuit rijdt.
• De Moeilijkheid: Het voorspellen van de netto uitwisseling (het verschil tussen wat planten opnemen en wat ze uitstoten) bleek het lastigst. Dit is als proberen het saldo van een rekening te voorspellen door alleen de inkomsten en uitgaven apart te kijken; een klein foutje hier of daar maakt het saldo volledig verkeerd.

Waarom is dit belangrijk voor jou?
CarbonBench is meer dan alleen een academisch spelletje. Het helpt ons om:

• Betere klimaatafspraken te maken.
• Te weten of bossen echt genoeg koolstof opslaan om onze uitstoot te compenseren.
• Te ontdekken waar we nieuwe meettorens moeten bouwen (bijvoorbeeld in gebieden waar de modellen het meest falen).

Kortom: CarbonBench is de rijbewijstest voor slimme computerprogramma's die de koolstofcyclus van onze planeet moeten begrijpen. Zonder zo'n test zouden we blindelings vertrouwen op modellen die misschien wel werken in onze achtertuin, maar falen op de plekken die het belangrijkst zijn voor het klimaat.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CarbonBench: A Global Benchmark for Upscaling of Carbon Fluxes Using Zero-Shot Learning", vertaald en samengevat in het Nederlands.

1. Probleemstelling

Het nauwkeurig kwantificeren van het uitwisselen van koolstof tussen het land en de atmosfeer is cruciaal voor klimaatbeleid en koolstofrekening. Huidige methoden vertrouwen op eddy covariance (EC) torens die lokale metingen doen. Deze metingen zijn echter geografisch zeer schaars (minder dan 0,015% van het landoppervlak) en vertegenwoordigen onvoldoende diverse ecosystemen, zoals tropische regenwouden en hoge breedtegraden.

Het probleem van het upscaling (het extrapoleren van puntmetingen naar een wereldwijd raster) wordt gezien als een zero-shot ruimtelijke transfer learning taak voor tijdsreeksregressie. Modellen moeten leren om koolstofstromen te voorspellen op locaties waar ze nooit eerder data hebben gezien, rekening houdend met verschillende klimaatzones en vegetatietypes.

De huidige uitdagingen zijn:

• Gebrek aan standaardisatie: Er bestaat geen gestandaardiseerde benchmark om modellen te vergelijken onder strikte zero-shot voorwaarden (generalisatie naar nieuwe locaties).
• Ruimtelijke heterogeniteit: Relaties tussen meteorologische variabelen en koolstofstromen variëren sterk per ecosysteem. Modellen die goed presteren in bekende gebieden, falen vaak bij ruimtelijke transfer.
• Kloof tussen ML en Earth Science: Bestaande benchmarks focussen vaak op temporele generalisatie (voorspellen in de toekomst op dezelfde locatie) of classificatie, en niet op ruimtelijke generalisatie voor regressieproblemen.

2. Methodologie: CarbonBench

De auteurs introduceren CarbonBench, het eerste benchmark voor zero-shot ruimtelijke transfer learning in koolstofflux-upscaling.

Dataset:

• Omvang: Meer dan 1,3 miljoen dagelijkse observaties van 567 flux-torenlocaties wereldwijd (periode 2000–2024).
• Doelvariabelen (Targets):
  • GPP (Gross Primary Production): Koolstofopname door fotosynthese.
  • RECO (Ecosystem Respiration): Koolstofafgifte door respiratie.
  • NEE (Net Ecosystem Exchange): Het netto-evenwicht tussen GPP en RECO.
• Input Features:
  • Meteorologie: 150 variabelen van ERA5-Land (temperatuur, neerslag, straling, etc.).
  • Remote Sensing: 12 variabelen van MODIS (spectrale reflectie, wolkenbedekking).
  • Metadaten: Vegetatietype (IGBP-classificatie) en klimaatklasse (Köppen-Geiger).
• Data Harmonisatie: Data is geharmoniseerd naar een dagelijkse resolutie en genormaliseerd.

Evaluatie Protocol:
In plaats van tijdssplitsen, gebruikt CarbonBench een ruimtelijke hold-out strategie. Locaties worden verdeeld in trainings- en testsets, zodat het model moet generaliseren naar volledig onbekende locaties. Er worden twee gestratificeerde splits gebruikt om generalisatie te testen over verschillende dimensies:

1. IGBP-gestratificeerd: Splits op basis van vegetatietype (bijv. bossen, graslanden, akkers).
2. Köppen-gestratificeerd: Splits op basis van klimaatzone (bijv. tropisch, aride, polair).

Dit zorgt ervoor dat modellen worden getest op hun vermogen om te generaliseren naar nieuwe ecosystemen of nieuwe klimaatzones, waarbij de prestaties worden gerapporteerd via percentielen (25e, 50e, 75e) om te voorkomen dat goede prestaties in dominante gebieden falen in onderbelichte gebieden verdoezelen.

Baselines:
Er werden diverse modellen getest, variërend van:

• Static: Tree-based methoden (XGBoost, LightGBM).
• Temporal: Recurrente netwerken (LSTM, GRU), Transformers, en specifieke transfer learning architecturen (TAM-RL).
  Alle modellen werden getraind in een multi-task setting om GPP, RECO en NEE gelijktijdig te voorspellen.

3. Belangrijkste Resultaten

De experimenten leverden de volgende inzichten op:

• Temporele modellen superieur aan statische modellen: Modellen die sequentiële afhankelijkheden benutten (zoals LSTM, Transformers en TAM-RL) presteerden over het algemeen beter dan statische tree-based modellen (XGBoost) bij zero-shot transfer.
• Robuustheid van TAM-RL: Het model TAM-RL (ontworpen voor cross-domain generalisatie) behaalde de beste mediane prestaties voor GPP onder IBP-splits en toonde de meest robuuste prestaties (hoogste 25e percentiel). Dit betekent dat het model minder vaak catastrofale fouten maakte op moeilijke locaties dan andere modellen.
• Uitdaging bij NEE: De voorspelling van NEE (Net Ecosystem Exchange) is aanzienlijk moeilijker dan GPP of RECO. Omdat NEE het kleine verschil is tussen twee grote waarden (GPP en RECO), worden kleine fouten hierin versterkt. Veel modellen lieten zelfs negatieve $R^2$-waarden zien voor 25% van de testlocaties, wat aangeeft dat ze slechter presteerden dan een simpele gemiddelde voorspelling.
• Klimaat vs. Vegetatie: Generalisatie over klimaatzones (Köppen-splits) bleek uitdagender dan over vegetatietypes. Hoewel de mediane prestaties onder Köppen soms hoger waren, waren de "worst-case" scenario's (25e percentiel) veel slechter, wat wijst op grote variabiliteit in hoe goed modellen bepaalde klimaatzones (zoals tropisch of polair) kunnen hanteren.

4. Kernbijdragen

1. Eerste Benchmark: CarbonBench is het eerste gestandaardiseerde framework voor zero-shot ruimtelijke transfer learning specifiek voor tijdsreeksregressie in de aardwetenschappen.
2. Gestandaardiseerde Data & Protocol: Het biedt een harmoniserende dataset van 567 sites met een strikt protocol dat ruimtelijke generalisatie scheidt van temporele autocorrelatie.
3. Python Library: Een open-source bibliotheek die data-analyse, feature engineering, training (PyTorch) en evaluatie faciliteert.
4. Baselines en Vergelijking: Het stelt een reeks state-of-the-art baselines op, waardoor de gemeenschap nu methoden systematisch kan vergelijken.
5. Inzicht in Failures: Door gebruik te maken van percentiel-basering in plaats van gemiddelden, maakt het benchmark zichtbaar waar modellen falen (bijv. in onderbelichte ecosystemen), wat essentieel is voor betrouwbare klimaatmodellering.

5. Betekenis en Impact

CarbonBench vormt een brug tussen machine learning en Earth system science.

• Voor de ML-gemeenschap: Het adresseert een kritieke kloof in benchmarks: ruimtelijke transfer learning voor regressie. Het biedt een testbed voor het onderzoeken van distributieveranderingen (distribution shift) in tijdsreeksen.
• Voor de Klimaatwetenschap: Het stelt onderzoekers in staat om modellen te ontwikkelen die betrouwbaarder zijn in gebieden waar geen metingen zijn (zoals de tropen of poolgebieden). Dit is essentieel voor het opstellen van nauwkeurige koolstofbalansen en het ondersteunen van klimaatbeleid.
• Toekomstige Richtingen: Het benchmark stimuleert onderzoek naar zelf-supervised learning, uncertainty quantification, en kennis-gedreven ML (physics-informed priors) om de prestaties in onderbelichte biomen te verbeteren.

Kortom, CarbonBench is een fundamenteel instrument om de volgende generatie klimaatmodellen te ontwikkelen die niet alleen goed presteren waar data is, maar ook betrouwbaar kunnen voorspellen waar data ontbreekt.