Evaluating Transferability and Robustness of Process-Guided Neural Networks in Forest Carbon Flux Modelling

Dit onderzoek toont aan dat procesgeleide neurale netwerken (PGNN) in vergelijking met puur datagedreven modellen en een geïsoleerd procesmodel (PRELES) robuustere en generaliseerbaarere voorspellingen leveren voor koolstofstromen in bossen, met name in data-schaarse situaties en onder veranderende klimaatomstandigheden.

De kern

Stel je voor dat je een super slimme voorspeller wilt bouwen die kan zeggen hoeveel koolstof een bos opneemt. Dit is belangrijk voor ons klimaat. Maar bossen zijn lastig: ze gedragen zich anders in de koude Finse bossen dan in het warme Zuid-Frankrijk.

De onderzoekers van dit artikel hebben gekeken naar drie manieren om deze voorspeller te maken:

1. De "Regelboek-Boer" (Het traditionele model): Dit is een model dat werkt met strikte natuurkundige regels, alsof het een recept volgt. Het werkt goed als je in de keuken staat waar het recept voor is bedacht, maar als je naar een ander land verhuist met andere ingrediënten, faalt het vaak.
2. De "Data-Detective" (Neurale netwerken): Dit is een kunstmatige intelligentie die alleen kijkt naar de data. Als je genoeg data hebt, is hij een genie. Maar als je weinig data hebt (wat vaak het geval is bij bossen), raakt hij in paniek en maakt hij rare fouten.
3. De "Hybride Gids" (Process-Guided Neural Networks): Dit is de ster van het verhaal. Het is een combinatie van de twee bovenstaande. De AI krijgt de "Regelboek-Boer" als een slimme assistent aan zijn zijde. De AI leert van de data, maar mag de regels van de Boer gebruiken als een veiligheidsnet of als een hint.

Wat hebben ze ontdekt?

• De combinatie wint: De "Hybride Gids" was overal beter dan de puur data-gedreven detective én beter dan de strikte Boer.
• Weinig data is geen probleem: Zelfs met heel weinig informatie (alsof je slechts een paar bladzijden van een boek hebt gelezen), kon de Hybride Gids al goede voorspellingen doen. De pure AI had daar veel meer pagina's voor nodig.
• De beste strategie: Er was één specifieke manier om de Boer en de AI samen te werken die het allerbeste werkte. Stel je voor dat de AI de Boer vraagt: "Wat denk jij dat er gaat gebeuren?" en de AI zegt: "Oké, ik ga het proberen, maar ik ga mijn eigen voorspelling maken en dan kijken hoeveel ik moet corrigeren op jouw antwoord." Dit heet de "Residual" methode. Deze methode was het meest robuust, zelfs als het klimaat veranderde of als ze naar een heel nieuw bos verhuisden.

Waarom faalde de Boer soms?
De onderzoekers keken naar een bos in Frankrijk (Le Bray) waar het droog en heet was. De "Regelboek-Boer" faalde daar omdat hij was opgeleid in Finland, waar het altijd nat is. Hij dacht dat zonlicht de belangrijkste factor was, maar in het droge Frankrijk was het gebrek aan water de echte boosdoener. De Boer kon die verandering niet snappen.

De Hybride Gids (vooral de "Residual" versie) was slimmer. Hij merkte op: "Hé, de Boer denkt dat zonlicht alles bepaalt, maar hier in Frankrijk klopt dat niet meer. Ik ga mijn eigen gewicht geven aan de droogte en de temperatuur, en de Boer gebruiken als een achtergrondhint." Hierdoor bleef hij stabiel, terwijl de Boer en de pure AI in de war raakten.

De conclusie in één zin:
Als je wilt voorspellen hoe bossen reageren op klimaatverandering, is het slimst om een AI te bouwen die niet alleen naar cijfers kijkt, maar die ook luistert naar de natuurwetten, zodat hij niet in de war raakt als het weer verandert.

Technische samenvatting

1. Probleemstelling

Voorspellingen van ecologische systemen, zoals bosecosystemen, zijn inherent complex vanwege de interactie van vele drijvende krachten die variëren in ruimte en tijd. Traditionele benaderingen kampen met twee hoofdproblemen:

• Data-gebaseerde modellen (Machine Learning/ANN): Kunnen complexe niet-lineaire relaties leren, maar presteren vaak slecht bij schaarse data en missen robuustheid bij extrapolatie naar onbekende omstandigheden (Out-of-Distribution of OOD), zoals veranderende klimaatcondities.
• Procesgebaseerde modellen (zoals PRELES): Zijn gebaseerd op mechanistische vergelijkingen en zouden theoretisch beter moeten generaliseren. Echter, ze zijn vaak te simpel om alle interacties te vangen, vereisen veelvuldige kalibratie per locatie en vertonen een sterke bias naar de omgeving waarin ze zijn ontwikkeld (bijv. boreale bossen in Finland), wat hun prestaties in andere klimaten (zoals mediterraan) beperkt.

De kernvraag is: Hoe kunnen we modellen ontwikkelen die zowel data-efficiënt zijn als robuust genoeg om te generaliseren naar ongezette, klimatisch afwijkende locaties?

2. Methodologie

De auteurs hebben een hybride aanpak ontwikkeld die procesgebaseerde kennis integreert in diepe leermodellen.

• Data: Gebruik gemaakt van data van vier PROFOUND-boslocaties in Europa (Hyytiälä in Finland, Sorø in Denemarken, Collelongo in Italië en Le Bray in Frankrijk). De doelvariabelen zijn Grof Primaire Productie (GPP) en Evapotranspiratie (ET), gestuurd door meteorologische variabelen (temperatuur, neerslag, VPD, PAR, fAPAR).
• Procesmodel (PM): Het model PRELES (een semi-empirisch model) diende als de bron van mechanistische kennis. Voor elke datasetsubset werd PRELES invers gekalibreerd om een baseline te vormen.
• Hybride Strategieën (PGNN): Er werden vijf strategieën geïmplementeerd om PRELES-predicties te integreren in Artificiële Neurale Netwerken (ANN):
  1. Bias: PRELES-output als input voor het ANN om systematische fouten te corrigeren.
  2. Parallel: De output van het ANN en PRELES worden opgeteld.
  3. Regularized: PRELES-output wordt gebruikt als regularisatieterm in de verliesfunctie.
  4. Residual (Nieuw): PRELES-output wordt als extra input gegeven aan het ANN, samen met de meteorologische drivers. Het netwerk leert de residuen (het verschil tussen de waarheid en de PRELES-predictie).
  5. Noisy Mixture of Experts (Nieuw): Een ensemble dat PRELES en meerdere ANN-architecturen combineert via een leerbaar "gating"-netwerk dat weegt welke expert het beste is voor een specifieke input.
• Experimenteel Opzet:
  • In-Distribution (ID): Training en testen binnen dezelfde locatie, maar met systematisch gereduceerde data (van 7 steekproeven tot volledige jaren) om data-efficiëntie te testen.
  • Out-of-Distribution (OOD): Training op drie locaties en testen op een vierde, ongezette locatie om generalisatievermogen te testen.
  • Validatie: Gebruik van geneste kruisvalidatie (Nested Cross-Validation) met uitgebreide hyperparameter-optimalisatie (Optuna, Bayesian Optimization) om te voorkomen dat prestatieverschillen door suboptimale tuning worden veroorzaakt.
• Interpretatie: Gebruik van Accumulated Local Effects (ALE) om te analyseren welke variabelen de modellen belangrijk vinden en hoe dit verandert bij domeinverschuivingen (domain shifts).

3. Belangrijkste Bijdragen

• Uitgebreide Evaluatie van Hybrid Modellen: In tegenstelling tot eerdere studies die zich beperkten tot één locatie, testen de auteurs systematisch verschillende hybride strategieën over meerdere klimaatzones en data-regimes.
• Nieuwe Architecturen: Introductie en validatie van de "Residual" en "Noisy Mixture of Experts" strategieën binnen de context van boskoolstofmodelling.
• Analyse van Domeinverschuiving: Een diepgaande analyse van waarom modellen falen bij domeinverschuiving, gekoppeld aan veranderingen in correlatiestructuren tussen inputvariabelen (bijv. het lossen van de relatie tussen fAPAR en GPP in droge gebieden).
• Data-vereisten: Kwantificering van hoeveel data nodig is voor stabiele voorspellingen, wat aantoont dat representatieve dekking van omgevingsstaten belangrijker is dan puur de hoeveelheid data.

4. Resultaten

• Prestatievergelijking:
  • Zowel pure data-gedreven modellen (naive ANN) als hybride modellen (PGNN) presteerden consistent beter dan het losse procesmodel (PRELES).
  • De Residual-strategie bleek de meest robuuste en betrouwbare methode. Deze presteerde niet alleen het beste bij extreme data-schaarste (7 steekproeven), maar ook bij extrapolatie naar ongezette locaties (OOD).
  • Bij de OOD-experimenten presteerde de Residual-strategie significant beter dan de "naive" ANN, vooral op de moeilijke locatie Le Bray (Frankrijk).
• Data-Efficiëntie:
  • Modellen hadden verrassend weinig data nodig voor stabiele prestaties (ongeveer 40-50 steekproeven, equivalent aan wekelijkse of maandelijkse resolutie).
  • De prestatieverbetering door extra data was groter voor hybride modellen dan voor het procesmodel alleen.
• Interpretatie en Domeinverschuiving:
  • PRELES was sterk afhankelijk van de relatie tussen fAPAR (geabsorbeerde straling) en GPP. Op Le Bray, waar waterstress de primaire limiterende factor werd, brak deze relatie af, wat leidde tot slechte prestaties van PRELES.
  • Naive ANN's leunden zwaar op stabiele relaties tussen straling (PAR) en temperatuur (Tair).
  • Residual-modellen waren in staat om hun afhankelijkheid te herschikken: ze gebruikten de stabiele meteorologische drivers als basis en gebruikten de PRELES-predictie als aanvullende informatie. Dit maakte ze minder kwetsbaar voor de specifieke falende mechanistische aannames van PRELES in droge omstandigheden.

5. Betekenis en Conclusie

De studie concludeert dat procesgeleide neurale netwerken (PGNN), en specifiek de Residual-architectuur, een superieure strategie vormen voor het modelleren van boskoolstofstromen. Ze bieden het beste compromis:

1. Ze profiteren van de flexibiliteit van data-gedreven leerprocessen.
2. Ze gebruiken de inductieve bias van procesmodellen om robuustheid te bieden bij data-schaarste en klimaatverschuivingen.
3. Ze vermijden de starre beperkingen van puur procesmodellen die falen wanneer de onderliggende mechanistische aannames (zoals waterstress-dynamica) niet kloppen in nieuwe omgevingen.

De auteurs benadrukken dat toekomstige hybride modellen zich moeten richten op het expliciet modelleren van regime-overgangen (bijv. tussen energie- en water-gelimiteerde systemen), mogelijk door specifieke procescomponenten die moeilijk te modelleren zijn (zoals stomatale sluiting bij droogte) te vervangen door leerbare neurale representaties. Dit onderzoek biedt een blauwdruk voor het bouwen van schaalbare, betrouwbare ecologische modellen in een veranderend klimaat.