Evaluating Transferability and Robustness of Process-Guided Neural Networks in Forest Carbon Flux Modelling

Die Studie zeigt, dass prozessgestützte neuronale Netze (PGNN) im Vergleich zu rein datengetriebenen Modellen und einem reinen Prozessmodell (PRELES) robustere und generalisierbare Vorhersagen für den Kohlenstofffluss in Wäldern liefern, insbesondere in datenarmen Szenarien und unter sich verändernden klimatischen Bedingungen.

Das Wesentliche

🌲 Der Wald, der Computer und der alte Weisheitsschatz

Stell dir vor, du versuchst zu erraten, wie viel Kohlenstoff ein Wald an einem bestimmten Tag aufnimmt. Das ist wichtig, um den Klimawandel zu verstehen. Aber Wälder sind kompliziert: In Finnland ist es kalt und nass, in Italien heiß und trocken. Was in einem Wald funktioniert, passt oft nicht im nächsten.

Wissenschaftler haben zwei Hauptwerkzeuge, um das zu berechnen:

1. Der "Alte Weisheitsschatz" (Der Prozess-Modell-Computer):
   Das ist wie ein erfahrener Förster, der seit 50 Jahren Bäume kennt. Er hat Regeln gelernt: "Wenn die Sonne scheint und es warm ist, wachsen die Bäume." Aber dieser Förster hat einen Haken: Er wurde nur in Finnland ausgebildet. Wenn du ihn nach Italien schickst, wo die Bäume anders auf Hitze reagieren, macht er Fehler, weil seine alten Regeln dort nicht mehr passen.

2. Der "Lernende Schüler" (Die Künstliche Intelligenz / Neuronale Netze):
   Das ist ein super-schneller Schüler, der riesige Datenmengen auswendig lernt. Wenn er genug Daten hat, ist er genial. Aber wenn er nur wenig Daten bekommt (wie in abgelegenen Wäldern), wird er verwirrt und macht dumme Fehler. Und wenn er in eine völlig neue Umgebung kommt, wo die Regeln anders sind, verliert er oft den Bezug zur Realität.

🤝 Die Idee: Eine perfekte Ehe

Die Forscher in dieser Studie haben sich gedacht: "Warum nicht den alten Förster und den jungen Schüler zusammenbringen?"

Sie haben eine neue Art von Computermodell entwickelt, das sie "Process-Guided Neural Networks" (PGNN) nennen. Das ist wie ein Team aus dem erfahrenen Förster und dem lernenden Schüler. Der Förster gibt dem Schüler eine grobe Richtung vor (die Physik), und der Schüler lernt dazu, wie man diese Regeln an die spezifischen Bedingungen vor Ort anpasst.

🧪 Was haben sie getestet?

Sie haben verschiedene Teams gebildet und sie in vier verschiedenen Wäldern (Finnland, Dänemark, Italien, Frankreich) getestet. Dabei stellten sie zwei wichtige Fragen:

1. Was passiert, wenn wir wenig Daten haben? (Stell dir vor, du hast nur ein paar wenige Blätter vom Baum, um das ganze Wetter vorherzusagen.)
2. Was passiert, wenn wir in einen völlig neuen Wald gehen? (Der Schüler wurde in Finnland trainiert, muss aber jetzt in Italien arbeiten.)

🏆 Die Ergebnisse: Wer gewinnt?

Hier kommt das Spannende:

• Der alte Förster allein: Hatte es schwer, besonders in den neuen, trockenen Wäldern. Seine alten Regeln passten einfach nicht mehr.
• Der Schüler allein: War gut, wenn er viele Daten hatte. Aber wenn die Daten knapp waren oder der Wald sich stark von dem Trainingswald unterschied, lieferte er unsichere Ergebnisse.
• Das Team (Der "Residual"-Ansatz): Das war der Gewinner!
  • Wie funktioniert es? Stell dir vor, der Schüler bekommt vom Förster eine Vorhersage. Der Schüler sagt dann nicht: "Ich mache es ganz anders", sondern: "Okay, der Förster sagt X. Ich korrigiere das nur um ein kleines bisschen, weil hier die Sonne stärker scheint."
  • Das Ergebnis: Dieses Team war am robustesten. Es machte auch bei wenig Daten gute Vorhersagen und fiel nicht aus dem Schneider, als sie in den klimatisch anderen Wald (Italien/Frankreich) wechselten.

💡 Die große Erkenntnis (Warum funktioniert das?)

Die Forscher haben sich genauer angesehen, was die Modelle eigentlich gelernt haben.

• Der alte Förster war stur. Er glaubte fest daran, dass "Blattfläche + Sonne = Wachstum". Aber in Italien war das Problem nicht die Sonne, sondern die Trockenheit. Da der Förster das nicht in seinen Regeln hatte, scheiterte er.
• Der Schüler allein lernte oft nur Muster aus den Daten. Wenn die Datenmuster sich änderten (weil es trockener wurde), wusste er nicht mehr weiter.
• Das gewinnende Team war schlau genug, um zu merken: "Hey, hier ist die Sonne zwar da, aber die Bäume sind durstig." Es nutzte die Grundregeln des Försters, passte sie aber flexibel an die neue Realität an.

🚀 Fazit für uns alle

Diese Studie zeigt uns, dass wir in einer Welt mit immer mehr Daten und immer mehr Klimaveränderungen nicht nur auf reine Datenanalyse (KI) oder nur auf alte physikalische Regeln setzen sollten.

Die beste Lösung ist eine Hybrid-Lösung: Wir nutzen das Wissen der Naturwissenschaften (die "Physik"), um der KI einen Kompass zu geben, und lassen die KI dann den Weg finden. So werden unsere Vorhersagen über den Wald (und das Klima) stabiler, auch wenn wir nicht überall perfekte Daten haben oder wenn sich das Klima plötzlich ändert.

Kurz gesagt: Der erfahrene Förster gibt die Richtung vor, der junge Schüler passt sie an. Zusammen sind sie stärker als jeder allein.

Technische Zusammenfassung

Titel: Evaluierung der Übertragbarkeit und Robustheit von prozessgesteuerten neuronalen Netzen in der Modellierung von Kohlenstoffflüssen in Wäldern

Autoren: Hannah Habenicht, Hanne Raum, Joschka Boedecker, Carsten F. Dormann

---

1. Problemstellung

Die Vorhersage von Ökosystemprozessen wie dem Kohlenstofffluss (GPP – Bruttprimaryproduktion, ET – Evapotranspiration) in Wäldern ist aufgrund der Komplexität der Wechselwirkungen zwischen Umweltfaktoren und der begrenzten Datenverfügbarkeit herausfordernd.

• Herausforderung bei reinen Datenmodellen: Reine Machine-Learning-Ansätze (z. B. künstliche neuronale Netze, ANNs) benötigen große Datenmengen und versagen oft bei Datenknappheit oder bei der Extrapolation auf neue, klimatisch abweichende Standorte (Out-of-Distribution, OOD).
• Herausforderung bei Prozessmodellen: Klassische prozessbasierte Modelle (wie PRELES) sind physikalisch fundiert, können aber bei sich ändernden Klimabedingungen oder an Standorten, für die sie nicht kalibriert wurden (z. B. von borealen zu mediterranen Wäldern), an Genauigkeit verlieren, da ihre mechanistischen Annahmen dort nicht mehr gelten.
• Ziel: Es gilt, hybride Ansätze zu entwickeln, die die Flexibilität datengetriebener Modelle mit der physikalischen Konsistenz von Prozessmodellen kombinieren, um robuste Vorhersagen auch unter Datenknappheit und bei Regimewechseln zu ermöglichen.

2. Methodik

Datenbasis:

• Nutzung des PROFOUND-Datenbank-Satzes mit vier europäischen Waldstandorten (Hyytiälä/Finland, Collelongo/Italien, Le Bray/Frankreich, Sorø/Dänemark), die unterschiedliche Klimazonen (boreal, mediterran, gemäßigt) abdecken.
• Zielvariablen: Tägliche GPP und ET.
• Eingangsvariablen: Meteorologische Treiber (Lufttemperatur, Niederschlag, VPD, PAR, fAPAR).

Modellierungsansätze:
Die Studie vergleicht drei Kategorien von Modellen:

1. Prozessmodell (PM): Das kalibrierte semi-empirische Modell PRELES.
2. Reine Datenmodelle (Naive ANN): Ein vollständig verbundenes Multi-Layer-Perceptron (MLP), das nur auf meteorologischen Daten trainiert wird.
3. Prozessgesteuerte Neuronale Netze (PGNNs): Fünf verschiedene Hybrid-Strategien, die PRELES-Vorhersagen in das Training einbinden:
   • Bias-Korrektur: PRELES-Ausgabe als Eingabe für das NN zur Korrektur systematischer Fehler.
   • Parallel: Kombination der NN-Ausgabe und PRELES-Ausgabe vor der Verlustberechnung.
   • Regularisiert: PRELES-Ausgabe als Regularisierungsterm in der Verlustfunktion.
   • Residual (neu): PRELES-Ausgabe wird als zusätzliche Eingabe neben den Umweltvariablen in das NN gegeben; das NN lernt den Residuum (Unterschied) zwischen PRELES und den Beobachtungen.
   • Noisy Mixture of Experts (neu): Ein Gating-Mechanismus wählt dynamisch zwischen PRELES und mehreren NN-Architekturen basierend auf den Eingabedaten.

Experimentelles Design:

• Nested Cross-Validation (NCV): Um Verzerrungen durch Hyperparameter-Tuning zu vermeiden, wurde ein verschachtelter Kreuzvalidierungsansatz verwendet (Outer Loop für Evaluation, Inner Loop für Hyperparameter-Optimierung mittels Optuna/Bayesian Optimization).
• Szenarien:
  1. In-Distribution (ID): Training und Test am selben Standort, aber mit systematisch reduzierter Datenmenge (Thinning: wöchentlich, monatlich, alle 50 Tage), um Datenknappheit zu simulieren.
  2. Out-of-Distribution (OOD): Training auf drei Standorten, Test auf einem vierten, unbekannten Standort, um die Generalisierungsfähigkeit unter Regimewechseln zu testen.
• Analysemethoden:
  • Metriken: MSE, Nash-Sutcliffe-Effizienz (NSE), Generalisierungsfehler (Power-Law-Abnahme).
  • Interpretierbarkeit: Accumulated Local Effects (ALE) zur Analyse der Variable-Wichtigkeit und zur Identifikation von Domänenverschiebungen (Änderungen in Korrelationsstrukturen zwischen Trainings- und Testdaten).

3. Wichtige Beiträge

1. Systematischer Vergleich von Hybrid-Strategien: Die Studie erweitert vorherige Arbeiten (Wesselkamp et al., 2024) durch die Einführung neuer PGNN-Architekturen (Residual, Noisy Mixture) und eine umfassende Hyperparameter-Optimierung.
2. Quantifizierung der Datenanforderungen: Es wird gezeigt, dass bereits sehr kleine Datensätze (ca. 40–50 Stichproben, entspricht wöchentlicher Auflösung) für stabile Vorhersagen ausreichen, wenn die Eingabevariablen repräsentativ sind.
3. Ursachenanalyse von Modellversagen: Durch ALE-Analysen wird aufgezeigt, warum Modelle bei Domänenverschiebungen scheitern (z. B. Entkopplung von fAPAR und GPP in trockenen Regionen), anstatt nur die Performance zu messen.
4. Identifikation der robustesten Architektur: Die Residual-Strategie wird als überlegener Ansatz identifiziert, der sowohl bei Datenknappheit als auch bei OOD-Szenarien konsistent die beste Balance zwischen physikalischer Konsistenz und datengetriebener Anpassungsfähigkeit bietet.

4. Ergebnisse

• Überlegenheit von Hybridmodellen: Sowohl reine ANNs als auch PGNNs übertrafen das kalibrierte Prozessmodell PRELES in fast allen Szenarien.
• Datenknappheit (ID-Szenario):
  • Bei extrem wenig Daten (7 Stichproben) schnitt das Residual-Modell am besten ab (ca. 10 % besser als das naive ANN am Standort Hyytiälä).
  • Das reine Prozessmodell (PRELES) profitierte in datenarmen Szenarien kaum von seiner mechanistischen Struktur, da es nicht ausreichend kalibriert werden konnte.
• Extrapolation (OOD-Szenario):
  • Das Residual-Modell zeigte die höchste Robustheit und Generalisierungsfähigkeit über alle Teststandorte hinweg (durchschnittlicher NSE: 0,74).
  • Das naive ANN und das Residual-Modell performten gut, aber das Residual-Modell war stabiler bei Standorten mit starken klimatischen Unterschieden (z. B. Le Bray).
  • Das Parallel-Modell (starke Kopplung an PRELES) performte schlecht, wenn die Basis-Vorhersage von PRELES ungenau war.
• Fallstudie Le Bray (Mediterraner Wald):
  • Hier brach die Vorhersagequalität aller Modelle ein, da die Beziehung zwischen fAPAR (Blattfläche) und GPP/ET zusammenbrach (Wasserstress statt Lichtlimitierung).
  • PRELES scheiterte hier am stärksten (NSE ≈ 0,13), da es stark auf fAPAR-basierte Mechanismen angewiesen ist.
  • Das Residual-Modell konnte sich anpassen, indem es seine Abhängigkeit von instabilen fAPAR-Korrelationen reduzierte und sich auf stabilere meteorologische Treiber (PAR, Temperatur) sowie die PRELES-Vorhersage als zusätzlichen Input stützte.
• Generalisierungsfehler: Die Fehlerkurven folgen einem Power-Law. Das Residual-Modell hatte den niedrigsten anfänglichen Fehler und eine stabile asymptotische Fehlergrenze.

5. Bedeutung und Fazit

Die Studie demonstriert, dass prozessgesteuerte neuronale Netze (PGNNs), insbesondere die Residual-Architektur, einen vielversprechenden Weg darstellen, um die Lücke zwischen rein datengetriebenen und rein mechanistischen Modellen zu schließen.

• Robustheit: Durch die Einbindung von Prozesswissen als zusätzlicher Input (statt als starre Einschränkung) können Modelle lernen, wann sie dem Prozessmodell vertrauen und wann sie auf die Daten vertrauen müssen. Dies ist entscheidend für Anwendungen unter sich ändernden Klimabedingungen (Regimewechsel).
• Datenökonomie: Hybride Modelle benötigen nicht zwingend massive Datenmengen, um effektiv zu sein; die Qualität und Relevanz der Eingabevariablen sind entscheidender.
• Interpretierbarkeit: Die Kombination von ALE-Analysen mit Domänenverschiebungs-Metriken ermöglicht es, physikalisch plausible Lernmuster zu validieren und zu verstehen, warum Modelle in bestimmten Umgebungen versagen.

Ausblick: Zukünftige Arbeiten sollten darauf abzielen, spezifische Prozesskomponenten (z. B. Wasserstress-Funktionen), die in Prozessmodellen oft unzureichend sind, gezielt durch neuronale Netze zu ersetzen, um die Generalisierungsfähigkeit weiter zu erhöhen.