📊 statistics

FLUXtrapolation: A benchmark on extrapolating ecosystem fluxes

Die Arbeit stellt FLUXtrapolation vor, einen neuen Benchmark, der entwickelt wurde, um die Fähigkeit von Machine-Learning-Modellen zu bewerten, Ökosystemflüsse unter zunehmend schwierigen Verteilungsverschiebungen zu extrapolieren und damit die kritische Herausforderung der präzisen Hochskalierung spärlicher Turmmessungen auf globale Maßstäbe anzugehen.

Ursprüngliche Autoren: Anya Fries, Jacob A Nelson, Martin Jung, Markus Reichstein, Jonas Peters

Veröffentlicht 2026-05-20

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anya Fries, Jacob A Nelson, Martin Jung, Markus Reichstein, Jonas Peters

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, wie man das Wetter vorhersagt. Sie haben ein Notizbuch voller Daten von 207 spezifischen Wetterstationen, die über den Globus verstreut sind. Diese Stationen sind jedoch hauptsächlich in Europa und Nordamerika gruppiert, was riesige Lücken in den Tropen, Wüsten und abgelegenen Wildnisgebieten hinterlässt.

Das Ziel dieses Papiers ist es, einen Test (genannt FLUXtrapolation) zu erstellen, um zu prüfen, wie gut Computermodelle vorhersagen können, was in diesen leeren Stellen oder in zukünftigen Jahren passiert, basierend ausschließlich auf den Daten der Stationen, die sie bereits gesehen haben.

Hier ist eine Aufschlüsselung der Ideen des Papiers unter Verwendung einfacher Analogien:

1. Das große Problem: „Die fehlende Karte"

Ökosysteme tauschen ständig Kohlenstoff, Wasser und Energie mit der Luft aus (wie Bäume, die CO2 einatmen und Wasserdampf abgeben). Wir messen dies an spezifischen „Türmen" (Wetterstationen). Um jedoch das Klima des gesamten Planeten zu verstehen, müssen wir wissen, was überall passiert, nicht nur dort, wo die Türme stehen.

Die Analogie: Stellen Sie sich vor, Sie haben nur Fotos der Gesichter Ihrer Freunde in Ihrer Heimatstadt. Sie möchten ein Bild von einem Fremden zeichnen, den Sie noch nie getroffen haben, in einem anderen Land. Sie müssen seine Merkmale basierend auf allgemeinen Regeln erraten (wie „Menschen haben zwei Augen"), aber Sie kennen keine spezifischen Details (wie die einzigartige Form seiner Nase).
Die Herausforderung: Das Computermodell wird mit den Daten der „Heimatstadt" (den Türmen) trainiert und soll den „Fremden" (den Rest der Welt) vorhersagen. Dies wird als Upscaling bezeichnet.

2. Die drei Schwierigkeitsgrade (Die Testszenarien)

Die Autoren erstellten einen Benchmark mit drei Schwierigkeitsgraden, die jeweils schwieriger werden, um zu sehen, wo Modelle versagen.

Stufe 1: Zeitreise (Temporale Extrapolation)
- Der Aufbau: Das Modell lernt von einem bestimmten Turm in den Jahren 2015–2018 und wird am gleichen Turm in den Jahren 2019–2022 getestet.
- Die Analogie: Sie lernen, das Wetter in Ihrem eigenen Garten für die nächste Woche basierend auf den Daten der letzten Woche vorherzusagen. Es ist ein gewisses Risiko, aber der Ort ist derselbe.
- Das Ergebnis: Dies ist der „einfachste" Test. Die Umgebung hat sich kaum verändert, nur die Zeit.
Stufe 2: Umzug in eine neue Stadt (Zufällige räumliche Extrapolation)
- Der Aufbau: Das Modell lernt von einer Gruppe von Türmen und wird an anderen Türmen getestet, die es noch nie gesehen hat.
- Die Analogie: Sie lernen, das Wetter in Chicago vorherzusagen, und dann werden Sie aufgefordert, das Wetter in Denver vorherzusagen. Das Klima ist anders, aber es ist immer noch eine gemäßigte Stadt.
- Das Ergebnis: Dies ist schwieriger. Das Modell muss sich an neue Landschaften und Klimazonen anpassen, die es noch nicht gesehen hat.
Stufe 3: Die extreme Hitze (Temperaturbasierte räumliche Extrapolation)
- Der Aufbau: Das Modell wird an den heißesten, extremsten Orten (wie tiefen Tropen) getestet, die sich stark von denen unterscheiden, in denen es trainiert wurde.
- Die Analogie: Sie haben gelernt, das Wetter in einem kühlen Wald vorherzusagen, und müssen nun das Wetter in einer glühenden Wüste vorhersagen. Die Spielregeln könnten sich komplett geändert haben.
- Das Ergebnis: Dies ist der härteste Test. Das Modell scheitert hier oft, weil die „Regeln" (wie Pflanzen auf Hitze reagieren) anders sind und einige wichtige Hinweise (wie der Bodentyp) in den Daten fehlen.

3. Die zwei Arten von „Überraschungen"

Das Papier erklärt, dass Modelle aus zwei verschiedenen Gründen versagen, die sie als Shifts bezeichnen:

Covariate Shift (Das „Andere Eingaben"-Problem):
- Was es ist: Das Modell sieht Daten, die es noch nie gesehen hat (z. B. eine Temperatur von 45 °C, obwohl es vorher nur 20 °C gesehen hat).
- Analogie: Sie sind ein Koch, der nur mit Äpfeln kocht. Plötzlich reicht Ihnen jemand eine Durian-Frucht. Sie wissen nicht, wie Sie damit umgehen sollen, weil die Zutaten neu sind.
Conditional Shift (Das „Andere Regeln"-Problem):
- Was es ist: Selbst wenn die Eingaben vertraut aussehen, ändert sich die Beziehung zwischen Eingabe und Ausgabe aufgrund versteckter Faktoren (wie Bodenqualität oder Grundwasser), die das Modell nicht sehen kann.
- Analogie: Sie wissen, dass „Regen Gras wachsen lässt". Aber an einem bestimmten versteckten Ort ist der Boden so salzig, dass Regen das Gras tatsächlich tötet. Die Regel hat sich geändert, aber Ihr Modell weiß nichts vom salzigen Boden.

4. Wie sie die Modelle getestet haben

Anstatt nur zu fragen: „Wie nah war die durchschnittliche Schätzung?" (was große Fehler verbergen kann), untersuchten sie:

Die „Tail"-Fehler: Hat das Modell an bestimmten Tagen oder Orten riesige, katastrophale Fehler gemacht? (Wie eine Wettervorhersage, die normalerweise richtig liegt, aber während eines Sturms völlig versagt).
Verschiedene Zeitskalen: Sie prüften, ob das Modell gut darin war, die nächste Stunde, die nächste Woche oder das ganze Jahr vorherzusagen. Ein Modell könnte bei stündlichen Schätzungen gut sein, aber schrecklich bei der Vorhersage saisonaler Trends.

5. Was sie herausfanden (Die Pilotstudie)

Sie führten eine „Übungsrunde" mit Standard-Computermodellen (wie XGBoost und einfachen neuronalen Netzen) durch.

Die Überraschung: Wenn man den durchschnittlichen Fehler betrachtet, schnitten alle intelligenten Modelle fast gleich gut ab. Sie sahen alle gleich gut aus.
Die wahre Geschichte: Als sie die Schlimmstszenarien (die „Tails") und verschiedene Zeitskalen betrachteten, begannen sich die Modelle zu unterscheiden. Einige waren viel besser darin, die extreme Hitze oder die langfristigen Trends zu bewältigen als andere.
Die „Domain Generalization"-Falle: Die Autoren versuchten ausgefeilte Techniken, die entwickelt wurden, um Modellen zu helfen, mit „neuen" Daten umzugehen (wie Domain Generalization). Überraschenderweise schlugen diese ausgefeilten Techniken die Standard-, einfacheren Modelle nicht konsistent. Tatsächlich waren manchmal die einfachen Modelle robuster.
Das „Versteckter Treiber"-Problem: Das Modell hatte am meisten Schwierigkeiten mit NEE (Net Ecosystem Exchange, das den Kohlenstoff verfolgt). Warum? Weil der Kohlenstoffaustausch stark von versteckten biologischen Prozessen abhängt (wie dem, was im Boden passiert), die das Modell nicht sehen kann. Es ist wie der Versuch, die Stimmung einer Person zu erraten, ohne ihr Gesicht zu sehen, und nur das Wetter draußen zu kennen.

Zusammenfassung

FLUXtrapolation ist eine neue, härtere Prüfung für KI-Modelle, die das Klima der Erde vorhersagen wollen. Sie zwingt diese Modelle, zu beweisen, dass sie damit umgehen können:

Neue Orte, die sie noch nie besucht haben.
Extreme Bedingungen, die sie noch nie gesehen haben.
Versteckte Faktoren, die die Regeln ändern.

Das Papier kommt zu dem Schluss, dass zwar die aktuellen Modelle in den Grundlagen okay sind, aber bei den schwierigsten Teilen der Arbeit versagen. Um die Zukunft unseres Planeten wirklich zu verstehen, brauchen wir Modelle, die nicht nur die Vergangenheit auswendig lernen, sondern mit dem Unbekannten umgehen können, insbesondere wenn die „Regeln" der Natur sich auf Weise ändern, die wir nicht vollständig sehen können.

Technische Zusammenfassung: FLUXtrapolation

Problemstellung

Ökosystemflüsse – der Austausch von Kohlenstoff, Wasser und Energie zwischen terrestrischen Ökosystemen und der Atmosphäre – sind zentral für die Modellierung des Erdsystems. Obwohl direkte Beobachtungen über Eddy-Kovarianz-Türme (z. B. FLUXNET) vorliegen, sind diese Standorte global nur spärlich verteilt. Folglich erfordert die Erstellung globaler Flussabschätzungen ein Hochskalieren: Das Trainieren von Modellen an beobachteten Standorten unter Verwendung global verfügbarer Kovariablen, um Flüsse in unbeobachteten Regionen vorherzusagen.

Diese Hochskalierungsaufgabe ist ein herausforderndes Domain-Generalization-Problem, das durch zwei unterschiedliche Arten von Verteilungsverschiebung gekennzeichnet ist:

Kovariatenverschiebung ( $P_X$ ): Unterschiede in der marginalen Verteilung der Eingaben (Klima, Ökosystemtypen, Umweltbedingungen) zwischen beobachteten Turmstandorten und den Zielregionen, die nicht beobachtet wurden.
Bedingte Verschiebung ( $P_{Y|X}$ ): Änderungen in der Beziehung zwischen Eingaben und Zielen aufgrund unbeobachteter Treiber (z. B. Bodeneigenschaften, Unterwuchsmerkmale), die zwischen Ökosystemen variieren, aber in globalen Datensätzen fehlen.

Bestehende Benchmarks spiegeln oft die spezifische raumzeitliche Natur des Fluss-Hochskalierens nicht wider; sie verlassen sich auf einzelne aggregierte Metriken, die Ausfälle an bestimmten Standorten verschleiern oder die Leistung über wissenschaftlich relevante Zeitskalen hinweg nicht erfassen können.

Methodik: Der FLUXtrapolation-Benchmark

Die Autoren stellen FLUXtrapolation vor, einen Benchmark, der entwickelt wurde, um Machine-Learning-Methoden unter progressiv schwierigeren Verteilungsverschiebungen zu bewerten. Der Benchmark nutzt stündliche Daten von 207 FLUXNET-Standorten (2015–2022), um drei Zielvariablen vorherzusagen: Net Ecosystem Exchange (NEE), Gross Primary Productivity (GPP) und Evapotranspiration (ET).

1. Extrapolationsszenarien

Der Benchmark definiert drei Szenarien mit zunehmender Schwierigkeit:

Temporale Extrapolation: Vorhersage zukünftiger Jahre (2019–2022) an Standorten, die während des Trainings beobachtet wurden (2015–2018). Dies induziert eine milde Verschiebung, hauptsächlich in $P_{Y|X}$ .
Zufällige räumliche Extrapolation: Vorhersage an nicht gesehenen Standorten (40 zufällig ausgewählte Standorte) unter Beibehaltung einer Überlappung im Kovariablen-Support. Dies induziert eine moderate $P_X$ -Verschiebung.
Temperatur-basierte räumliche Extrapolation: Vorhersage an nicht gesehenen Standorten mit den höchsten durchschnittlichen Jahrestemperaturen. Dies kombiniert räumliche Generalisierung mit einer expliziten Kovariablenverschiebung hin zu wärmeren Bedingungen.

2. Diagnose der Verteilungsverschiebung

Um die Art der Verschiebungen zu quantifizieren, setzen die Autoren zwei Diagnoseverfahren ein:

Kovariatenverschiebung ( $P_X$ ): Gemessen über die balancierte Genauigkeit eines Domänenklassifikators, der Trainings- von Testeingaben unterscheidet. Eine höhere Genauigkeit deutet auf eine größere Verschiebung hin.
Bedingte Verschiebung ( $P_{Y|X}$ ): Quantifiziert durch den prozentualen Anstieg des RMSE vom Training zum Test, nachdem der Testdatensatz neu gewichtet wurde, um die marginale Trainingsverteilung von $X$ zu entsprechen (unter Verwendung von Importance Weights, die aus dem Domänenklassifikator abgeleitet wurden).

3. Evaluierungsprotokoll

Die Evaluierung geht über einfache Mittel- oder Medianfehler hinaus:

Domänenanalyse: Die Leistung wird pro Testdomäne (Standort oder Standort-Jahr) und nicht gepoolt bewertet, unter Verwendung des Median und des 90. Perzentils des RMSE, um typische und Randleistung zu erfassen.
Multiskalige zeitliche Aggregation: Vorhersagen werden in stündlicher Auflösung bewertet und auf wöchentliche, saisonale und standortdurchschnittliche Ebenen aggregiert. Zusätzlich werden Anomalien und interannuale Variabilität (IAV) bewertet, um die Leistung bei Abweichungen von saisonalen Normen zu testen.
Skill Score: Eine zusammenfassende Metrik relativ zu einer linearen Regressions-Baseline wird verwendet, um Methoden über Szenarien mit unterschiedlicher intrinsischer Schwierigkeit hinweg zu vergleichen.

Wichtige Ergebnisse (Pilotstudie)

Eine Pilotstudie evaluierte mehrere Baselines, darunter lineare Regression, XGBoost, MLPs und Domain-Generalization-Methoden (DG) (CORAL, MMD, Group DRO).

Trennung der Baselines: Unter dem Median der stündlichen RMSE-Werte performten die Top-Baselines (XGBoost, MLP, CORAL) ähnlich. Eine deutliche Trennung trat jedoch auf, wenn das 90. Perzentil des RMSE (Randleistung) und verschiedene zeitliche Aggregationen (z. B. Standortmittelwert, IAV) bewertet wurden.
Ausfallmodi: Standardbaselines performten bei interannualer Variabilität und Anomalien schlecht und näherten sich oft der Leistung eines konstanten Prädiktors an. Dies deutet darauf hin, dass aktuelle Methoden Schwierigkeiten haben, Ökosystemdynamiken jenseits des durchschnittlichen saisonalen Verhaltens zu erfassen.
Wirksamkeit der Domain Generalization: DG-Methoden übertrafen Empirical-Risk-Minimization-Baselines (ERM) wie XGBoost nicht konsistent.
- Bei temporaler Extrapolation (geringe $P_X$ -Verschiebung, moderate $P_{Y|X}$ -Verschiebung) boten DG-Methoden keinen Vorteil.
- Bei räumlicher Extrapolation (hohe $P_X$ -Verschiebung) sank die MMD-Performance stark ab, während CORAL mit ERM wettbewerbsfähig blieb.
- Insgesamt führte die Nutzung expliziter Verschiebungsinformationen nicht zu zuverlässigen Verbesserungen, ein Befund, der mit früheren DG-Benchmarks übereinstimmt.
Flussunterschiede: Die Ergebnisse variierten je nach Zielvariable. NEE zeigte die geringste Trennung zwischen den Methoden, wahrscheinlich aufgrund seiner stärkeren Abhängigkeit von unbeobachteten biologischen Prozessen im Vergleich zu GPP und ET.

Bedeutung und Behauptungen

Die Arbeit positioniert FLUXtrapolation als eine realistische und relevante Herausforderung für Machine Learning unter Verteilungsverschiebung, die auf Domänenexpertise basiert. Ihre Bedeutung ist dreifach:

Wissenschaftliche Relevanz: Fortschritte bei diesem Benchmark unterstützen direkt das wissenschaftliche Ziel, das Hochskalieren von Flüssen zu verbessern, was für die Kohlenstoffkreislaufwissenschaft und die Überwachung der Klimapolitik entscheidend ist (z. B. europäische Wald-Kohlenstoffüberwachung, Risiko des Amazonas-Absterbens).
Methodische Strenge: Durch die explizite Definition von Szenarien mit unterschiedlichen Verschiebungsstrukturen und die Bewertung der Leistung über Ränder und Zeitskalen hinweg enthüllt der Benchmark Ausfallmodi, die durch aggregierte Metriken verschleiert werden.
Breitere Anwendbarkeit: Das Design und die gewonnenen Erkenntnisse können auf andere Probleme der Erdsystemwissenschaft übertragen werden, die durch reiche zeitliche Daten, aber spärliche räumliche Beobachtungen gekennzeichnet sind, wie z. B. die Vorhersage von Pflanzenmerkmalen, Wassernutzung durch Bäume und Bodeneigenschaften.

Die Autoren schließen, dass der Benchmark zwar erfolgreich Methoden unter spezifischen Evaluierungskriterien trennt, die effektive Nutzung von Verschiebungsinformationen für das Modelldesign jedoch weiterhin eine offene Herausforderung bleibt. Zukünftige Arbeiten sollten untersuchen, ob starke Methoden auf neue Standorte im erweiterten FLUXNET-Netzwerk generalisieren können und ob Foundation-Modelle die Auswirkungen versteckter Variablen abschwächen können.