Learning with the Nash-Sutcliffe loss

Diese Arbeit etabliert eine entscheidungstheoretische Grundlage für die Nash-Sutcliffe-Effizienz, indem sie die Nash-Sutcliffe-Verlustfunktion als strikt konsistent für einen gewichteten Mittelwert nachweist und damit eine fundierte Methode zur Schätzung von Modellen und zur Bewertung von Vorhersagen in großen Datensätzen mit stationären Zeitreihen bereitstellt.

Das Wesentliche

Die große Entdeckung: Warum "Durchschnitt" nicht immer "Durchschnitt" ist

Stellen Sie sich vor, Sie sind ein Wettervorhersage-Experte. Sie haben 100 verschiedene Städte, und für jede Stadt wollen Sie vorhersagen, wie viel Regen morgen fallen wird. Um zu prüfen, ob Ihre Vorhersagen gut sind, nutzen Sie einen berühmten Maßstab, den NSE (Nash-Sutcliffe-Effizienz). Dieser Maßstab ist in der Hydrologie und Umweltwissenschaft seit Jahrzehnten der "Goldstandard". Er sagt Ihnen: "Hey, deine Vorhersage ist besser als wenn du einfach nur den langjährigen Durchschnitt (das Klima) genommen hättest."

Das Problem:
Bisher haben die Wissenschaftler einen Fehler gemacht. Sie haben ihre Modelle trainiert, um den Mittelwert (den Durchschnitt) zu minimieren – so wie man es in der Schule lernt. Aber dann haben sie die Modelle mit dem NSE bewertet.

Das ist wie bei einem Koch:

• Die Aufgabe: Der Koch soll ein Gericht kochen, das den Geschmack des Essers perfekt trifft.
• Das Training: Der Koch trainiert jedoch nur darauf, die Menge der Zutaten so genau wie möglich zu wiegen (Mittelwert minimieren).
• Die Bewertung: Am Ende wird das Gericht jedoch nicht nach der Genauigkeit der Waage bewertet, sondern danach, wie gut es schmeckt (NSE).

Das Ergebnis? Der Koch (das Modell) liefert zwar perfekte Mengen, aber das Essen schmeckt vielleicht nicht optimal, weil "Menge" und "Geschmack" nicht dasselbe sind.

Die Lösung: Der "Nash-Sutcliffe-Verlust"

Die Autoren dieser Studie haben etwas Geniales entdeckt: Der NSE bewertet eigentlich nicht den einfachen Durchschnitt. Er bewertet etwas anderes, das sie den "Nash-Sutcliffe-Funktional" nennen.

Die Analogie des gewichteten Durchschnitts:
Stellen Sie sich vor, Sie berechnen den Durchschnittspreis von Äpfeln in einem Markt.

1. Der normale Durchschnitt (MSE): Sie nehmen alle Preise, addieren sie und teilen durch die Anzahl. Jeder Apfel zählt gleich viel.
2. Der Nash-Sutcliffe-Durchschnitt: Hier bekommen die Äpfel unterschiedliche Gewichte.
   • Wenn ein Markttag sehr ruhig ist (wenig Schwankung im Preis), bekommt dieser Tag ein hohes Gewicht.
   • Wenn ein Markttag chaotisch ist (viele wilde Preisschwankungen), bekommt er ein geringeres Gewicht.

Der NSE ist also wie ein Sensibler Richter, der besonders auf die ruhigen, vorhersehbaren Tage achtet und weniger auf die chaotischen. Wenn Sie Ihr Modell nur auf den "normalen Durchschnitt" trainieren, ignorieren Sie die Feinheiten, die der NSE-Richter so wichtig findet.

Was haben die Autoren getan?

Sie haben eine neue Art des Trainings erfunden, die sie "Nash-Sutcliffe-Regression" nennen.

• Früher: Man hat Modelle trainiert, um den Fehler (MSE) zu minimieren. Das ist wie das Trainieren eines Sprinters, damit er die Strecke in 10 Sekunden läuft, aber man bewertet ihn dann daran, wie gut er einen Marathon läuft.
• Jetzt: Man trainiert das Modell direkt mit dem "Nash-Sutcliffe-Verlust". Das ist wie das Trainieren eines Sprinters, damit er genau das tut, was im Marathon bewertet wird.

Das Ergebnis:
In ihren Tests (mit simulierten Daten und echten Flussdaten aus Frankreich) haben sie gezeigt:

• Wenn man das neue Training nutzt, ist der NSE-Wert (die Bewertung) viel besser.
• Das Modell lernt, die Daten so vorherzusagen, wie der NSE es eigentlich "sehen" will.
• Besonders bei Daten, die nicht perfekt normalverteilt sind (wie echte Regenfälle oder Temperatur), macht dieser Unterschied einen riesigen Unterschied.

Warum ist das wichtig für die Welt?

Bisher haben viele Forscher Modelle verglichen, die eigentlich nicht vergleichbar waren. Sie haben Modelle trainiert, die auf "Durchschnitt" optimiert waren, und dann gesagt: "Schau, Modell A hat einen besseren NSE als Modell B!"

Die Autoren sagen: Stopp! Das ist unfair. Wenn Sie den NSE als Bewertungsmaßstab nutzen, müssen Sie auch mit dem Nash-Sutcliffe-Verlust trainieren. Sonst vergleichen Sie Äpfel mit Birnen.

Zusammenfassung in einem Satz:
Die Autoren haben bewiesen, dass der beliebte NSE-Maßstab eigentlich eine ganz andere Zielgröße (einen gewichteten Durchschnitt) sucht als der normale Durchschnitt, und sie haben eine neue Methode entwickelt, um Modelle genau auf dieses Ziel hinzutrainieren – was zu viel besseren Vorhersagen für Wasser, Wetter und Umwelt führt.

Technische Zusammenfassung

Titel: Lernen mit dem Nash-Sutcliffe-Verlust (Learning with the Nash-Sutcliffe loss)

Autoren: Hristos Tyralis und Georgia Papacharalampous

---

1. Problemstellung

Der Nash-Sutcliffe-Effizienzkoeffizient (NSE) ist ein weit verbreitetes, positiv orientiertes Maß zur Bewertung von Vorhersagen über mehrere Zeitreihen hinweg, insbesondere in den Geowissenschaften und der Hydrologie. Er wird definiert als Transformation des mittleren quadratischen Fehlers (MSE): $NSE = 1 - MSE/MSE_{benchmark}$.

Das zentrale Problem, das die Autoren identifizieren, ist das Fehlen einer entscheidungstheoretischen Grundlage für die Verwendung des NSE (oder seines Durchschnitts über mehrere Reihen, $\overline{NSE}$) als Optimierungsziel.

• In der Praxis werden Modelle oft mit dem MSE (bzw. der quadrierten Fehlerfunktion $L_{SE}$) trainiert, um den bedingten Erwartungswert (den Mittelwert) zu schätzen.
• Anschließend werden diese Modelle jedoch mit dem NSE bewertet.
• Die Autoren zeigen auf, dass dies inkonsistent ist, da der NSE nicht denselben statistischen Funktional wie der MSE elizitiert (d.h. er minimiert nicht denselben Erwartungswert). Die gängige Praxis, den $\overline{NSE}$ zu maximieren, impliziert implizit, dass alle Zeitreihen aus einem einzigen nicht-stationären stochastischen Prozess stammen, was theoretisch nicht fundiert ist.

2. Methodik und Theoretischer Rahmen

Die Autoren wenden die Theorie der streng konsistenten Verlustfunktionen (strictly consistent loss functions) und elicitierbaren Funktionalen an, um den NSE neu zu interpretieren.

A. Definition des Nash-Sutcliffe-Verlusts ($L_{NS}$)

Statt den NSE zu maximieren, betrachten die Autoren die negativ orientierte Version als Verlustfunktion:
$$L_{NS}(\mathbf{z}_d, \mathbf{y}_d) = 1 - NSE(\mathbf{z}_d, \mathbf{y}_d) = \frac{\|\mathbf{z}_d - \mathbf{y}_d\|_2^2}{\|\mu(\mathbf{y}_d)\mathbf{1}_d - \mathbf{y}_d\|_2^2}$$
Hierbei ist $\mathbf{z}_d$ die Vorhersage und $\mathbf{y}_d$ die Realisierung eines $d$-dimensionalen Zufallsvektors. Der Nenner ist die Varianz der Beobachtungen (bezogen auf den Mittelwert).

B. Der Nash-Sutcliffe-Funktional

Die zentrale theoretische Erkenntnis ist, dass $L_{NS}$ eine streng konsistente Verlustfunktion für ein spezifisches $d$-dimensionales Funktional ist, das sie als Nash-Sutcliffe-Funktional ($T^{(w)}$) bezeichnen.
Dieses Funktional ist kein einfacher arithmetischer Mittelwert, sondern ein datengewichteter komponentenweiser Mittelwert:
$$T^{(w)}(F) = \frac{\mathbb{E}_F[\mathbf{y}_d w(\mathbf{y}_d)]}{\mathbb{E}_F[w(\mathbf{y}_d)]}$$
wobei $w(\mathbf{y}_d) = 1 / \|\mu(\mathbf{y}_d)\mathbf{1}_d - \mathbf{y}_d\|_2^2$ eine Gewichtungsfunktion ist, die von der Variabilität der Daten abhängt.

C. Identifizierbarkeit und M-Schätzung

• Es wird bewiesen, dass das Nash-Sutcliffe-Funktional identifizierbar ist (es gibt eine Identifikationsfunktion, deren Erwartungswert null ist, wenn und nur wenn die Vorhersage dem Funktional entspricht).
• Basierend darauf wird eine Nash-Sutcliffe-Regression eingeführt. Dies ist ein lineares Regressionsmodell, das durch Minimierung des durchschnittlichen $L_{NS}$ geschätzt wird.
• Mathematisch entspricht dies einer gewichteten Kleinst-Quadrate-Schätzung (Weighted Least Squares, WLS), bei der die Gewichte von der internen Variabilität jeder Zeitreihe abhängen. Reihen mit geringerer Variabilität erhalten ein höheres Gewicht.

D. Datenorientierung ($d \times n$ vs. $n \times d$)

Die Autoren unterscheiden zwei Szenarien für die Datenstruktur:

1. $d \times n$ (Spalten als Zeitreihen): Jede Spalte ist eine Realisierung eines $d$-dimensionalen Vektors. Dies ist typisch für räumliche Vergleiche (z. B. viele Standorte, gleiche Zeitreihenlänge).
2. $n \times d$ (Zeilen als Zeitreihen): Jede Zeile ist eine Realisierung eines $d$-dimensionalen Vektors. Dies ist das Standard-Szenario für Zeitreihenvorhersagen (z. B. Vorhersage mehrerer Variablen zu einem Zeitpunkt).
   Die theoretischen Ergebnisse werden für beide Orientierungen adaptiert, wobei die Formeln für die realisierten Verluste und Schätzer leicht variieren.

3. Wichtige Beiträge

1. Theoretische Fundierung des NSE: Der NSE wird erstmals als streng konsistente Verlustfunktion für ein spezifisches, datengewichtetes Funktional formalisiert. Dies erklärt, warum Modelle, die mit MSE trainiert wurden, suboptimal für NSE-Bewertungen sind.
2. Unterscheidung der Funktionalen: Es wird gezeigt, dass der Nash-Sutcliffe-Funktional nur unter sehr spezifischen Bedingungen (z. B. unabhängige, identisch verteilte Normalverteilungen) mit dem komponentenweisen Mittelwert übereinstimmt. Bei nicht-gaußschen oder abhängigen Verteilungen weichen sie signifikant voneinander ab.
3. Nash-Sutcliffe-Regression: Einführung eines neuen Regressionsrahmens, der den NSE direkt als Optimierungsziel nutzt. Dies stellt sicher, dass der Schätzprozess mit dem Bewertungsmaß übereinstimmt (Alignment-Prinzip).
4. Erweiterter Verlust: Behandlung des Problems, dass der Nenner bei konstanten Zeitreihen null wird, durch Einführung eines kleinen Konstanten $a$ (erweiterter Nash-Sutcliffe-Verlust), was die Anwendbarkeit auf reale Daten sichert.

4. Ergebnisse aus Simulationen und Anwendungen

Die Autoren validieren ihre Theorie durch Simulationen und reale Daten (Hydrologie und Temperaturvorhersage in Frankreich):

• Simulation 1 (Funktional-Vergleich): Bei nicht-gaußschen Daten (z. B. log-normal) liefert der Nash-Sutcliffe-Klimatologie-Schätzer (basierend auf $L_{NS}$) eine deutlich bessere Vorhersage unter dem NSE-Maß als der klassische Mittelwert, obwohl der klassische Mittelwert unter dem MSE besser abschneidet.
• Simulation 2 & 3 (Regression): In linearen Regressionsmodellen mit log-normalen Fehlern übertrifft die Nash-Sutcliffe-Regression die klassische multidimensionale OLS-Regression (Ordinary Least Squares) drastisch beim NSE-Maß (Reduktion des Verlusts um Größenordnungen), während sie beim MSE-Maß leicht schlechter abschneidet. Dies bestätigt, dass die Wahl des Trainingsverlusts entscheidend für die Bewertung ist.
• Reale Daten (Abfluss und Temperatur):
  • Bei der Vorhersage von Flussabflüssen (stark nicht-gaußsch) reduzierte die Nash-Sutcliffe-Regression den NSE-Verlust im Vergleich zur OLS-Regression um ca. 46–68 %.
  • Bei Temperaturdaten (näher an der Normalverteilung) waren die Unterschiede geringer, aber die Nash-Sutcliffe-Regression blieb dennoch optimal für das NSE-Maß.
  • Die Ergebnisse zeigen, dass das Ignorieren der theoretischen Inkonsistenz zwischen Training (MSE) und Bewertung (NSE) zu suboptimalen Modellen führt.

5. Bedeutung und Implikationen

• Wissenschaftliche Konsistenz: Die Arbeit schließt die Lücke zwischen der Praxis des Modelltrainings und der Bewertung in der Hydrologie und verwandten Disziplinen. Sie beweist, dass die Maximierung des durchschnittlichen NSE äquivalent zur Minimierung des erwarteten Nash-Sutcliffe-Verlusts ist.
• Praktische Leitlinie:
  • Wenn Modelle mit dem NSE bewertet werden sollen, müssen sie auch mit dem Nash-Sutcliffe-Verlust (oder einer äquivalenten gewichteten Methode) trainiert werden.
  • Der Vergleich von NSE-Werten über verschiedene Standorte hinweg ist nur dann statistisch valide, wenn angenommen wird, dass die Zeitreihen Realisierungen desselben stochastischen Prozesses sind (gleiche Verteilungseigenschaften).
  • Die Nash-Sutcliffe-Regression bietet einen einfachen, analytisch lösbaren Weg (gewichtete Kleinste-Quadrate), um diese Konsistenz herzustellen, ohne auf komplexe neuronale Netze angewiesen zu sein.

Fazit: Das Paper etabliert den NSE nicht nur als Evaluierungsmetrik, sondern als ein fundamentales Lernziel mit einer klaren Entscheidungstheorie. Es fordert einen Paradigmenwechsel weg von der getrennten Betrachtung von Training (MSE) und Bewertung (NSE) hin zu einer integrierten Methodik, die die spezifischen Eigenschaften des NSE-Funktionalen berücksichtigt.