Learning with the Nash-Sutcliffe loss

Dit artikel biedt een beslissingstheoretische onderbouwing voor het gebruik van de Nash-Sutcliffe-efficiëntie door de bijbehorende verliezen te analyseren, een nieuw functioneel te definiëren en een regressiemethode voor te stellen die het schatten van modellen voor meerdere stationaire tijdreeksen met verschillende stochastische eigenschappen mogelijk maakt.

De kern

De Kernboodschap: De verkeerde meetlat voor de verkeerde taak

Stel je voor dat je een kok bent die voor tien verschillende restaurants werkt. Je moet voor elk restaurant een gerecht bereiden.

• Restaurant A serveert zware, romige soepen.
• Restaurant B serveert lichte, frisse salades.
• Restaurant C serveert pittige curry's.

Elk restaurant heeft een andere "smaakprofiel" (in de wetenschap: een andere statistische verdeling).

In de wereld van voorspellingen (zoals waterstanden in rivieren of temperaturen) gebruiken wetenschappers vaak een meetlat genaamd NSE (Nash-Sutcliffe Efficiency) om te kijken hoe goed hun voorspellingen zijn. Het is een populaire meetlat, vooral in de waterwereld.

Het probleem:
De auteurs van dit artikel ontdekten dat de meeste mensen de NSE gebruiken alsof het een universele meetlat is. Ze trainen hun modellen (hun "koks") met de standaard methode (het minimaliseren van de gemiddelde fout, oftewel MSE), en kijken dan of ze goed scoren op de NSE.

De auteurs zeggen: "Dat is als proberen een soep te koken met een salade-thermometer!"

Als je je model traint met de standaard methode, leer je het om de gemiddelde waarde te voorspellen. Maar de NSE meet iets anders: hij kijkt naar hoe goed je voorspelling past bij de variabiliteit van de data. Als je model traint voor het gemiddelde, maar je evalueert het met de NSE, krijg je suboptimale resultaten. Het is alsof je een auto bouwt die perfect rijdt op een racecircuit, maar je evalueert hem op zijn vermogen om door een modderig veld te rijden.

De Oplossing: De "Nash-Sutcliffe" Kookles

De auteurs stellen een nieuwe manier voor om te koken (modellen te bouwen) die perfect aansluit bij de NSE-meetlat.

1. De Nieuwe "Kooktechniek" (Nash-Sutcliffe Linear Regression)
In plaats van alle restaurants even zwaar te wegen, geeft deze nieuwe methode meer aandacht aan de restaurants die lastig te voorspellen zijn (die met veel variatie) en minder aan die met weinig variatie.

• Vergelijking: Stel je voor dat je een leraar bent. De standaard methode behandelt elke leerling precies hetzelfde. De nieuwe methode (Nash-Sutcliffe regressie) geeft extra aandacht aan de leerlingen die veel variatie in hun cijfers hebben, omdat die voor de NSE-meetlat belangrijker zijn. Het is een gewogen methode.

2. De "Nash-Sutcliffe Functie" (Het doelwit)
Wanneer je de NSE gebruikt, ben je eigenlijk niet op zoek naar het simpele gemiddelde van de data. Je bent op zoek naar een "gewichtig gemiddelde".

• Analogie: Stel je voor dat je een groep mensen vraagt om een schatting te doen van de temperatuur.
  • De standaard methode vraagt: "Wat is het gemiddelde?" (Iedereen telt mee).
  • De Nash-Sutcliffe methode vraagt: "Wat is het gemiddelde, maar we tellen de mensen die vaak zweten (veel variatie) zwaarder mee dan de mensen die altijd hetzelfde kledingstuk dragen?"
    De nieuwe methode leert het model om precies dat "gewichtige gemiddelde" te voorspellen.

Waarom is dit belangrijk? (De Praktijk)

De auteurs hebben dit getest met echte data (rivierwaterstanden en temperaturen in Frankrijk) en met computer-simulaties.

• Het Resultaat: Toen ze hun modellen trainten met de nieuwe "Nash-Sutcliffe" methode, scoorden ze veel beter op de NSE-meetlat dan de modellen die met de oude, standaard methode waren getraind.
• De Les: Als je wilt dat je model goed scoort op de NSE (wat vaak de belangrijkste score is in de waterwereld), moet je het model ook trainen met de NSE-methode. Je kunt niet de ene methode gebruiken om te leren en de andere om te testen. Dat is als een atleet die traint voor een marathon, maar dan een sprintwedstrijd moet lopen.

Samenvatting in één zin

Deze paper zegt: "Stop met het gebruik van de standaard meetlat om modellen te trainen als je wilt dat ze goed presteren op de NSE-schaal; gebruik in plaats daarvan onze nieuwe, slimme 'gewogen' methode die precies weet wat de NSE-eisen zijn."

Kortom: De auteurs hebben de "recepten" (de wiskundige formules) aangepast zodat de "koks" (de modellen) precies weten hoe ze moeten koken om de "smaaktest" (de NSE) te winnen.

Technische samenvatting

Titel: Leren met de Nash-Sutcliffe-verliesfunctie

1. Probleemstelling

De Nash-Sutcliffe-efficiëntie (NSE) is een wijdverbreide, positief georiënteerde maatstaf voor het evalueren van voorspellingen over meerdere tijdreeksen, vooral in de geowetenschappen (bijv. hydrologie). De NSE wordt gedefinieerd als $1 - \text{MSE}/\text{MSE}_{\text{benchmark}}$, waarbij de benchmark de naïeve voorspelling is (het gemiddelde van de waarnemingen).

Het fundamentele probleem dat dit artikel adresseert, is het ontbreken van een beslissingstheoretische onderbouwing voor het gebruik van de NSE bij modeltraining en -evaluatie.

• In de praktijk worden modellen vaak getraind met de Minimaal Kwartier Fout (MSE) of een variant daarvan, maar vervolgens geëvalueerd met de gemiddelde NSE ($\overline{\text{NSE}}$) over meerdere reeksen.
• De auteurs tonen aan dat dit een inconsistentie creëert. Omdat de NSE een gewogen verhouding is, eliceert (trekt het naar zich toe) een andere statistische functionaal dan de MSE.
• Het maximaliseren van de gemiddelde NSE impliceert onbewust dat alle tijdreeksen afkomstig zijn van één enkel niet-stationair, stochastisch proces. Als modellen worden getraind om de MSE te minimaliseren (wat de voorwaardelijke gemiddelde waarde eliceert), zijn ze suboptimaal voor de NSE-evaluatie, tenzij specifieke voorwaarden (zoals onafhankelijke, identiek verdeelde Gaussische variabelen) worden voldaan.

2. Methodologie

De auteurs herformuleren het probleem door de NSE te bekijken als een negatief georiënteerde verliesfunctie, genaamd de Nash-Sutcliffe-verliesfunctie ($L_{NS}$):
$$L_{NS}(\mathbf{z}_d, \mathbf{y}_d) = 1 - \text{NSE}(\mathbf{z}_d, \mathbf{y}_d) = \frac{\|\mathbf{z}_d - \mathbf{y}_d\|_2^2}{\|\mu(\mathbf{y}_d)\mathbf{1}_d - \mathbf{y}_d\|_2^2}$$
waarbij $\mathbf{z}_d$ de voorspelling is en $\mathbf{y}_d$ de observatie (een $d$-dimensionale vector).

De kern van de methodologie berust op de theorie van strikt consistente verliesfuncties en eliceerbare functionalen (Gneiting, 2011):

1. Analyse van Consistentie: De auteurs bewijzen dat $L_{NS}$ strikt consistent is voor een specifieke $d$-dimensionale functionaal, de Nash-Sutcliffe-functionaal.
2. Identificatie van de Functionaal: Ze tonen aan dat deze functionaal een data-gewogen componentsgewijze gemiddelde is. Dit verschilt fundamenteel van het standaard componentsgewijze gemiddelde dat door de MSE wordt geëliceerd.
3. M-estimators: Ze ontwikkelen een schattingsframework (M-estimators) dat direct de $L_{NS}$ minimaliseert in plaats van de MSE.
4. Twee Data-Oriëntaties: Het artikel onderscheidt twee scenario's voor de data-matrix:
   • $d \times n$: $n$ tijdreeksen van lengte $d$ (kolommen zijn reeksen).
   • $n \times d$: $n$ observaties van een $d$-dimensionale vector (rijen zijn reeksen). Dit is de standaard voor voorspellingstaken.
5. Nash-Sutcliffe Lineaire Regressie: Ze leiden een gesloten vorm af voor lineaire regressie die de $L_{NS}$ minimaliseert. Dit resulteert in een gewichtste kleinste kwadraten (WLS)-schatter, waarbij de gewichten afhangen van de variabiliteit van elke tijdreeks (de noemer van de NSE).

3. Belangrijkste Bijdragen

• Theoretische Fundamente: Het leveren van een strikte beslissingstheoretische basis voor de NSE. Het bewijs dat $L_{NS}$ strikt consistent is voor de Nash-Sutcliffe-functionaal en dat deze functionaal identificeerbaar is.
• Definitie van de Nash-Sutcliffe-functionaal: Het karakteriseren van deze functionaal als een data-gewogen gemiddelde. Dit verklaart waarom modellen getraind met MSE vaak slechter presteren op NSE-metingen; ze schatten de verkeerde doelgrootheden.
• Nash-Sutcliffe Lineaire Regressie: De introductie van een nieuwe regressiemethode die specifiek is ontworpen om de NSE te maximaliseren (of $L_{NS}$ te minimaliseren). Dit is een gewogen variant van de klassieke lineaire regressie.
• Praktische Richtlijnen: Het bieden van een handleiding voor het correct gebruik van NSE, inclusief de noodzaak om modellen te trainen met de overeenkomstige verliesfunctie en het belang van het groeperen van tijdreeksen met vergelijkbare stochastische eigenschappen.
• Uitgebreide Verliesfunctie: Het voorstellen van een uitgebreide versie van de verliesfunctie (met een kleine constante in de noemer) om numerieke instabiliteit bij reeksen met zeer lage variabiliteit te voorkomen.

4. Resultaten

De auteurs valideren hun theorie via simulaties en real-world toepassingen (hydrologische data van Franse rivierbekkens):

• Simulatie 1 (Functionaal Vergelijking):
  • Bij Gaussische, onafhankelijke data zijn de componentsgewijze gemiddelden en de Nash-Sutcliffe-functionaal bijna identiek.
  • Bij niet-Gaussische data (bijv. log-normaal) of afhankelijke data divergeren de twee functionalen sterk. De Nash-Sutcliffe-climatologie (het doel van de NSE) presteert dan aanzienlijk beter op de NSE-maatstaf dan het standaard gemiddelde.
• Simulatie 2 & 3 (Regressie):
  • In zowel de $d \times n$ als $n \times d$ instellingen presteert de Nash-Sutcliffe lineaire regressie aanzienlijk beter op de NSE-maatstaf dan de klassieke multi-dimensionale lineaire regressie (OLS).
  • De OLS-methode presteert wel iets beter op de Euclidische norm (MSE), wat bevestigt dat ze verschillende doelstellingen hebben.
• Real-world Toepassing (Afvoer en Temperatuur):
  • Bij het voorspellen van dagelijkse rivierafvoer en temperatuur over 10 stroomgebieden, reduceerde de Nash-Sutcliffe-regressie de verlieswaarde met ongeveer 46% tot 68% ten opzichte van de OLS-methode wanneer geëvalueerd met de NSE.
  • Dit bewijst dat het aanpassen van de trainingsmethode aan de evaluatiemeta (NSE) cruciaal is voor de prestaties.

5. Betekenis en Conclusie

Dit artikel legt een fundamentele brug tussen de praktijk van het evalueren van modellen met de NSE en de statistische theorie van verliesfuncties.

• Kernboodschap: Als een model geëvalueerd moet worden met de NSE (of de gemiddelde NSE over meerdere reeksen), moet het model ook getraind worden met de Nash-Sutcliffe-verliesfunctie. Het gebruik van MSE voor training en NSE voor evaluatie leidt tot suboptimale voorspellingen.
• Implicaties voor Machine Learning: Het onderstreept het belang van "alignment" tussen trainingsdoel en evaluatiemeta. Het biedt een wiskundig onderbouwd alternatief voor standaard regressie in domeinen waar schaal-invariante metrics (zoals NSE) de standaard zijn.
• Toekomst: De theorie kan worden uitgebreid naar andere varianten van de NSE en biedt een kader voor het begrijpen van waarom modelrangschikkingen veranderen afhankelijk van de gebruikte metriek.

Kortom, de auteurs transformeren de NSE van een puur empirische "skill score" naar een rigoureus statistisch instrument met een helder doel: het minimaliseren van een specifiek, data-gewogen verlies om een welgedefinieerde functionaal te schatten.