📊 statistics

Enforcing tail calibration when training probabilistic forecast models

Dit artikel toont aan dat het aanpassen van verliesfuncties via gewogen scorefuncties en regularisatie voor staartmiscalibratie de calibratie van probabilistische voorspellingen voor extreme gebeurtenissen, zoals de windsnelheden in het Verenigd Koninkrijk, kan verbeteren, hoewel deze verbetering een afweging met zich meebrengt voor de calibratie van meer voorkomende uitkomsten.

Oorspronkelijke auteurs: Jakob Benjamin Wessel, Maybritt Schillinger, Frank Kwasniok, Sam Allen

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jakob Benjamin Wessel, Maybritt Schillinger, Frank Kwasniok, Sam Allen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weerman bent, maar in plaats van alleen te zeggen "Het gaat regenen", ben je een chef die een maaltijd voorspelt. Je serveert niet gewoon één gerecht; je serveert een probabilistisch menu. Je vertelt je gasten: "Er is 70% kans op spaghetti, 20% kans op pizza en 10% kans op een verrassingssalade."

In de wereld van data science heet dit een probabilistische voorspelling. Het doel is ervoor te zorgen dat je menu overeenkomt met de realiteit. Als je zegt dat er 10% kans is op een salade, en over 100 dagen serveer je inderdaad 10 keer salade, dan is je voorspelling "gecalibreerd". Het is betrouwbaar.

Er is echter een groot probleem: Extreme gebeurtenissen.

Het probleem: De "Verrassingssalade"-ramp

Stel je voor dat je restaurant zich in een stormachtig gebied bevindt. De meeste dagen is het weer mild (spaghetti of pizza). Maar af en toe treft een enorme orkaan toe (de "verrassingssalade" die eigenlijk een tornado is).

Het artikel stelt dat zelfs de slimste, meest high-tech chefs (machine learning-modellen) uitstekend zijn in het voorspellen van de milde dagen, maar vreselijk in het voorspellen van de extreme stormen. Ze zeggen misschien: "Oh, er is een piepkleine kans van 1% op een tornado", terwijl de storm in werkelijkheid eraan komt.

Waarom? Omdat deze modellen zijn getraind om "gemiddeld goed" te zijn. Ze richten zich op het goed voorspellen van de gewone dagen (de spaghetti en pizza), omdat die 99% van de tijd voorkomen. Ze negeren de zeldzame, gevaarlijke dagen omdat ze geen "calibratiepunten" willen verspillen aan hen.

De auteurs noemen dit een gebrek aan Tail Calibration (staartcalibratie). "Staart" verwijst naar het uiterste einde van de waarschijnlijkheidscurve – de extreme, zeldzame gebeurtenissen. Als je voorspelling niet "staartgecalibreerd" is, kun je kalm blijven terwijl je zou moeten schreeuwen: "Red je leven!"

De oplossing: Het "Scorebord" veranderen

In machine learning leren modellen door te proberen de hoogste score te behalen op een test. Meestal is die test een standaard "nauwkeurigheidscore" (zoals de CRPS of Log Score). Dit scorebord beloont je voor het goed voorspellen van de gewone dingen.

Het artikel stelt dat we het scorebord moeten veranderen om de modellen te dwingen aandacht te besteden aan de stormen. Ze stellen twee hoofdmanieren voor om dit te doen:

1. De "Gewogen Score" (De VIP-pas)

Stel je voor dat de standaardtest je 1 punt geeft voor het goed voorspellen van spaghetti, maar slechts 0,1 punt voor het goed voorspellen van een tornado. Het model negeert de tornado.

De auteurs stellen voor om de tornado-voorspelling een VIP-pas te geven. Ze gebruiken een Gewogen Scoreregel. Nu is het goed voorspellen van een tornado 100 punten waard.

De metafoor: Het is alsof je de chef vertelt: "Als je het zeldzame, gevaarlijke gerecht goed voorspelt, krijg je een gouden ster. Als je het saaie pasta gerecht goed voorspelt, krijg je een gewone ster."
Het resultaat: De chef begint aandacht te besteden aan de tornado. Maar omdat ze zo gefocust zijn op de tornado, kunnen ze de spaghetti-voorspellingen een beetje verpesten.

2. De "Foutieve Calibratie-boete" (De strenge inspecteur)

Dit is een meer directe aanpak. In plaats van alleen de punten te veranderen, voegen de auteurs een boete toe aan het scorebord.

De metafoor: Stel je een strenge gezondheidsinspecteur (de Regularisatieterm) voor die niet geeft om hoe lekker het eten is, maar alleen om het menu overeenkomt met de daadwerkelijke output van de keuken. Als het menu zegt "10% kans op salade" maar de keuken serveert 50% van de tijd salade, geeft de inspecteur de chef een enorme boete.
De draai: Ze hebben een speciale inspecteur gemaakt voor de Staart (de extreme gebeurtenissen). Deze inspecteur controleert alleen de tornado-voorspellingen. Als het model liegt over de tornado, krijgt het zwaar gestraft.
Het resultaat: De chef is doodsbang voor de boete, dus past hij zijn tornado-voorspellingen aan om perfect accuraat te zijn.

De afweging: Je kunt niet alles hebben

De belangrijkste bevinding van het artikel is een afweging.

Wanneer je het model dwingt perfect te zijn in het voorspellen van extreme stormen (met deze nieuwe scoreborden), wordt het vaak iets slechter in het voorspellen van het rustige, dagelijkse weer.

Analogie: Het is als een student die alleen studeert voor de moeilijkste vragen op het eindexamen. Hij kan misschien de moeilijke calculusproblemen (de stormen) perfect maken, maar vergeet dan de basisrekenkunde (de zonnige dagen).
De claim van het artikel: De auteurs hebben dit getest op windgegevens uit het VK met drie verschillende soorten "chefs" (simpele wiskundige modellen, neurale netwerken en complexe generatieve modellen). Ze ontdekten dat alle drie met standaardmethoden faalden in het nauwkeurig voorspellen van extreme winden. Maar toen ze hun nieuwe "staartcalibratie"-boetes toepasten, werden de modellen veel beter in het voorspellen van de stormen, zelfs als ze iets slechter werden in het voorspellen van de zachte briesjes.

Samenvatting

Het probleem: AI-weermodellen zijn geweldig in gemiddelde dagen, maar vreselijk in extreme rampen omdat ze zijn getraind om "gemiddeld" te zijn.
De oplossing: De auteurs hebben de trainingsregels (de verliesfunctie) aangepast om de modellen zwaar te straffen als ze de extreme gebeurtenissen verkeerd voorspellen.
Het resultaat: De modellen werden veel betrouwbaarder voor extreme gebeurtenissen (zoals hoge winden), maar dit kwam ten koste van een iets lagere nauwkeurigheid voor normaal, dagelijks weer.
De les: Als je beslissingen moet nemen over levensbedreigende extreme gebeurtenissen, moet je je modellen specifiek trainen voor die gebeurtenissen, zelfs als dat betekent dat ze niet perfect zijn voor de rest van de tijd.

Het artikel concludeert dat we hoewel we niet alles perfect kunnen voorspellen, deze nieuwe "scoreborden" kunnen gebruiken om ervoor te zorgen dat, wanneer de storm toeslaat, onze voorspellingen in feite de waarheid vertellen.

Technische Samenvatting: Handhaving van Staartkalibratie bij het Trainen van Probabilistische Voorspellingsmodellen

Probleemstelling
Probabilistische voorspellingen worden doorgaans gegenereerd door een juiste scoringsregel (bijv. CRPS of log-score) over trainingsdata te optimaliseren om modelparameters te schatten. Hoewel deze aanpak nauwkeurige voorspellingen oplevert wanneer de modelklasse goed gespecificeerd is, omvatten toepassingen in de echte wereld vaak verkeerd gespecificeerde modellen of beperkte data. In dergelijke gevallen garandeert het optimaliseren van een standaard juiste scoringsregel niet dat de resulterende voorspellingen gekalibreerd (betrouwbaar) zijn. Dit probleem is bijzonder kritiek voor extreme gebeurtenissen, die vaak de grootste sociaaleconomische impact met zich meebrengen. Recent werk (Allen et al., 2025b) heeft aangetoond dat een voorspelling kan voldoen aan standaard probabilistische kalibratie (uniformiteit van Probability Integral Transform, of PIT-waarden) terwijl het faalt om "staartgekalibreerd" te zijn – wat betekent dat het onbetrouwbare voorspellingen biedt voor extreme uitkomsten. Standaard trainingsprocedures bieden geen garantie voor staartkalibratie, en hoewel gewogen scoringsregels zich kunnen richten op extreme uitkomsten, dwingen ze inherent geen kalibratie in de staarten af.

Methodologie
De auteurs onderzoeken twee primaire strategieën om de verliesfunctie tijdens het modeltrainen aan te passen om staartkalibratie af te dwingen:

Gewogen Scoringsregels: De auteurs maken gebruik van gewogen scoringsregels (bijv. drempel-gewogen CRPS of gecensureerde waarschijnlijkheidsscores) om meer nadruk te leggen op uitkomsten boven een specifieke drempel $t$ . Zij stellen voor deze te combineren met ongewogen scores (bijv. $CRPS + \gamma \cdot twCRPS$ ) om strikte juistheid te behouden en niet-unieke oplossingen te vermijden die kunnen ontstaan bij het uitsluitend gebruik van gewogen regels.
Regularisatie via Foutkalibratieboetes: In navolging van Wilks (2018) stellen de auteurs voor een regularisatieterm toe te voegen aan de verliesfunctie die foutkalibratie direct bestraft.
- MCB (Foutkalibratie): Een boete gebaseerd op de Wasserstein-1-afstand tussen de empirische verdeling van PIT-waarden en een standaard uniforme verdeling.
- TMCB (Staartfoutkalibratie): Een nieuwe aanpassing van het MCB-concept voor de staarten. Deze metriek straft de afwijking van de Conditional PIT (CPIT)-waarden (voor uitkomsten die de drempel $t$ overschrijden) van uniformiteit, terwijl ook rekening wordt gehouden met de voorspelde waarschijnlijkheid van drempeloverschrijding. De TMCB wordt gedefinieerd als de Wasserstein-1-afstand tussen de empirische kwantiel functie van de staartvoorspellingen en de identiteitsfunctie.

Deze methoden worden toegepast op een hiërarchie van drie steeds flexibeler wordende probabilistische wind snelheidsmodellen voor het VK:

Ensemble Model Output Statistics (EMOS): Een eenvoudige parametrische aanpak (afgekapt normale verdeling).
Distributional Regression Networks (DRNs): Niet-lineaire uitbreidingen van EMOS met behulp van neurale netwerken.
Conditional Generative Models (CGMs): Niet-parametrische, op steekproeven gebaseerde generatieve modellen.

De modellen worden getraind op wind snelheidsdata van het UK Met Office (10m wind snelheid) en geëvalueerd tegen een drempel van 12,5 m/s (ongeveer het 97,5e percentiel).

Belangrijkste Bijdragen

Empirische Aantonen van Staartfoutkalibratie: De studie toont aan dat state-of-the-art modellen (parametrisch, neurale netwerken en generatief), wanneer getraind met standaard juiste scoringsregels, geen staartgekalibreerde voorspellingen uitgeven voor extreme windsnelheden, zelfs als ze overall goed gekalibreerd lijken.
Regularisatie voor Staartkalibratie: De auteurs introduceren en implementeren een TMCB regularisatieterm die staartfoutkalibratie expliciet bestraft tijdens het trainen.
Afwegingsanalyse: Het werk kwantificeert de afweging tussen het verbeteren van staartbetrouwbaarheid en het handhaven van algehele voorspellingsnauwkeurigheid en kalibratie.

Resultaten

Simulatiestudie: In een gecontroleerde simulatie slaagde het bestraffen van staartfoutkalibratie erin modelparameters te verschuiven naar een oplossing die staartgekalibreerd was, terwijl standaard optimalisatie dit niet deed.
Toepassing Weervoorspelling:
- EMOS: Het bestraffen van staartfoutkalibratie (TMCB) of het gebruik van de drempel-gewogen CRPS (twCRPS) verbeterde de staartkalibratie aanzienlijk (tot ongeveer 65% verbetering in TMCB-vaardigheid), maar resulteerde in een verslechtering van de algehele kalibratie (MCB-vaardigheid nam af met ongeveer 187%) en een lichte daling in de algehele CRPS.
- DRNs: Standaard CRPS-training produceerde een sterk variabele staartkalibratie over verschillende willekeurige initialisaties. Regularisatie met TMCB of twCRPS verminderde deze variabiliteit en verbeterde de staartkalibratie, zij het ten koste van de algehele kalibratie.
- CGMs: Net als bij DRNs leverde standaard training foutgekalibreerde staarten op. Regularisatie verbeterde de staartkalibratie en verminderde de variabiliteit tussen modelruns, waarbij TMCB-regularisatie de sterkste verbetering in staartmetrieken toonde.
Algemene Bevinding: Bij alle modelklassen verbetert het afdwingen van staartkalibratie via regularisatie of gewogen scores de betrouwbaarheid van voorspellingen voor extreme gebeurtenissen, maar introduceert het een afweging waarbij de algehele probabilistische kalibratie en soms de voorspellingsvaardigheid (CRPS) worden gecompromitteerd.

Betekenis en Beweringen
Het artikel beweert dat huidige state-of-the-art probabilistische voorspellingsmodellen inherent geen gekalibreerde voorspellingen produceren voor extreme gebeurtenissen. De betekenis van dit werk ligt in het aantonen dat geschikte aanpassingen aan de verliesfunctie tijdens het trainen de betrouwbaarheid van voorspellingen voor extreme gebeurtenissen kunnen verbeteren.

De auteurs formuleren hun bijdrage bescheiden als een methode om staartkalibratie "zwak af te dwingen". Zij erkennen dat deze aanpak een afweging introduceert: het verbeteren van staartbetrouwbaarheid gaat vaak ten koste van de algehele kalibratie en scherpte. Zij merken op dat hoewel hun kader effectief is voor de onderzochte windsnelheidsdata, de resultaten specifiek zijn voor de gekozen drempels en modelklassen. Het artikel suggereert dat toekomstig werk multi-objective optimalisatie en sterkere noties van kalibratie (bijv. conformale voorspelling) moet verkennen, maar benadrukt dat de voorgestelde regularisatie een praktische, implementeerbare methode biedt voor practitioners die betrouwbaardere voorspellingen voor extreme gebeurtenissen nodig hebben.