📊 statistics

Extreme Conformal Prediction: Reliable Intervals for High-Impact Events

Deze paper introduceert een nieuwe methode die extreme-waardenstatistiek combineert met conformale voorspelling om betrouwbare en informatieve voorspellingsintervallen te genereren voor zeldzame, hoog-impact gebeurtenissen, zelfs wanneer de vereiste zekerheidsniveaus de beschikbare kalibratiegegevens overstijgen.

Oorspronkelijke auteurs: Olivier C. Pasche, Henry Lam, Sebastian Engelke

Gepubliceerd 2026-04-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Olivier C. Pasche, Henry Lam, Sebastian Engelke

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weerman is, maar dan voor de uiterste uitzonderingen. Je moet niet voorspellen of het morgen regent, maar of er een katastrofale overstroming komt die de stad onder water zet. Of misschien moet je als bankier voorspellen of er een financiële crisis komt die alles wegvaagt.

In deze situaties wil je niet "misschien" zeggen. Je wilt 99,99% zekerheid. Je wilt een voorspelling die zo betrouwbaar is dat je er je leven of je spaargeld op durft te zetten.

Hier komt dit wetenschappelijke artikel om de hoek kijken. Het lost een groot probleem op met de huidige voorspellingstechnieken. Laten we het uitleggen met een paar simpele analogieën.

1. Het Probleem: De "Lege" Voorspelling

Stel je voor dat je een voorspelmachine hebt die gebaseerd is op data van de afgelopen 10 jaar. Je vraagt de machine: "Wat is de maximale waterstand die we met 99,9% zekerheid niet zullen overschrijden?"

Als je kijkt naar de data van de afgelopen 10 jaar, heb je misschien 3.650 metingen. Maar 99,9% zekerheid betekent dat je kijkt naar iets dat maar 3,6 keer in die hele periode zou kunnen gebeuren.

Het probleem: De machine zegt: "Ik heb in mijn geheugen maar 3,650 metingen. Ik heb er geen enkele gezien die zo extreem is. Dus ik kan het niet weten."
De oude oplossing: De machine geeft je een antwoord als: "De waterstand kan overal tussen min oneindig en plus oneindig liggen."
Waarom dat slecht is: Dat is technisch gezien "waar" (het dekt alles), maar het is nutteloos. Het is alsof je een brandweerman vraagt hoe hoog de ladder moet zijn en hij zegt: "Tussen de grond en de maan." Dat helpt je niet om de brand te blussen.

2. De Oplossing: "Extreme Conformal Prediction"

De auteurs van dit paper (Olivier Pasche, Henry Lam en Sebastian Engelke) hebben een slimme truc bedacht. Ze combineren twee dingen:

Moderne AI: Slimme computers die patronen leren.
Extreme Waarde Statistiek: Een oude wiskundige methode om gedrag te voorspellen dat buiten de bekende data ligt.

De Analogie van de Bergtop:
Stel je voor dat je de top van een berg moet voorspellen, maar je hebt alleen maar metingen gedaan tot halverwege de berg.

De oude methode zegt: "Ik zie geen top, dus ik weet het niet."
De nieuwe methode kijkt naar de vorm van de helling waar je wel data hebt. Als de helling steeds steiler wordt, zegt de wiskunde: "Oké, als dit patroon doorzet, dan ligt de top hier."

Ze gebruiken een wiskundige vorm (een "Generalized Pareto Distribution", klinkt eng, maar is gewoon een curve die extreme gebeurtenissen beschrijft) om de "staart" van de data te verlengen. Ze kijken naar de uiterste waarden die ze wel hebben gezien en extrapoleren (verlengen) die lijn naar het gebied waar ze geen data hebben.

3. Hoe werkt het precies? (De "Veilige Rand")

De methode werkt in twee stappen:

De Basisvoorspelling: Een AI-model maakt een voorspelling voor de waterstand.
De "Conformal" Correctie: De AI is niet perfect. Dus voegen ze een "veiligheidsmarge" toe.
- Bij normale voorspellingen (bijv. 90% zekerheid) kijken ze naar de fouten van de afgelopen jaren en nemen ze de grootste fout als marge.
- Bij extreme voorspellingen (99,99% zekerheid) is die grootste fout in de data vaak te klein of bestaat hij niet.
- De truc: Ze gebruiken de wiskundige curve (uit stap 2 hierboven) om te schatten hoe groot die "onzichtbare" fout zou zijn als het echt extreem wordt. Ze voegen dan een extra veiligheidsmarge toe, gebaseerd op die schatting.

Het resultaat is een voorspelling die niet "oneindig" is, maar wel zo breed dat hij de zeldzame rampen echt dekt.

4. Waarom is dit belangrijk? (De Rivier in Bern)

De auteurs hebben dit getest met echte data van de rivier de Aare in Zwitserland.

Het doel: Voorspellen of de rivier over de oevers zal stromen.
Het probleem: Rivieren hebben seizoenen. In de lente smelt de sneeuw (veel water), in de winter is het droog. De data is dus niet statisch; het verandert.
De oplossing: Ze hebben de methode "op maat" gemaakt. Ze geven recentere data of data uit hetzelfde seizoen meer gewicht. Alsof je zegt: "De data van afgelopen lente is belangrijker dan de data van 10 jaar geleden in de winter."

Het resultaat:

De oude methoden gaven bij extreme zekerheidswaarden "oneindige" voorspellingen (nutteloos).
De nieuwe methode gaf concrete, bruikbare nummers die wel degelijk de overstromingen dekten. Ze waren niet te smal (geen ramp) en niet te breed (geen paniek).

Samenvatting in één zin

Dit paper leert computers hoe ze verstandige voorspellingen kunnen doen voor zeldzame, rampzalige gebeurtenissen, zelfs als ze in hun trainingsdata nog nooit zo'n ramp hebben gezien, door slimme wiskunde te gebruiken om de "staart" van de data te verlengen.

Het is alsof je een paraplu koopt die groot genoeg is voor een normale regenbui, maar die je nu kunt uitrekken tot een gigantische tent voor een orkaan, zonder dat je de tent zelf hoeft te bouwen.

Probleemstelling

Conformal prediction is een populaire methode om voorspellingsintervallen te construeren met gegarandeerde marginaal dekking (coverage) vanuit black-box machine learning-modellen. De klassieke aanpak levert echter een groot probleem op bij toepassingen met hoog-impact gebeurtenissen (zoals overstromingen of financiële crises), waar regelgevers zeer hoge betrouwbaarheidsniveaus eisen (bijv. 99,99% of hoger).

Het fundamentele probleem is dat bij zulke extreme betrouwbaarheidsniveaus ( $1-\alpha$ ), het vereiste kwantiel vaak buiten het bereik van de beschikbare kalibratiegegevens ligt.

Als het gewenste $\alpha$ kleiner is dan $1/(n_c + 1)$ (waar $n_c$ de grootte van de kalibratiestandaard is), is er gemiddeld minder dan één observatie die het $(1-\alpha)$ -kwantiel overschrijdt.
In dit geval is de geschatte kwantiel $\hat{q}_\alpha$ in de klassieke methode oneindig of niet gedefinieerd.
Het resultaat zijn degenererende voorspellingsintervallen van $(-\infty, \infty)$ , die technisch wel aan de dekkingseis voldoen, maar in de praktijk volledig nutteloos zijn omdat ze geen informatie bieden.

Methodologie

De auteurs stellen een nieuwe methode voor, Extreme Conformal Prediction, die conformal prediction combineert met statistieken voor extreme waarden (Extreme Value Theory - EVT) om betrouwbare en informatieve intervallen te genereren voor extreme niveaus. De methode bestaat uit twee hoofdstappen:

Extreme Quantile Regression (Training):
- Er wordt een voorspellingsmodel getraind (bijv. een black-box machine learning model zoals een neurale net of gradient boosting) om extreme kwantielen te schatten.
- In plaats van standaard kwantielregressie, worden methoden gebruikt die specifiek zijn ontworpen voor extrapolatie buiten het bereik van de data (bijv. gebaseerd op de Generalized Pareto Distribution - GPD).
Calibratie met Extrapolatie (Peaks-over-Threshold):
- In plaats van de empirische kwantiel van de "non-conformity scores" (de fouten van het model) te gebruiken, wordt de Peaks-over-Threshold (POT) aanpak toegepast.
- De staart van de verdeling van de kalibratiescores wordt benaderd met een Generalized Pareto Distribution (GPD) boven een hoge drempel $u$ .
- Om de onzekerheid in de schatting van de GPD-parameters en de benaderingsfouten te compenseren, wordt geen enkelvoudig kwantiel gebruikt, maar het bovenste eindpunt van een betrouwbaarheidsinterval voor het extreme kwantiel.
- Dit wordt bereikt via een conservatieve benadering (bijv. profiel-likelihood of bootstrap) waarbij twee foutniveaus ( $\alpha_1$ en $\alpha_2$ ) worden gecombineerd zodat de totale dekking $\geq 1-\alpha$ blijft (vergelijkbaar met een Šidák- of Bonferroni-correctie).

Uitbreidingen:

Gewogen Conformal Prediction: Voor niet-stationaire data (bijv. seizoensgebonden patronen bij rivierafvoer) wordt een gewogen versie voorgesteld. Hierbij krijgen kalibratieobservaties die dichterbij de testperiode in de tijd of seizoen liggen, een hogere gewichtsfactor. Dit wordt gedaan via een gewogen GPD-likelihood.
Een- en tweezijdige intervallen: De methode is toepasbaar op zowel eenzijdige (bijv. alleen bovenste grens voor overstromingsrisico) als tweezijdige intervallen.

Kernbijdragen

Overbrugging van twee domeinen: De eerste methodologische koppeling tussen conformal prediction en extreme waardenstatistiek om voorspellingsintervallen te maken voor niveaus die verder gaan dan de kalibratiegegevens.
Oplossing voor oneindige intervallen: De methode levert altijd eindige, informatieve intervallen, zelfs wanneer $\alpha$ veel kleiner is dan $1/n_c$ , waar klassieke methoden falen.
Robuustheid: Door het gebruik van conservatieve betrouwbaarheidsintervallen voor de GPD-schatting, wordt gegarandeerd dat de dekkingseis wordt gehaald, ondanks schattingsfouten.
Flexibiliteit: De methode werkt met elke black-box extreme kwantielregressiemethode en kan worden uitgebreid naar gewogen conformal prediction voor drift in data.

Resultaten

De auteurs valideren hun methode via simulaties en een toepassing op overstromingsrisico's in Bern, Zwitserland.

Simulatiestudie:
- Bij extreme betrouwbaarheidsniveaus (bijv. $1-\alpha = 0.99999$ ) leverden klassieke methoden altijd oneindige intervallen op.
- De voorgestelde GPD-gebaseerde methoden (vooral de profiel-likelihood variant, genaamd "GPD safeprofile") leverden eindige intervallen met een dekking die consistent boven of gelijk was aan het vereiste niveau.
- Zelfs bij slecht presterende basismodellen (lineaire GPD-modellen) bleef de extreme conformal methode voldoen aan de dekkingseisen, terwijl de originele voorspellingen vaak onderdekking vertoonden.
Toepassing: Overstromingsrisico (Aare-rivier):
- Doel: Een dag vooruit voorspellen van het debiet van de Aare-rivier met zeer hoge zekerheid.
- De data vertoont sterke seizoensgebonden patronen, wat de uitwisselbaarheid (exchangeability) schendt. De gewogen versie van de methode corrigeerde hiervoor succesvol.
- Resultaat: De extreme conformal intervallen boden significante verbetering ten opzichte van de klassieke conformal methode (die oneindig werd) en de originele kwantielvoorspellingen (die vaak onderdekking hadden).
- De intervallen waren informatief (niet te breed) en vingen de zeldzame, extreme overstromingsgebeurtenissen correct op.

Betekenis en Conclusie

Deze paper biedt een cruciale oplossing voor risicobeheersing in sectoren waar "zeldzame maar rampzalige" gebeurtenissen moeten worden voorspeld.

Praktische impact: Het stelt regelgevers en ingenieurs in staat om betrouwbare waarschuwingssystemen te bouwen voor overstromingen, branden of financiële instabiliteit, zelfs wanneer de historische data onvoldoende is om deze extreme niveaus direct te observeren.
Theoretische afweging: De auteurs erkennen dat hun methode, in tegenstelling tot klassieke conformal prediction, geen eindige-steekproefgaranties biedt (het is gebaseerd op asymptotische eigenschappen van de GPD). Echter, dit is een noodzakelijke afweging om extrapolatie mogelijk te maken.
Toekomst: De methode is geïmplementeerd in een open-source R-pakket en vormt een basis voor verdere onderzoek naar efficiëntere data-gebruik (bijv. full-conformal) en complexere niet-stationaire scenario's.

Kortom, Extreme Conformal Prediction maakt het mogelijk om machine learning-modellen te gebruiken voor "black swan" gebeurtenissen met een statistisch onderbouwde zekerheid, waar traditionele methoden falen.