📊 statistics

Extreme Conformal Prediction: Reliable Intervals for High-Impact Events

Dieses Papier stellt eine neue Methode vor, die Extremwertstatistik mit konformaler Vorhersage verbindet, um auch bei sehr hohen Konfidenzniveaus und begrenzten Daten zuverlässige und informative Vorhersageintervalle für Hochrisiko-Ereignisse wie Überschwemmungen zu erstellen.

Ursprüngliche Autoren: Olivier C. Pasche, Henry Lam, Sebastian Engelke

Veröffentlicht 2026-04-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Olivier C. Pasche, Henry Lam, Sebastian Engelke

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🌊 Die Geschichte vom unzuverlässigen Wettervorhersager und dem neuen Sicherheitsnetz

Stellen Sie sich vor, Sie sind der Verantwortliche für den Schutz einer Stadt vor Überschwemmungen. Sie haben einen sehr cleveren Computer (eine „Blackbox"-KI), der Ihnen sagt, wie hoch das Wasser morgen steigen wird. Aber der Computer macht Fehler.

Normalerweise sagt der Computer: „Das Wasser wird zwischen 2 und 3 Metern steigen." Das ist eine Vorhersage. Aber als Sicherheitsbeamter brauchen Sie mehr: Sie brauchen ein Sicherheitsnetz (ein Intervall), das garantiert, dass das Wasser niemals darüber steigt, ohne dass die Stadt untergeht.

Das Problem: Wenn die Angst zu groß ist

Normalerweise ist der Computer gut darin, ein Sicherheitsnetz zu spannen. Wenn Sie sagen: „Ich will zu 90 % sicher sein", berechnet er ein Netz, das bis 3,5 Meter reicht. Das ist gut.

Aber was, wenn Sie sagen: „Ich brauche eine Sicherheit von 99,999 %!"? Das ist der Fall bei katastrophalen Ereignissen wie riesigen Hochwasserwellen oder Finanzkrisen. Hier wird es problematisch:

Das alte System bricht zusammen: Der Computer schaut in seine historischen Daten. Er hat vielleicht nur 1.000 Tage an Daten. Um eine Sicherheit von 99,999 % zu garantieren, müsste er wissen, was in den nächsten 100.000 Tagen passiert. Da er nur 1.000 Tage hat, sagt er panisch: „Ich weiß es nicht! Ich kann kein Netz spannen, das groß genug ist!"
Die triviale Lösung: Um sicherzugehen, spannt das alte System ein Netz, das von „minus unendlich" bis „plus unendlich" reicht. Technisch gesehen ist das zu 100 % sicher, aber es ist nutzlos. Wenn das Netz unendlich groß ist, können Sie keine Entscheidungen treffen. Es ist wie ein Regenschirm, der so groß ist wie der ganze Himmel – er schützt Sie vor Regen, aber Sie können nicht mehr laufen.

Die neue Lösung: Der „Extrem-Experte"

Die Autoren dieses Papiers haben eine geniale Idee: Sie verbinden die KI mit einem Experten für Extremwerte (ein Statistiker, der sich nur mit den seltensten, schlimmsten Ereignissen beschäftigt).

Stellen Sie sich das so vor:

Der KI-Computer ist wie ein erfahrener Fischer, der weiß, wo die Fische normalerweise sind.
Der Extrem-Statistiker ist wie ein Bergsteiger, der weiß, wie man sich auf den höchsten, seltenen Gipfeln verhält, wo noch niemand war.

Wie funktioniert die neue Methode?

Schritt 1: Die Basis (Der Fischer): Die KI schätzt, wie hoch das Wasser wahrscheinlich wird.
Schritt 2: Der Sicherheitsabstand (Der Bergsteiger): Anstatt nur auf die bisherigen Daten zu schauen (was bei 99,999 % nicht reicht), nutzt die neue Methode ein mathematisches Werkzeug namens Verallgemeinerte Pareto-Verteilung (GPD).
- Die Analogie: Stellen Sie sich vor, Sie haben 100 Steine, die Sie geworfen haben. Der größte Stein landete bei 10 Metern. Sie wollen wissen, wie hoch der 1000. Stein fliegen würde.
- Das alte System sagt: „Ich habe keinen Stein gesehen, der höher als 10 Meter war. Also ist alles möglich (unendlich)."
- Das neue System schaut sich die Form der Steine an, die nahe an 10 Metern waren. Es erkennt ein Muster: „Aha, die Steine werden immer seltener, aber sie folgen einer bestimmten Kurve." Basierend auf dieser Kurve extrapoliert (schätzt) es, wie hoch der 1000. Stein wahrscheinlich fliegen wird, auch wenn er noch nie da war.
Schritt 3: Der Sicherheitsgürtel: Die Methode berechnet dann ein Sicherheitsintervall, das auf dieser geschätzten Kurve basiert. Sie sagt: „Basierend auf dem Muster der extremen Ereignisse, spannen wir das Netz bis zu 12 Metern. Das ist nicht unendlich, aber es ist sicher genug für 99,999 %."

Warum ist das so wichtig?

In der echten Welt (wie im Papier am Beispiel der Aare-Flut in Bern gezeigt) haben die Forscher bewiesen, dass diese Methode funktioniert:

Das alte System gab bei extrem hohen Sicherheitsanforderungen oft „unendliche" (nutzlose) Vorhersagen oder unterschätzte das Risiko, weil es zu vorsichtig war.
Das neue System lieferte endliche, sinnvolle Intervalle. Es sagte genau, wie hoch das Wasser steigen könnte, und hielt dabei die versprochene Sicherheit ein.

Ein wichtiger Zusatz: Der Jahreszeiten-Effekt

Das Papier erwähnt noch einen cleveren Trick für nicht-stationäre Daten (Daten, die sich ändern, wie das Wetter).

Die Analogie: Ein Vorhersagemodell für den Winter funktioniert im Sommer schlecht.
Die neue Methode gewichtet die Daten: Sie schaut sich die Daten aus dem gleichen Monat im letzten Jahr genauer an als Daten aus dem Winter, wenn sie eine Sommer-Vorhersage machen. So passt sich das Sicherheitsnetz dynamisch an die Jahreszeit an.

Zusammenfassung in einem Satz

Diese Methode ist wie ein Super-Regenschirm, der nicht nur auf den Regen von heute schaut, sondern die Form der Wolken analysiert, um zu berechnen, wie groß der Sturm von morgen sein könnte – selbst wenn so ein Sturm noch nie passiert ist. Sie macht uns sicher, ohne uns blind in die Unendlichkeit zu werfen.

1. Problemstellung

Konformale Vorhersage (Conformal Prediction) ist ein etabliertes Verfahren, um aus beliebigen Black-Box-Machine-Learning-Modellen Vorhersageintervalle mit garantierten marginalen Abdeckungswahrscheinlichkeiten zu konstruieren. Das klassische Verfahren berechnet ein Vorhersageintervall basierend auf den Quantilen der „Nonconformity-Scores" (Abweichungsscores) einer Kalibrierungsstichprobe.

Das zentrale Problem, das in diesem Paper adressiert wird, tritt bei hochimpactigen Ereignissen (z. B. Überschwemmungen, Finanzkrisen) auf, für die Regulierungsbehörden extrem hohe Konfidenzniveaus (z. B. 99,99 %) verlangen.

Limitierung klassischer Methoden: Wenn das gewünschte Konfidenzniveau $1-\alpha$ so hoch ist, dass $\alpha < 1/(n_c + 1)$ gilt (wobei $n_c$ die Größe der Kalibrierungsstichprobe ist), gibt es im Durchschnitt weniger als eine Beobachtung in der Stichprobe, die den $(1-\alpha)$ -Quantilswert überschreitet.
Folge: Der empirische Quantilschätzer $\hat{q}_\alpha$ wird undefiniert oder unendlich. Das resultierende Vorhersageintervall ist trivial ( $(-\infty, \infty)$ ) und damit informativ wertlos, obwohl es formal die Abdeckungsgarantie erfüllt. Selbst bei leicht höheren Werten von $\alpha$ ist die Varianz des Schätzers enorm.

2. Methodik: Extreme Konformale Vorhersage

Die Autoren schlagen eine neue Methode vor, die Konformale Vorhersage mit Extremwertstatistik (Extreme Value Theory, EVT) verbindet, um zuverlässige und informative Intervalle für extrem hohe Konfidenzniveaus zu erhalten.

Der Ansatz besteht aus zwei Hauptschritten:

Extremquantil-Regression (Training):
- Es wird ein vorab trainiertes Modell $\hat{f}$ verwendet, das auf Extremquantil-Regression (z. B. neuronale Netze, Gradient Boosting) basiert, um Quantile jenseits des empirischen Datenbereichs zu schätzen.
- Dies dient als Basis für die Vorhersageintervalle (z. B. $\hat{Q}_{1-\alpha}(\mathbf{x})$ ).
Kalibrierung durch Extrapolation (Peaks-over-Threshold):
- Anstatt den Quantilwert der Scores empirisch zu bestimmen (was bei extremen Niveaus scheitert), wird die Peaks-over-Threshold (PoT)-Methode der Extremwerttheorie angewendet.
- Die Verteilung der Nonconformity-Scores $S$ oberhalb eines hohen Schwellenwerts $u$ wird durch eine Generalized Pareto Distribution (GPD) angenähert.
- Mit der GPD werden die Quantile der Scores für Wahrscheinlichkeiten extrapoliert, die außerhalb des Bereichs der Kalibrierungsdaten liegen.

Sicherheitsmechanismus (Konfidenzintervall-Ansatz):
Da die GPD-Extrapolation Schätzfehler und Approximationsverzerrungen aufweisen kann, verwenden die Autoren keinen einfachen Punktschätzer für das Quantil. Stattdessen konstruieren sie ein Konfidenzintervall (CI) für das $(1-\alpha_1)$ -Quantil der Scores.

Sie wählen das obere Ende eines $(1-\alpha_2)$ -Konfidenzintervalls als Korrekturfaktor $\hat{q}^e_\alpha$ .
Durch die Bedingung $(1-\alpha) \le (1-\alpha_1)(1-\alpha_2)$ (analog zu Sidák- oder Bonferroni-Korrekturen) wird mathematisch garantiert, dass das resultierende Intervall die gewünschte marginale Abdeckung $1-\alpha$ einhält, selbst bei endlichen Stichproben und Extrapolation.
Als bevorzugte Methode zur Berechnung des CI wird das Profile-Likelihood-Verfahren empfohlen, da es die Asymmetrie der Unsicherheit am besten abbildet und konservativ ist. Alternativ wird ein Bootstrap-Verfahren vorgeschlagen, falls numerische Instabilitäten auftreten.

Erweiterung auf nicht-stationäre Daten:
Für Daten mit Verteilungsverschiebungen (z. B. saisonale Muster bei Hochwasser) wird eine gewichtete Version der Methode eingeführt. Hierbei erhalten Kalibrierungsbeobachtungen, die zeitlich oder saisonal näher am Testpunkt liegen, höhere Gewichte. Dies erfolgt durch eine gewichtete GPD-Likelihood-Funktion.

3. Wichtige Beiträge

Überwindung der „Unendlichkeits-Barriere": Die Methode ermöglicht die Konstruktion von endlichen, informativen Vorhersageintervallen für Konfidenzniveaus, bei denen klassische konformale Methoden versagen (unendliche Intervalle liefern).
Theoretische Garantie: Durch die Kombination von GPD-Extrapolation und konservativen Konfidenzintervallen wird eine marginale Abdeckungsgarantie auch für extreme Quantile bewiesen.
Flexibilität: Der Ansatz ist modellagnostisch und kann mit beliebigen Black-Box-Extremquantil-Modellen (z. B. Deep Learning) kombiniert werden.
Anpassungsfähigkeit: Die gewichtete Variante erlaubt die Behandlung von nicht-austauschbaren Daten (Distribution Shifts/Drifts), was für reale Anwendungen wie Hochwasservorhersage entscheidend ist.

4. Ergebnisse

Die Autoren validieren ihre Methode in zwei Szenarien:

Simulationsstudie:
- Es wurden Daten mit schweren (Student-t) und leichten (Gauß) Verteilungsenden generiert.
- Ergebnis: Klassische konformale Methoden lieferten bei extremen Konfidenzniveaus ( $\alpha < 10^{-3}$ ) fast immer unendliche Intervalle. Die vorgeschlagene „Extreme Conformal Prediction" lieferte hingegen endliche Intervalle.
- Die auf Konfidenzintervallen basierenden Varianten (insbesondere Profile-Likelihood) erfüllten die Abdeckungsgarantie konsistent, während einfache GPD-Schätzer oft zu wenig Abdeckung (Undercoverage) zeigten.
- Die Methode war robust gegenüber schlechten Basisvorhersagemodellen; selbst bei stark unterdeckenden Quantilschätzern führte die konformale Korrektur zu Intervallen, die die Zielabdeckung erreichten.
Anwendung: Hochwasservorhersage (Aare-Fluss, Schweiz):
- Ziel war die Vorhersage von extremen Abflussmengen mit hoher Konfidenz (bis zu 99,99 %).
- Ergebnis: Klassische Methoden versagten bei den höchsten Konfidenzniveaus (unendliche Intervalle). Die extreme konformale Methode lieferte informative, endliche Intervalle, die die tatsächlichen Extremereignisse (z. B. das Hochwasser vom 25. Juli 1973) zuverlässig abdeckten.
- Die gewichtete Variante berücksichtigte erfolgreich die saisonalen Schwankungen des Flussabflusses und passte die Intervallbreite entsprechend an (breiter im Sommer, schmaler im Winter).

5. Bedeutung und Fazit

Dieses Paper schließt eine kritische Lücke in der Unsicherheitsquantifizierung für risikobehaftete Anwendungen. Es zeigt, dass konformale Vorhersage nicht auf moderate Konfidenzniveaus beschränkt ist, sondern durch die Integration von Extremwertstatistik auch für „Black Swan"-Ereignisse geeignet gemacht werden kann.

Praktischer Nutzen: Die Methode ermöglicht es Regulierern und Ingenieuren, verlässliche Warnschwellen für Katastrophenschutz (z. B. Deichbau, Finanzreserven) zu definieren, ohne auf uninformative „Alles-ist-möglich"-Intervalle zurückgreifen zu müssen.
Kompromiss: Der Preis für diese Extrapolation ist eine gewisse Konservativität (die Intervalle sind etwas breiter als nötig), was jedoch für Hochrisiko-Szenarien akzeptabel und wünschenswert ist. Zudem fehlen finite Stichproben-Garantien (im Gegensatz zu klassischen Methoden), was jedoch bei Extrapolation über den Datenbereich hinaus theoretisch unvermeidbar ist.

Der Code und die Daten sind als Open-Source-Package verfügbar, was die praktische Anwendung erleichtert.