📊 statistics

Evaluating the Quality of the Quantified Uncertainty for (Re)Calibration of Data-Driven Regression Models

Diese Studie zeigt durch systematische Vergleiche, dass gängige Kalibrierungsmetriken für Regressionsmodelle oft widersprüchliche Ergebnisse liefern, und identifiziert ENCE sowie CWC als die zuverlässigsten Metriken für eine verlässliche Bewertung.

Ursprüngliche Autoren: Jelke Wibbeke, Nico Schönfisch, Sebastian Rohjans, Andreas Rauh

Veröffentlicht 2026-04-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jelke Wibbeke, Nico Schönfisch, Sebastian Rohjans, Andreas Rauh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🎯 Das große Problem: „Ich bin mir sicher!" – Aber wie sicher?

Stell dir vor, du fährst ein selbstfahrendes Auto. Das Auto sagt: „Da vorne ist ein Hindernis." Das ist gut. Aber das Auto sagt auch: „Ich bin mir zu 95 % sicher."
Das ist der entscheidende Punkt. In der Welt der künstlichen Intelligenz (KI) reicht es nicht mehr, nur eine Vorhersage zu treffen. Die KI muss auch sagen: „Wie sicher bin ich dabei?"

Wenn die KI sagt: „Ich bin zu 95 % sicher", dann sollte das auch stimmen. Das nennt man Kalibrierung.

Gut kalibriert: Wenn die KI bei 100 Vorhersagen mit „95 % Sicherheit" sagt, dann liegen 95 dieser Vorhersagen auch wirklich richtig.
Schlecht kalibriert: Die KI sagt „95 % Sicherheit", aber nur 50 % liegen richtig. Sie ist also viel zu selbstvertraut (oder im Gegenteil, viel zu ängstlich).

📏 Das Dilemma: Wer hat das richtige Lineal?

Das Problem ist: Wie misst man, ob diese „Sicherheits-Angabe" der KI stimmt?
In der Wissenschaft gibt es dafür viele verschiedene Messwerkzeuge (Metriken). Stell dir vor, du willst die Größe eines Baumes messen.

Der eine benutzt ein Lineal (misst in Zentimetern).
Der andere ein Bandmaß (misst in Metern).
Der dritte zählt einfach die Blätter und schätzt daraus die Höhe.

Alle drei wollen das Gleiche messen (die Größe), aber sie kommen zu völlig unterschiedlichen Ergebnissen.

Genau das haben die Autoren dieser Studie herausgefunden: Die Wissenschaftler nutzen völlig unterschiedliche Messwerkzeuge, um die „Sicherheit" von KI-Modellen zu prüfen. Und diese Werkzeuge streiten sich ständig!

🔍 Was haben die Forscher gemacht?

Die Autoren (Jelke Wibbeke und Kollegen) haben sich wie Detektive verhalten:

Sie haben alle Werkzeuge gesammelt: Sie haben 13 verschiedene Methoden aus der wissenschaftlichen Literatur zusammengetragen, die alle behaupten, die „Qualität der Unsicherheit" zu messen.
Sie haben sie getestet: Sie haben KI-Modelle trainiert (auf echten Daten, auf künstlich erzeugten Daten und auf Daten, bei denen sie die KI absichtlich „verwirrt" haben).
Sie haben verglichen: Sie haben geschaut: Wenn ein Modell gut ist, sagen alle Werkzeuge das? Oder sagt Werkzeug A: „Super!" und Werkzeug B: „Miserabel!"?

💥 Das schockierende Ergebnis: Ein Chaos der Meinungen

Das Ergebnis war verblüffend: Die Werkzeuge waren sich fast nie einig.

Beispiel: Ein KI-Modell wurde „nachkalibriert" (also nachgebessert), um sicherer zu werden.
- Werkzeug A sagte: „Super! Die Sicherheit hat sich verbessert!"
- Werkzeug B sagte: „Schlimm! Die Sicherheit hat sich verschlechtert!"
- Werkzeug C sagte: „Eigentlich gar keine Veränderung."

Das ist gefährlich! Denn wenn ein Forscher sein Ergebnis präsentieren will, kann er sich einfach das Werkzeug aussuchen, das ihm am besten gefällt. Das nennt man „Cherry-Picking" (Kirschenpflücken). Man kann so fast jede Methode als „erfolgreich" verkaufen, nur weil man das richtige Lineal gewählt hat.

🏆 Die Gewinner: Welche Werkzeuge kann man trauen?

Nach viel Testen und Vergleichen haben die Forscher zwei Werkzeuge identifiziert, die sich am zuverlässigsten verhalten haben:

ENCE (Expected Normalized Calibration Error):
- Die Metapher: Stell dir vor, du hast eine Gruppe von Leuten, die Schätzungen abgeben. Der ENCE prüft nicht nur, ob sie recht haben, sondern ob ihre „Zittern" (Unsicherheit) mit dem „Fehler" übereinstimmt. Wenn sie sich unsicher sind, sollten sie oft danebenliegen. Wenn sie sicher sind, sollten sie oft richtig liegen.
- Vorteil: Er braucht keine zusätzlichen Einstellungen (Hyperparameter) und funktioniert gut.
CWC (Coverage Width-based Criterion):
- Die Metapher: Stell dir vor, du wirfst einen Korb auf einen Ball.
  - Triffst du den Ball? (Das ist die „Abdeckung").
  - Aber wie groß war der Korb? Wenn du einen riesigen Korb nimmst, triffst du fast immer, aber das ist kein Talent.
  - Der CWC bestraft dich, wenn dein Korb zu groß ist (zu viel Unsicherheit), aber er belohnt dich, wenn du den Ball triffst.
- Vorteil: Er ist sehr stabil, braucht aber eine kleine Einstellung (wie groß der „Straf-Korb" sein soll).

💡 Was bedeutet das für uns?

Die Studie sagt uns im Grunde: Hört auf, nur auf eine Zahl zu schauen!

Wenn jemand behauptet, seine KI sei „perfekt kalibriert", frag ihn: „Welches Lineal hast du benutzt?"

Wenn die Datenmenge klein ist (weniger als 500–1000 Beispiele), sind fast alle Messungen unzuverlässig wie ein wackeliges Lineal.
Man sollte immer mehrere Werkzeuge benutzen, um ein echtes Bild zu bekommen.

Fazit:
Die Welt der KI-Sicherheit ist wie ein Gericht, in dem jeder Richter ein anderes Gesetz anwendet. Diese Studie zeigt uns, dass wir dringend ein einheitliches Regelwerk brauchen, damit wir wirklich wissen, ob eine KI uns nicht in die Irre führt. Bis dahin: Misst lieber zweimal (oder dreimal) mit verschiedenen Werkzeugen, bevor du deinem Auto vertraust! 🚗🤖

1. Problemstellung

In sicherheitskritischen Anwendungen (z. B. autonomes Fahren, Medizin, Finanzen) reicht es für datengetriebene Regressionsmodelle nicht aus, nur genaue Punktvorhersagen zu treffen. Sie müssen auch zuverlässige Unsicherheitsschätzungen liefern, um risikobewusste Entscheidungen zu ermöglichen. Diese Eigenschaft wird als Kalibrierung bezeichnet.

Das zentrale Problem liegt in der Bewertung dieser Kalibrierung:

Es existiert eine Vielzahl von Metriken zur Bewertung der Kalibrierung (z. B. PICP, CWC, CRPS, ENCE, CalS), die sich jedoch stark in ihren Definitionen, Annahmen, Skalierungen und Interpretationen unterscheiden.
Es fehlt ein systematischer Vergleich dieser Metriken. Oft werden Recalibration-Methoden (Nachkalibrierung) nur anhand einer kleinen Auswahl von Metriken bewertet.
Dies führt zu der Gefahr, dass Ergebnisse je nach Wahl der Metrik unterschiedlich interpretiert werden können („Cherry-Picking"), was zu widersprüchlichen Schlussfolgerungen über die Wirksamkeit von Methoden führt.
Die Frage ist: Wie zuverlässig sind diese Metriken, wenn keine Ground-Truth-Unsicherheit vorliegt?

2. Methodik

Die Autoren führen einen umfassenden, modellagnostischen Benchmark durch, der unabhängig von spezifischen Modellierungsverfahren (z. B. Deep Ensembles, Bayesian Neural Networks) agiert. Der Fokus liegt rein auf der Bewertung der Metriken selbst.

Aufbau des Benchmarks:

Datensätze: Es wurden 16 reale Datensätze und 10 synthetische Datensätze verwendet. Die synthetischen Daten wurden so generiert, dass sie keine aleatorischen Rauschquellen enthalten, um den Einfluss von Datenrauschen auszuschließen.
Modelle: Als Basismodelle wurden Deep Ensembles (5 Submodelle, MLPs) verwendet, die auf Minimierung der Negative Log-Likelihood (NLL) trainiert wurden.
Recalibration: Vier etablierte Nachkalibrierungsmethoden wurden getestet (Isotonic Regression, Variance Scaling, GP Normal, GP Beta).
Kontrollierte Fehlkalibrierung: Um die Sensitivität der Metriken zu testen, wurden perfekt kalibrierte synthetische Daten künstlich verfälscht (z. B. durch Skalierung der Standardabweichung oder des Mittelwerts), um zu prüfen, welche Metriken diese Verschlechterung korrekt erkennen.
Auswertungsmethode: Da die Metriken unterschiedliche Skalen haben, wurden die Werte normalisiert. Die Konsistenz wurde durch Spearman-Rangkorrelationen und visuelle Vergleiche der Rangfolgen über die Datensätze hinweg analysiert.

Getestete Metriken (13 Stück):

Intervall-basiert: PICP, CWC, Interval Score (IS).
Dichtebasiert: CRPS, NLL.
ECE-basiert (basiert auf Binning/Thresholds): Calibration Score (CalS), Expected Normalized Calibration Error (ENCE), Expectation of Coverage Probability Error (ECPE), Uncertainty Calibration Error (UCE), Quantile Calibration Error (QCE).

3. Wichtige Beiträge

Systematische Kategorisierung: Die Autoren extrahieren und kategorisieren die gängigsten Metriken zur Kalibrierungsbewertung in der Regression.
Entdeckung von Inkonsistenzen: Sie zeigen experimentell, dass verschiedene Metriken oft zu widersprüchlichen Ergebnissen führen. Ein Modell kann von einer Metrik als gut kalibriert eingestuft werden, während eine andere es als schlecht bewertet.
Einfluss der Metrikwahl: Es wird demonstriert, dass die wahrgenommene Wirksamkeit einer Recalibration-Methode stark von der gewählten Metrik abhängt.
Empfehlung robuster Metriken: Basierend auf den Tests werden die Expected Normalized Calibration Error (ENCE) und das Coverage Width-based Criterion (CWC) als die zuverlässigsten Metriken identifiziert.

4. Ergebnisse

Klusterbildung der Metriken:
Die Analyse der Spearman-Korrelationen zeigt zwei Hauptgruppen, die sich in ihrer Bewertung stark unterscheiden:

Gruppe 1 (Proper Scoring Rules): Dazu gehören RMSE, Sharpness, NLL, CRPS, IS und Pinball Loss. Diese Metriken bewerten die gesamte Vorhersageverteilung und zeigen untereinander eine hohe Konsistenz.
Gruppe 2 (Threshold-basiert/Binning): Dazu gehören CalS, ECPE, QCE und ENCE. Diese basieren auf der Diskretisierung in Bins oder Schwellenwerten. Sie zeigen untereinander eine gewisse Übereinstimmung, stehen aber oft im Konflikt mit Gruppe 1.
Gruppe 3 (Inkonsistent): PICP, CWC und UCE zeigen weniger interne Konsistenz, verhalten sich aber in bestimmten Szenarien sehr robust.

Ergebnisse der Recalibration-Studie:

Recalibration-Methoden führen je nach Metrik zu unterschiedlichen Schlussfolgerungen (Verbesserung vs. Verschlechterung).
Proper Scoring Rules (Gruppe 1) reagieren oft weniger sensibel auf Änderungen der Unsicherheitsschätzung durch Recalibration als die threshold-basierten Metriken.

Ergebnisse der kontrollierten Fehlkalibrierung:

Dies ist der kritischste Teil des Benchmarks, da hier die Ground-Truth bekannt ist.
ENCE und CWC zeigten sich als die robustesten Metriken. Sie erkannten künstlich eingeführte Fehlkalibrierungen (sowohl bei Mittelwert als auch bei Unsicherheit) am zuverlässigsten.
NLL erkannte Fehlkalibrierungen gut, wenn sowohl Mittelwert als auch Unsicherheit betroffen waren, reagierte aber kaum auf reine Unsicherheitsänderungen.
Viele andere Metriken (insbesondere einige aus Gruppe 2) interpretierten verschlechterte Daten fälschlicherweise als verbessert.
Datengröße: Metriken, die auf Binning basieren, werden bei kleinen Datensätzen (< 500–1000 Samples) unzuverlässig und instabil.

5. Bedeutung und Fazit

Die Studie enthüllt eine fundamentale Schwäche im aktuellen Forschungsstand zur Unsicherheitsquantifizierung in der Regression: Die Bewertung der Kalibrierung ist extrem fragil und hängt stark von der Wahl der Metrik ab.

Warnung vor Einzelmetriken: Die Verwendung einer einzigen Metrik zur Bewertung von Recalibration-Methoden ist irreführend und kann zu falschen Optimierungszielen führen.
Empfehlung: Die Autoren empfehlen den ENCE als praktische und robuste Wahl, da er keine Hyperparameter benötigt, lokal und global Fehlkalibrierungen erkennt und weniger anfällig für die Probleme von Binning ist (obwohl er bei sehr kleinen Datensätzen Grenzen hat). Das CWC wird ebenfalls als sehr stabil eingestuft, erfordert jedoch die Wahl eines Hyperparameters ( $\eta$ ).
Zukünftige Arbeit: Da die wahre Unsicherheit in realen Anwendungen nicht beobachtbar ist, sind synthetische Tests mit bekannter Ground-Truth (wie in diesem Paper durchgeführt) essenziell, um Metriken zu validieren. Zukünftige Forschung sollte sich auf lokalere Evaluierungen und theoretisch fundiertere Kriterien konzentrieren, um die Abhängigkeit von Binning zu überwinden.

Zusammenfassend unterstreicht das Paper die Dringlichkeit, die Evaluierungsmetriken selbst kritisch zu hinterfragen, um vertrauenswürdige und reproduzierbare Forschung im Bereich der Unsicherheitsquantifizierung zu gewährleisten.