📊 statistics

Beyond ECE: Calibrated Size Ratio, Risk Assessment, and Confidence-Weighted Metrics

Dieser Beitrag kritisiert die Einschränkungen des standardmäßigen Expected Calibration Error (ECE) bei der Erkennung von Übervertrauensrisiken und schlägt ein neues Rahmenwerk vor, das den Calibrated Size Ratio (CSR) zur Risikobewertung sowie confidencengewichtete Metriken (wie cwAUC) umfasst, um den diskriminativen Wert von Modellkonfidenzen besser zu bewerten.

Ursprüngliche Autoren: Fernando Martin-Maroto, Nabil Abderrahaman, Gonzalo G. de Polavieja

Veröffentlicht 2026-05-06

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fernando Martin-Maroto, Nabil Abderrahaman, Gonzalo G. de Polavieja

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wettervorhersager. Jeden Tag sagen Sie die Wahrscheinlichkeit für Regen voraus. Wenn Sie eine 90-prozentige Regenwahrscheinlichkeit vorhersagen und es in 90 % der Fälle, in denen Sie diese Vorhersage treffen, regnet, dann sind Sie „kalibriert". Sie sind ehrlich bezüglich Ihrer Gewissheit.

Seit Jahren verwendet die Community des maschinellen Lernens ein einziges Lineal, um diese Ehrlichkeit zu messen, genannt ECE (Expected Calibration Error). Die Autoren dieses Papiers argumentieren, dass dieses Lineal defekt ist. Es ist so, als würde man die Distanz zwischen einem Auto und einer Klippe messen, dabei aber ein Auto, das 1 Meter vom Rand entfernt geparkt ist, genauso behandeln wie ein Auto, das 1 Meter von einer Wand entfernt geparkt ist. In der Welt der KI ist es eine Katastrophe, zu 95 % sicher zu sein, dass man recht hat, wenn man tatsächlich unrecht hat. Zu 55 % sicher zu sein, wenn man unrecht hat, ist nur ein kleiner Fehler. Das alte Lineal (ECE) behandelt diese beiden Fehler als identisch.

Hier ist das, was die Autoren stattdessen vorschlagen, unter Verwendung einfacher Analogien:

1. Das „Kalibrierte Größenverhältnis" (CSR): Der „Wie groß ist die Lüge?"-Meter

Die Autoren führen eine neue Metrik namens CSR ein. Stellen Sie sich diese als einen „Risikomultiplikator" vor.

Der alte Weg (ECE): Zählt, wie oft Sie unrecht hatten, unabhängig davon, wie laut Sie Ihr Vertrauen verkündet haben.
Der neue Weg (CSR): Fragt: „Wenn Ihre Vertrauenswerte tatsächlich wahre Wahrscheinlichkeiten wären, wie viel größer müsste die Welt sein, damit wir so viele Fehler rein zufällig sehen?"

Die Analogie:
Stellen Sie sich vor, Sie sind ein Glücksspieler.

Szenario A: Sie setzen 1 Dollar auf einen Münzwurf und sagen: „Ich bin zu 55 % sicher, dass ich gewinne." Sie verlieren. Dies ist ein kleiner, ärgerlicher Verlust.
Szenario B: Sie setzen Ihr gesamtes Lebensersparnis darauf und sagen: „Ich bin zu 99 % sicher, dass ich gewinne." Sie verlieren. Dies ist eine Katastrophe.

Das alte Lineal (ECE) sieht beides als „einen Verlust". Das neue Lineal (CSR) sieht Szenario B als massives Warnsignal. Wenn Ihr CSR 1 beträgt, sind Sie vollkommen ehrlich. Wenn Ihr CSR 10 beträgt, bedeutet dies, dass Ihr Vertrauen so gefährlich aufgebläht ist, dass Sie einen Datensatz benötigen, der 10-mal größer ist, um so viele Fehler durch Zufall zu sehen. Wenn Ihr CSR 1.000.000 beträgt, bedeutet dies, dass Sie in einem erschreckenden Ausmaß selbstbewusst lügen.

Die Autoren geben Ihnen auch eine „Risikowahrscheinlichkeit" ( $P_{risk}$ ). Dies ist ein einfacher Prozentsatz, der Ihnen sagt: „Es besteht eine 99-prozentige Wahrscheinlichkeit, dass dieses Modell gefährlich übermäßig selbstbewusst ist."

2. Die „Vertrauensgewichtete Genauigkeit" (cwA): Der „Nützliches Vertrauen"-Meter

Es ist wichtig zu wissen, ob ein Modell riskant ist (hohes CSR), aber ebenso entscheidend ist es zu wissen, ob sein Vertrauen nützlich ist. Ein Modell könnte völlig sicher sein (niedriges Risiko), aber völlig nutzlos (es rät einfach jedes Mal zu 50 %).

Die Autoren schlagen cwA vor. Stellen Sie sich dies als einen „Bonus-Punkte" vor.

Standard-Genauigkeit: Zählt, wie oft Sie die Antwort richtig hatten.
cwA: Zählt, wie oft Sie die Antwort richtig hatten, aber verleiht Ihnen zusätzliche Punkte, wenn Sie sehr selbstbewusst waren, als Sie recht hatten, und strafen Sie, wenn Sie selbstbewusst waren, als Sie unrecht hatten.

Die Analogie:
Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt.

Schüler A liegt bei 80 % richtig, ist sich aber bei allem unsicher.
Schüler B liegt bei 80 % richtig, ist sich aber bei den richtigen Antworten sehr sicher und bei den falschen unsicher.
Schüler C liegt bei 80 % richtig, ist sich aber bei den falschen Antworten sehr sicher.

Die Standard-Genauigkeit sieht alle drei als gleich an (80 %).

cwA liebt Schüler B (hohe Punktzahl).
cwA hasst Schüler C (niedrige Punktzahl).
CSR (aus Schritt 1) würde bei Schüler C „GEFAHR!" schreien.

3. Der „Vertrauensgewichtete AUC" (cwAUC): Das „Ranking mit Gewissen"

Es gibt eine berühmte Metrik namens AUC, die misst, wie gut ein Modell gute Antworten über schlechte Antworten rankt. Das Papier beweist, dass AUC gegenüber der Kalibrierung „blind" ist. Sie können ein Modell nehmen, seine Vertrauenswerte durcheinanderbringen (es übermäßig selbstbewusst oder unterbewusst machen), und die AUC-Punktzahl wird sich nicht ändern, da sie sich nur um die Reihenfolge kümmert, nicht um die Größe.

Die Autoren haben cwAUC entwickelt. Dies ist wie AUC, aber es hört auf die Lautstärke des Vertrauens.

Wenn das Modell eine richtige Antwort höher als eine falsche einstuft und sehr selbstbewusst dabei ist, verleiht cwAUC einen enormen Schub.
Wenn das Modell sie korrekt einstuft, aber kaum sicher ist, ist der Schub gering.
Wenn das Modell sie korrekt einstuft, aber fälschlicherweise selbstbewusst bezüglich der falschen Antwort ist, sinkt die Punktzahl.

Diese Metrik sagt Ihnen, ob das Vertrauen des Modells seinem Ranking tatsächlich einen Mehrwert verleiht oder ob es nur Rauschen ist.

Was haben sie herausgefunden?

Die Autoren testeten diese neuen Werkzeuge an vielen realen Datensätzen (wie medizinischen Aufzeichnungen, Kreditwürdigkeitsbewertungen und Bilderkennung) sowie synthetischen Daten.

Das alte Lineal ist irreführend: Sie fanden heraus, dass Standard-Kalibrierungsmethoden (wie „Isotone Regression") Modelle oft auf dem alten Lineal (ECE) besser aussehen lassen, sie aber tatsächlich gefährlicher machen. Diese Methoden können ein Modell zwingen, bei falschen Antworten extrem selbstbewusst (99 %) zu sein, nur um den durchschnittlichen Fehler zu minimieren.
Die neuen Werkzeuge fangen die Gefahr ein: Ihre neue CSR-Metrik identifizierte erfolgreich diese „riskanten" Modelle, die die alten Werkzeuge verpasst hatten. In einigen Fällen erhöhte die Standardkalibrierung die Risikowahrscheinlichkeit auf nahezu 100 %.
Platt-Skalierung ist sicherer: Sie fanden heraus, dass eine einfachere Methode namens „Platt-Skalierung" dazu neigte, Modelle sicherer zu halten (niedrigeres Risiko) im Vergleich zu den komplexeren Methoden, selbst wenn sie auf der alten ECE-Skala nicht immer so „perfekt" aussah.

Zusammenfassung

Das Papier argumentiert, dass wir aufhören müssen, das KI-Vertrauen mit einem Lineal zu messen, das alle Fehler gleich behandelt.

CSR sagt Ihnen, ob das Modell gefährlich übermäßig selbstbewusst ist (Der „Ist das eine Lüge?"-Meter).
cwA sagt Ihnen, ob das Vertrauen des Modells ihm tatsächlich hilft, bessere Entscheidungen zu treffen (Der „Ist das nützlich?"-Meter).

Zusammen bieten sie ein viel klareres Bild davon, ob ein KI-System vertrauenswürdig ist oder ob es Sie selbstbewusst von einer Klippe führt.

Technische Zusammenfassung: Über ECE hinaus: Kalibrierter Größenquotient, Risikobewertung und konfidenzgewichtete Metriken

1. Problemstellung

Der Beitrag adressiert eine kritische Einschränkung bei der Evaluierung der Konfidenzkalibrierung von Machine-Learning-Modellen, insbesondere in hochriskanten Domänen. Der aktuelle Standard, der Expected Calibration Error (ECE), wird als grundlegend fehlerhaft für die Risikobewertung identifiziert. ECE ist eine lineare Metrik, die Kalibrierungslücken unabhängig davon, auf welchem Konfidenzniveau sie auftreten, gleichgewichtet. Folglich kann ECE klein bleiben, selbst wenn ein Modell ein willkürlich hohes Überkonfidenzrisiko aufweist (z. B. Zuweisung hoher Konfidenz zu falschen Vorhersagen).

Die Autoren argumentieren, dass ECE die Kalibrierungsinformationen nicht extrahiert, die am wichtigsten sind: das Ausmaß des Versagens, das durch eine Lücke auf hohem Konfidenzniveau impliziert wird. Da ECE von Bins mit niedriger Konfidenz dominiert wird (wo die Populationen am größten sind), ist es systematisch blind für den „Ausläufer" (Tail) der Verteilung, in dem Fehlkalibrierung am gefährlichsten ist. Darüber hinaus stellt der Beitrag fest, dass Standardkalibrierungsmethoden, die darauf ausgelegt sind, ECE zu minimieren, unbeabsichtigt riskante Konfidenzprofile erzeugen können.

2. Methodik und vorgeschlagene Metriken

Die Autoren schlagen einen Rahmen vor, der die Evaluierung der Kalibrierung in zwei unterschiedliche, sich ergänzende Aspekte unterteilt: Risikobewertung (Erkennung von Überkonfidenz) und diskriminativer Wert (Messung des Nutzens des Konfidenzprofils).

2.1 Kalibrierter Größenquotient (CSR) und Risikowahrscheinlichkeit ( $P_{risk}$ )

Um das Risiko von Überkonfidenz zu adressieren, führen die Autoren den Calibrated Size Ratio (CSR) ein. Im Gegensatz zu ECE bewertet CSR Kalibrierungslücken relativ zu $(1-c)$ , was das wahre Ausmaß des implizierten Versagens widerspiegelt.

Definition: Für einen Datensatz $D$ mit $N$ Stichproben, vorhergesagten Klassen $\hat{y}_i$ , wahren Labels $y_i$ und Konfidenzwerten $conf_i < 1$ :
$CSR = \frac{1}{N} \sum_{i: \hat{y}_i \neq y_i} \frac{1}{1 - conf_i}$
Interpretation: Unter perfekter punktweiser Kalibrierung gilt $CSR = 1$.
- $CSR > 1$ zeigt Überkonfidenz (riskant) an.
- $CSR < 1$ zeigt Unterkonfidenz an.
- Ein Wert von $CSR = 10$ impliziert, dass die beobachteten Fehler bei ihren zugewiesenen Konfidenzniveaus von einem Datensatz erwartet würden, der unter einem perfekt kalibrierten Modell 10-mal so groß wäre.
Risikowahrscheinlichkeit ( $P_{risk}$ ): Um die statistische Evidenz für Überkonfidenz zu quantifizieren, leiten die Autoren die Standardabweichung von CSR ( $\sigma_{CSR}$ ) unter der Annahme perfekter Grenzkalibrierung ab. Sie modellieren die Abweichung unter Verwendung einer Normalverteilung, um einen z-Wert zu berechnen:
$z = \frac{CSR - 1}{\sigma_{CSR}}$
Die Risikowahrscheinlichkeit ist dann $P_{risk} = \Phi(z)$ , wobei $\Phi$ die kumulative Verteilungsfunktion der Standardnormalverteilung ist. Dies ermöglicht eine prinzipielle Bewertung, ob ein Konfidenzprofil riskant ist, ohne Monte-Carlo-Resampling zu erfordern.

2.2 Konfidenzgewichtete Metriken und $cwAUC$

Die Autoren argumentieren, dass ein sicheres Profil (niedriges Risiko) nicht notwendigerweise nützlich ist. Sie schlagen die Confidence-Weighted Accuracy (cwA) als natürliche Ergänzung zu CSR vor, die den Anteil der gesamten Konfidenzmasse misst, der korrekten Vorhersagen zugewiesen wird.

Definition:
$cwA = \frac{\sum_{i} conf_i \cdot \mathbb{1}[\hat{y}_i = y_i]}{\sum_{i} conf_i}$
Erweiterung auf andere Metriken: Der Beitrag zeigt, dass die Konfidenzgewichtung sich natürlich auf alle Standardklassifikationsmetriken (Precision, Recall, F1 usw.) erstreckt, indem die Einträge der Konfusionsmatrix mit der Konfidenz gewichtet werden.
Konfidenzgewichteter AUC ($cwAUC$): Die Autoren beweisen, dass die klassische AUC gegenüber jeder streng monotonen Skalierung von Konfidenzwerten (einschließlich nachträglicher Kalibrierung) invariant ist, da sie sich ausschließlich auf die Rangfolge stützt. Im Gegensatz dazu gewichtet $cwAUC$ paarweise Vergleiche mit dem Produkt der Konfidenzen, die den vorhergesagten Klassen zugewiesen wurden.
- Bedeutung: Die Differenz $cwAUC - AUC$ erfasst den durch Kalibrierung hinzugefügten diskriminativen Wert. Eine positive Differenz zeigt an, dass das Modell bei korrekt gerankten Paaren konfidenter ist als bei falsch gerankten.

2.3 Unabhängigkeit von ECE

Der Beitrag liefert theoretische Beweise und Gegenbeispiele, die zeigen, dass CSR und $cwA$ unabhängig von ECE sind. Es ist möglich, Konfidenzprofile mit beliebig niedrigem ECE, aber unbegrenztem CSR (extremes Risiko), zu konstruieren, und umgekehrt Profile mit $ECE=0$, die völlig uninformierend sind (flache Konfidenz).

3. Experimentelle Ergebnisse

Die vorgeschlagenen Indikatoren wurden sowohl auf synthetischen als auch auf realen Datensätzen validiert.

3.1 Synthetische Datensätze

Die Autoren generierten zehn synthetische Konfidenzverteilungen unter acht kontrollierten Kalibrierungsregimen (einschließlich perfekt, überkonfident, unterkonfident und zufällig).

Risikodetektion: CSR trennte riskante von nicht-riskanten Zuordnungen erfolgreich. Unter perfekter Kalibrierung blieben die empirischen False-Positive-Raten für $P_{risk}$ nahe an den theoretischen Vorhersagen (z. B. ~9,77 % für $>1\sigma$ gegenüber theoretisch 15,87 % und ~0,30 % für $>3\sigma$ bei großem $N$ ).
Empfindlichkeit: In überkonfidenten Regimen (z. B. $Overconf \ 1-\sqrt{1-c}$ ) waren die CSR-Werte signifikant erhöht, und $P_{risk}$ erreichte in vielen Fällen 100 %, wodurch das Risiko korrekt erkannt wurde.

3.2 Reale Datensätze

Experimente wurden an 15 Datensätzen (UCI, CIFAR-10, MNIST) mit XGBoost unter drei Regimen durchgeführt: Rohausgabe, isotone Regression und Platt-Skalierung.

Risiken der isotonen Regression: Während die isotone Regression oft die $cwA$ verbesserte, erzeugte sie häufig riskante Konfidenzprofile. In 11 von 15 Datensätzen führte die isotone Kalibrierung zu $CSR > 1$ (über $1\sigma$ ), wobei mehrere Datensätze katastrophale CSR-Werte ( $>10^5$ ) aufwiesen. Dies geschah, weil die isotone Regression extreme Konfidenz (1 oder 0) falschen Vorhersagen zuweisen kann, wenn Kalibrierungssätze Plateaus nur positiver oder nur negativer Stichproben enthalten.
Platt-Skalierung: Diese Methode lieferte im Allgemeinen sicherere Profile (nur 3 von 15 Datensätzen wurden als riskant eingestuft) und behielt gleichzeitig eine wettbewerbsfähige $cwA$ bei.
Einschränkungen von ECE: Es wurde gezeigt, dass Standardmethoden, die für ECE optimiert sind (wie die isotone Regression), riskante Profile liefern, was bestätigt, dass die Minimierung von ECE keine Sicherheit garantiert.

3.3 AUC vs. $cwAUC$

Synthetische Daten: Gut kalibrierte synthetische Verteilungen zeigten ein positives $\Delta AUC$ ($cwAUC - AUC$), was darauf hindeutet, dass Kalibrierung einen diskriminativen Wert hinzufügte.
Reale Daten: Die Ergebnisse waren gemischt. Während sich $cwA$ im Vergleich zur Rohgenauigkeit konsistent verbesserte, war $\Delta AUC$ oft klein oder negativ. Die Autoren führen dies darauf zurück, dass reale Modelle (wie XGBoost) Konfidenzwerte bereits als Rangfolge-Signale nutzen und nachträgliche Kalibrierungsmethoden (die Randverteilungen ausrichten) möglicherweise keine signifikanten neuen Rangfolgeinformationen hinzufügen.

4. Hauptbeiträge

Kalibrierter Größenquotient (CSR): Eine neue interpretierbare Metrik, bei der $CSR=1$ perfekte Kalibrierung impliziert. Sie bietet ein direktes Maß für das Überkonfidenzrisiko.
Risikowahrscheinlichkeit ( $P_{risk}$ ): Ein statistischer Test, der von CSR abgeleitet ist und die Wahrscheinlichkeit quantifiziert, die Daten unter der Nullhypothese perfekter Kalibrierung zu beobachten, wodurch die Notwendigkeit rechenintensiven Resamplings vermieden wird.
Konfidenzgewichtete Metriken: Ein formaler Rahmen, der Standardmetriken (Accuracy, AUC usw.) erweitert, um konfidenzgewichtet zu sein.
$cwAUC$ und Kalibrierungswert: Ein Beweis, dass die klassische AUC gegenüber Kalibrierung invariant ist, und die Einführung von $cwAUC$, um den spezifischen diskriminativen Wert zu messen, der durch Kalibrierung gewonnen wird.
Empirische Evidenz: Demonstration, dass Standardkalibrierungstechniken (insbesondere isotone Regression) das Risiko (CSR) erhöhen können, selbst wenn sie andere Metriken verbessern, was die Notwendigkeit einer risikobewussten Evaluierung unterstreicht.

5. Bedeutung und Einschränkungen

Der Beitrag behauptet, dass die vorgeschlagenen Metriken einen robusteren und sicherheitsorientierteren Ansatz zur Evaluierung der Machine-Learning-Konfidenz bieten. Durch die Entkopplung der Risikobewertung (CSR) von der diskriminativen Nützlichkeit ($cwA$) können Praktiker Modelle identifizieren, die nicht nur genau, sondern auch sicher für den Einsatz in hochriskanten Szenarien sind.

Die Autoren erkennen mehrere Einschränkungen an:

Numerische Stabilität: CSR ist empfindlich gegenüber Konfidenzwerten nahe 1 und erfordert Clipping oder sorgfältige Handhabung.
Verteilungsverschiebung: Die Risikobewertung geht davon aus, dass der Evaluierungssatz eine i.i.d.-Stichprobe aus der Grenzverteilung ist; Verschiebungen im Einsatz können $P_{risk}$ irreführend machen.
Kleine Stichprobengrößen: Die Gaußsche Approximation für $P_{risk}$ kann für sehr kleine $N$ weniger genau sein, obwohl Standardkorrekturen (z. B. Student-t) anwendbar sein könnten.
Optimierung: Der Beitrag konzentriert sich auf die Evaluierung von Konfidenzprofilen, nicht auf die Verwendung von CSR oder $cwA$ zur Steuerung der nachträglichen Kalibrierung, was als zukünftige Arbeit vorgeschlagen wird.

Zusammenfassend argumentieren die Autoren, dass sich allein auf ECE zu verlassen für vertrauenswürdige KI unzureichend ist. Die Kombination aus CSR zur Risikodetektion und $cwA $/$ cwAUC$ zur Nutzenbewertung bietet ein vollständigeres Bild der Zuverlässigkeit der Konfidenz eines Modells.