🤖 machine learning

Can we trust our models? Epistemic calibration in second-order classification

Dieses Paper führt die epistemische Kalibrierung als ein strengeres Kriterium als die klassische Kalibrierung zur Bewertung der Vertrauenswürdigkeit von Schätzungen der epistemischen Unsicherheit bei der Klassifizierung zweiter Ordnung ein und schlägt die Metrik des Expected Epistemic Calibration Error (EECE) vor, um signifikante Zuverlässigkeitsunterschiede zwischen Methoden der Unsicherheitsquantifizierung aufzuzeigen, die Standardmetriken oft übersehen.

Ursprüngliche Autoren: Arthur Hoarau

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arthur Hoarau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „selbstbewusst, aber falsch Liegens“

Stellen Sie sich vor, Sie stellen einen Wetterprognostiker ein.

Level 0 (Genauigkeit): Hat er Regen vorhergesagt, als es regnete?
Level 1 (Kalibrierung): Wenn er sagt: „Die Wahrscheinlichkeit für Regen liegt bei 70 %“, regnet es dann tatsächlich in 7 von 10 Fällen?
Level 2 (Vertrauen/Unsicherheit): Hierauf konzentriert sich die Arbeit. Wenn der Prognostiker sagt: „Ich bin mir nicht sicher, meine Zuversicht ist gering“, bedeutet das dann tatsächlich, dass die Situation chaotisch und unvorhersehbar ist? Oder rät er nur wahllos, während er so tut, als wäre er unsicher?

Die meisten aktuellen KI-Modelle sind gut in Level 0 und Level 1. Aber sie scheitern oft an Level 2. Sie sagen vielleicht: „Ich bin mir zu 50 % unsicher“, obwohl die Situation in Wirklichkeit sehr vorhersehbar ist (oder umgekehrt). Die Arbeit stellt die Frage: Woher wissen wir, ob die „Unsicherheit“ eines Modells tatsächlich vertrauenswürdig ist?

Das Kernkonzept: „Epistemische Kalibrierung“

Die Autoren führen eine neue Regel namens Epistemische Kalibrierung ein.

Betrachten Sie ein Modell nicht als eine einzelne Person, sondern als ein Komitee von Experten (dies wird als „Second-Order Model“ bezeichnet).

Die Vorhersage: Das Komitee stimmt ab. Wenn 60 % mit „Ja“ und 40 % mit „Nein“ stimmen, beträgt die endgültige Vorhersage 60 %.
Die Unsicherheit: Die „Streuung“ der Stimmen. Wenn alle 60 % stimmten, ist die Unsicherheit Null (sie sind sich einig). Wenn die Hälfte 100 % und die andere Hälfte 0 % stimmte, ist die Unsicherheit hoch (sie sind sich uneinig).

Epistemische Kalibrierung bedeutet: Das Ausmaß der Uneinigkeit (die Unsicherheit) muss exakt mit der Tatsache übereinstimmen, wie oft das Komitee tatsächlich falsch liegt.

Gute Kalibrierung: Wenn das Komitee viel uneinig ist (hohe Unsicherheit), sollte es auch oft falsch liegen. Wenn sie sich einig sind (geringe Unsicherheit), sollten sie richtig liegen.
Schlechte Kalibrierung: Das Komitee könnte wild uneinig sein (sagen: „Wir sind uns total unsicher!“), aber in Wirklichkeit liegen sie alle richtig. Oder sie sind sich perfekt einig (sagen: „Wir sind uns zu 100 % sicher!“), aber sie liegen alle falsch.

Die Arbeit argumentt, dass ein Modell im alten Sinne (Level 1) „kalibriert“ sein kann, aber in diesem neuen Sinne (Level 2) immer noch „fehlkalibriert“ sein kann.

Die „unmögliche“ Regel

Die Arbeit präsentiert eine überraschende Erkenntnis (ein „Unmöglichkeitstheorem“). Sie besagt:
Wenn ein Modell wirklich Epistemisch Kalibriert ist, kann das Ausmaß der Uneinigkeit unter den Experten Ihnen nichts Neues über die Antwort verraten.

Analogie: Stellen Sie sich eine Gruppe von Schülern vor, die eine Prüfung schreiben.

Wenn die Schüler „kalibriert“ sind, verrät die Tatsache, dass sie miteinander streiten (hohe Unsicherheit), nicht magisch die richtige Antwort. Die richtige Antwort ist bereits in dem Durchschnitt ihrer Stimmen verborgen.
Wenn das Ausmaß des Streits etwas über die Antwort verrät (z. B. „Wenn sie so viel streiten, muss die Antwort A sein“), dann ist das Modell fehlerhaft. Die Unsicherheitsschätzung leistet zu viel Arbeit.

Das neue Werkzeug: EECE (Der „Vertrauensmesser“)

Um dies zu messen, haben die Autoren einen neuen Score entwickelt, den EECE (Expected Epistemic Calibration Error).

Die Analogie:
Stellen Sie sich vor, Sie haben eine Tasche voller Würfel.

Sie werfen die Würfel 100 Mal.
Bei jedem Wurf sagen Ihnen die Würfel: „Ich denke, das Ergebnis wird eine 4 sein, und ich bin mir zu 20 % unsicher.“
Der EECE prüft: „Okay, Sie sagten, Sie seien sich zu 20 % unsicher. Hat die tatsächliche Varianz der Ergebnisse etwa 20 % betragen?“
- Wenn die Ergebnisse wild variierten (50 % Varianz), Sie aber sagten, Sie seien nur zu 20 % unsicher, ist Ihr EECE-Wert schlecht. Sie haben über Ihr Vertrauen gelogen.
- Wenn die Ergebnisse exakt so stark variierten, wie Sie vorhergesagt hatten, ist Ihr EECE-Wert perfekt.

Die Arbeit beweist mathematisch, dass dieser EECE-Score ein zuverlässiges Maß für den „wahren“ Fehler ist, genau wie ein Thermometer zuverlässig die Temperatur misst.

Was die Experimente zeigten

Die Autoren testeten dies an verschiedenen KI-Modellen (wie Random Forests, Bayesianischen Modellen und Deep Ensembles) unter Verwendung einfacher mathematischer Probleme und Aufgaben zur Bilderkennung (wie das Erkennen handgeschriebener Zahlen).

Einige Modelle sind großartig darin: Modelle wie die Bayesianische Logistische Regression (die gut mit einfachen, geradlinigen Problemen funktioniert) waren fast perfekt „epistemisch kalibriert“. Sie wussten exakt, wie unsicher sie waren.
Einige Modelle haben Schwierigkeiten: Random Forests (eine populäre Methode) hatten oft hohe Unsicherheitswerte, die nicht mit ihren tatsächlichen Fehlern übereinstimmten. Sie waren auf eine Weise „verwirrt“, die nicht zur Realität passte.
Komplexität spielt eine Rolle: Bei einfachen Daten machten fast alle gut. Bei komplexen Daten (wie echten Fotos) wurden die Unterschiede riesig. Einige Methoden, die gut darin waren, die Antwort vorherzusagen, waren schrecklich darin, ihre Unsicherheit zu melden.
Die „illustrativen“ Methoden: Die Autoren testeten auch einige Methoden, die gar nicht dafür entwickelt wurden (wie einfache distanzbasierte Vermutungen). Wie erwartet, scheiterten sie am Test, was bewies, dass der Test funktioniert.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir, während wir KI in kritische Systeme integrieren (wie selbstfahrende Autos oder medizinische Diagnosen), nicht nur fragen können: „Hat das Modell recht?“ Wir müssen auch fragen: „Ist die Unsicherheit des Modells ehrlich?“

Epistemische Kalibrierung ist der neue Standard, um diese Ehrlichkeit zu prüfen. Sie stellt sicher, dass, wenn eine KI sagt: „Ich weiß es nicht“, sie damit wirklich meint, dass die Situation unvorhersehbar ist, und wenn sie sagt: „Ich weiß es“, sie damit wirklich meint, dass sie zuversichtlich und korrekt ist. Ohne diese Prüfung vertrauen wir Modellen, die entweder selbstbewusst falsch oder unsicher richtig liegen könnten.

Technisches Resümee: Epistemische Kalibrierung in der Second-Order-Klassifikation

Problemstellung

Während die Unsicherheitsschätzung entscheidend für den Einsatz von maschinellen Lernmodellen in Hochrisikoumgebungen (z. B. autonomes Fahren, medizinische Anwendungen) ist, erweisen sich klassische Evaluierungsmetriken als unzureichend. Die klassische Kalibrierung bewertet die Zuverlässigkeit vorhergesagter Wahrscheinlichkeiten (Level-1) und stellt sicher, dass eine vorhergesagte Wahrscheinlichkeit von $p$ einer empirischen Häufigkeit von $p$ entspricht. Dies bewertet jedoch nicht, ob die epistemischen Unsicherheitsschätzungen (Level-2) selbst vertrauenswürdig sind.

Second-Order-Klassifikationsmodelle (z. B. Bayes-Methoden, Ensembles, Evidential Deep Learning) geben eine Verteilung über Vorhersagen aus statt eines einzelnen Punktschätzwerts. Es besteht eine signifikante Lücke in der Literatur hinsichtlich der Frage, ob die berichtete epistemische Unsicherheit (die Dispersion dieser Vorhersagen) die tatsächliche Dispersion der Modellvorhersagen um die Grundwahrheit (Ground Truth) getreu widerspiegelt. Bestehende Methoden versagen oft dabei, zwischen einem Zögern des Modells aufgrund inhärenter Datenkomplexität (aleatorische Unsicherheit) und einem Mangel an Trainingsdaten (epistemische Unsicherheit) zu unterscheiden, und Standardmetriken können spezifische Fehlermodi nicht erkennen, bei denen die Unsicherheitsschätzungen trotz guter durchschnittlicher Vorhersageleistung fehlkalibriert sind.

Methodik und Framework

Das Paper führt die epistemische Kalibrierung ein, ein prinzipielles Kriterium für Second-Order-Modelle. Im Gegensatz zur klassischen Kalibrierung, die sich auf die Mittelwertvorhersage konzentriert, erfordert die epistemische Kalibrierung, dass die berichtete Unsicherheit (Varianz der Second-Order-Verteilung) der tatsächlichen erwarteten quadratischen Abweichung der einzelnen aus dieser Verteilung gezogenen Modelle entspricht.

Zentrale Definitionen und theoretische Ergebnisse:

Epistemische Kalibrierung (Definition 5): Ein Second-Order-Prädiktor $\Pi$ ist epistemisch kalibriert, wenn für jede Verteilung von Vorhersagen $\Psi$ die Wahrscheinlichkeit des wahren Labels gegeben die Verteilung dem Mittelwert dieser Verteilung entspricht. Entscheidend ist, dass die Streuung (Varianz) der Verteilung keine zusätzlichen Informationen über das wahre Label liefert, über das, was der Mittelwert bereits kodiert (Theorem 2).
Unmöglichkeitstheorem: Die Autoren setzen ihre Arbeit in Bezug zur bestehenden Literatur zur Bias-Varianz-Zerlegung. Sie beweisen, dass für ein epistemisch kalibriertes Modell die Dispersion keine Verzerrung (Bias) gegenüber der Grundwahrheit kodieren kann; wenn ein Modell epistemisch kalibriert ist, muss seine Unsicherheitsschätzung strikt die Varianz der Vorhersagen um die Wahrheit herum widerspiegeln und darf keine systematische Verzerrung sein.
Erwarteter epistemischer Kalibrierungsfehler (Expected Epistemic Calibration Error, EECE): Um dieses Konzept operabel zu machen, schlagen die Autoren den EECE vor. Diese Metrik quantifiziert die Diskrepanz zwischen der berichteten epistemischen Unsicherheit und dem empirischen erwarteten quadratischen Fehler der gezogenen Hypothesen innerhalb von Bins im gemeinsamen Vorhersageraum.
- Konsistenz: Das Paper beweist (Theorem 3), dass der EECE ein konsistenter Schätzer des wahren epistemischen Kalibrierungsfehlers (True Epistemic Calibration Error, TECE) ist und mit zunehmender Anzahl an Bins und Stichproben gegen den wahren Wert konvergiert.

Experimenteller Aufbau:
Die Methodik wird über zwei Gruppen von Methoden evaluiert:

Aktive Methoden: Theoretisch kompatibel mit dem Varianz-basierten Framework, einschließlich Bayes'scher Logistischer Regression, Bayes'schem Deep Learning (Laplace-Approximation), Deep Ensembles, Random Forests, DropConnect und MC-Dropout.
Illustrative Methoden: Zentroid-basierte, Likelihood-basierte und Nearest-Neighbor-Ansätze, die nicht für eine Varianz-basierte Zerlegung ausgelegt sind und als Baselines für erwartete Fehlkalibrierung dienen.

Die Experimente werden auf folgenden Datensätzen durchgeführt:

Einem Toy-Datensatz (Mischung von Gaußverteilungen), um die Grundwahrheit zu kontrollieren und erwartete Verhaltensweisen (z. B. Sensitivität gegenüber Rauschen und Trainingssetgröße) zu analysieren.
Hochdimensionalen Bilddatensätzen (MNIST und CIFAR-10), bei denen die Daten via Auto-Encoder in einen latenten Raum projiziert und als 10 "One-vs-All"-Binärklassifikationsaufgaben behandelt werden.

Wesentliche Ergebnisse

Abgrenzung zur klassischen Kalibrierung: Die Experimente zeigen, dass Modelle klassisch kalibriert sein können (zuverlässige Mittelwertvorhersagen), während sie epistemisch fehlkalibriert sind (unzuverlässige Unsicherheitsschätzungen). Beispielsweise zeigten Random Forests eine schlechte epistemische Kalibrierung trotz angemessener Vorhersageleistung, während die Bayes'sche Logistische Regression bei linear trennbaren Gauß-Daten gut abschnitt, aber bei komplexen realen Daten Schwierigkeiten hatte.
Verhaltensvalidierung: Auf dem Toy-Datensatz verhielt sich der EECE wie theoretisch erwartet:
- Der epistemische Kalibrierungsfehler stieg signifikant an, als das Rauschen im Trainingssatz zunahm.
- Der EECE sank, als die Größe des Trainingssatzes wuchs, und plateauierte, als das Modell sicherer wurde.
Methodenvergleich:
- Deep Ensembles und MC-Dropout zeigten eine starke epistemische Kalibrierung bei der CIFAR-10-Aufgabe.
- Random Forests wiesen konsistent den höchsten epistemischen Kalibrierungsfehler unter den Varianz-basierten Methoden auf.
- Illustrative Methoden (Centroid-/Likelihood-basiert) schnitten schlecht ab, was bestätigt, dass Methoden, die nicht auf Second-Order-Verteilungen oder Ensemble-Diversität basieren, das Kriterium der epistemischen Kalibrierung nicht erfüllen.
Abhängigkeit vom Induktiven Bias: Die Ergebnisse verdeutlichen, dass die epistemische Kalibrierung stark vom induktiven Bias des Modells abhängt. Modelle funktionieren gut, wenn ihre Annahmen mit der Datenstruktur übereinstimmen (z. B. Bayes'sche Logistische Regression bei linear trennbaren Daten), verschlechtern sich jedoch bei der Anwendung auf komplexe, nicht-lineare Realdaten.

Bedeutung und Ansprüche

Das Paper beansprucht, eine prinzipielle Grundlage für Vertrauen in Second-Order-Klassifikationsmodelle zu schaffen. Durch die Einführung der epistemischen Kalibrierung argumentieren die Autoren, dass Forscher und Praktiker nun bewerten können, ob das „Vertrauen“ eines Modells in seine eigene Unsicherheit valide ist.

Stärkeres Konzept: Die epistemische Kalibrierung wird als strengeres Kriterium etabliert als die klassische Kalibrierung.
Erkennung von Fehlermodi: Die EECE-Metrik erfasst Fehlermodi, die für Standardmetriken unsichtbar sind, wie etwa den Fall, wenn ein Modell eine hohe Unsicherheit meldet, die nicht mit der tatsächlichen Vorhersagedispersion korrespondiert.
Praktischer Nutzen: Die Arbeit schließt die Lücke zwischen theoretischer Unsicherheitsschätzung und den Zuverlässigkeitsanforderungen sicherheitskritischer Systeme. Sie legt nahe, dass ein Modell für den Einsatz in Hochrisikoszenarien nicht nur im Durchschnitt korrekt vorhersagen muss, sondern auch die Dispersion seiner eigenen Vorhersageverteilung korrekt angeben muss.

Die Autoren bleiben bescheiden und merken an, dass die epistemische Kalibrierung zwar eine natürliche Eigenschaft für gut spezifizierte Modelle (wie die Bayes'sche Logistische Regression auf Gauß-Daten) ist, aber nicht universell von allen Methoden der Unsicherheitsschätzung erfüllt wird, insbesondere bei komplexen, realen Datensätzen. Das Paper schlägt keine neuen Trainingsalgorithmen vor, sondern vielmehr einen neuen Evaluierungsrahmen, um zu identifizieren, welche existierenden Methoden vertrauenswürdig sind.