💻 computer science

Quantile Adaptive Temperature Scaling for Confidence Calibration

Dieses Paper führt die Quantile Adaptive Temperature Scaling (QaTS) ein, eine Post-hoc-Kalibrierungsmethode, welche die Temperatur basierend auf Konfidenzquantilen dynamisch anpasst, um heterogene Fehlkalibrierung effektiv zu adressieren und bestehende State-of-the-Art-Techniken in diversen Szenarien zu übertreffen.

Ursprüngliche Autoren: Omprakash Chakraborty, Leo Fillioux, Ismail Ben Ayed, Jose Dolz

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Omprakash Chakraborty, Leo Fillioux, Ismail Ben Ayed, Jose Dolz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der überhebliche Schüler

Stellen Sie sich ein Deep-Learning-Modell (eine KI) wie einen sehr klugen Schüler vor, der eine Prüfung ablegt. Dieser Schüler ist zwar gut darin, die richtigen Antworten zu geben, hat aber eine schlechte Angewohnheit: Er ist immer übermäßig selbstbewusst.

Selbst wenn der Schüler nur rät, sagt er: „Ich bin mir zu 99 % sicher, dass dies die richtige Antwort ist!“ Aber oft liegt er falsch. In der realen Welt (wie im Gesundheitswesen oder bei selbstfahrenden Autos) ist das gefährlich. Wenn eine KI eines Arztes sagt: „Ich bin mir zu 99 % sicher, dass dies ein Tumor ist“, es sich aber eigentlich um einen harmlosen Muttermal handelt, könnte der Patient einer unnötigen Operation unterzogen werden.

Wir brauchen eine Möglichkeit, der KI beizubringen, zu sagen: „Ich bin mir nur zu 60 % sicher“, wenn sie eigentlich nur rät, und „Ich bin mir zu 95 % sicher“, wenn sie wirklich überzeugt ist. Dieser Prozess wird als Kalibrierung bezeichnet.

Die alte Lösung: Der „Einheits-Thermostat“

Lange Zeit war die Standardmethode, um diese Überheblichkeit zu korrigieren, eine Methode namens Temperature Scaling (TS).

Stellen Sie sich die Konfidenzwerte der KI wie die Temperatur in einem Raum vor.

Wenn der Raum zu heiß ist (die KI ist zu überheblich), drehen Sie den Thermostaten herunter.
Wenn der Raum zu kalt ist, drehen Sie ihn hoch.

Die alte Methode verwendete einen einzelnen, globalen Thermostaten. Sie betrachtete das ganze Haus und sagte: „Okay, alle sind zu heiß, also senke ich die Temperatur für jeden Raum um denselben Betrag.“

Der Fehler: Das funktioniert nicht gut, weil die „Räume“ (die Vorhersagen der KI) unterschiedlich sind.

Einige Vorhersagen sind völlig falsch und übermäßig selbstbewusst (die „heißen“ Räume).
Einige Vorhersagen sind eigentlich ziemlich genau und benötigen nur einen winzigen Anstoß.
Einige Vorhersagen liegen in der Mitte.

Indem man die gleiche Korrektur für alle anwendet, behebt die alte Methode oft die einfachen Probleme, lässt aber die schwierigsten, gefährlichsten Fehler unkorrigiert. Es ist, als würde man versuchen, eine brennende Küche und ein lauwarmes Wohnzimmer mit exakt der gleichen Menge Eiswasser zu kühlen.

Die neue Lösung: QaTS (Der „schlaue, maßgeschneiderte“ Thermostat)

Die Autoren führen eine neue Methode namens Quantile-Adaptive Temperature Scaling (QaTS) ein.

Anstatt nur auf den rohen Konfidenzwert zu schauen (z. B. „99 %“), schaut QaTS darauf, wie dieser Wert im Vergleich zu allen anderen Vorhersagen rankt. Dies wird als Quantil bezeichnet.

Die Analogie: Das Rennen
Stellen Sie sich vor, die KI läuft ein Rennen gegen sich selbst.

Der alte Weg: Er betrachtet die Geschwindigkeit des Läufers (Konfidenzwert) und sagt allen, sie sollen um 5 km/h langsamer laufen.
Der QaTS-Weg: Er betrachtet die Position des Läufers im Rennen.
- „Du bist in den untersten 10 % der Läufer (diejenigen, die am verwirrtesten und überheblichsten sind). Du brauchst eine große Verlangsamung.“
- „Du bist in den obersten 10 % der Läufer (diejenigen, die meistens richtig liegen). Du brauchst nur eine winzige Anpassung.“
- „Du bist in der Mitte? Du bekommst eine mittlere Anpassung.“

QaTS erstellt einen maßgeschneiderten Temperaturwert für jede einzelne Vorhersage basierend auf ihrem Rang. Es erkennt, dass die größten Fehler in bestimmten „Zonen“ auftreten (spezifische Konfidenzbereiche) und zielt gezielt auf diese Zonen ab.

Warum das eine große Sache ist

Die Arbeit zeigt, dass dieser „rangbasierte“ Ansatz viel klüger ist als der alte „wertbasierte“ Ansatz, und zwar aus drei Hauptgründen:

Es bekämpft die echten Probleme: Die größten Fehler treten meist in spezifischen Gruppen auf (z. B. wenn die KI bei seltenen Objekten rät). QaTS findet diese Gruppen und korrigiert sie, während die alte Methode sie übersieht.
Es übersteht das „Chaos“ (Verteilungsverschiebungen): Stellen Sie sich vor, die KI wurde für sonnige Tage trainiert, muss aber an Regentagen arbeiten. Die Rohzahlen (Konfidenzwerte) könnten sich durch das Wetter wild verändern. Der Rang bleibt jedoch meistens gleich (die KI ist immer noch über dieselben Dinge am sichersten, nur mit anderen Zahlen). Da QaTS auf dem Ranking basiert (wer ist Nr. 1, Nr. 2, Nr. 3) statt auf Rohzahlen, funktioniert es auch dann perfekt, wenn sich die Umgebung verändert.
Es macht die KI nicht kaputt: Einige andere Methoden versuchen, die Konfidenz zu korrigieren, indem sie die eigentlichen Antworten der KI ändern (was sie weniger genau machen kann). QaTS ist wie ein „Nachbearbeitungs“-Filter. Es korrigiert die Konfidenzwerte, ohne die Antworten zu ändern. Die KI wählt immer noch die richtige Antwort; sie gibt nur zu: „Ich bin mir bei dieser Sache nicht mehr zu 100 % sicher.“

Die Ergebnisse

Die Autoren haben dies bei vielen verschiedenen Aufgaben getestet:

Standardbilder: Erkennung von Katzen und Hunden.
Long-Tailed Data: Erkennung seltener Tiere (wo die KI meistens sehr verwirrt ist).
Medizinische Bilder: Analyse von Röntgenbildern.
Text: Verständnis von Nachrichtenartikeln.
Korrupte Daten: Bilder mit Rauschen, Unschärfe oder Nebel.

In fast jedem einzelnen Test machte QaTS die Konfidenzschätzungen der KI wesentlich zuverlässiger als die bisher besten Methoden. Es reduzierte den „Expected Calibration Error“ (ein Maß dafür, wie falsch die Konfidenz ist) signifikant, insbesondere in schwierigen Situationen, in denen andere Methoden versagten.

Zusammenfassung

Die Arbeit argumentiert, dass wir nicht alle KI-Vorhersagen gleich behandeln sollten. Genau wie ein Lehrer einem schwachen Schüler nicht die gleichen Hausaufgaben gibt wie einem Genie, sollten wir auch nicht jede KI-Vorhersage mit derselben Konfidenz-Korrektur behandeln.

QaTS ist ein einfaches, effizientes Werkzeug, das betrachtet, wie eine Vorhersage im Vergleich zu anderen rankt, und eine maßgeschneiderte „Konfidenz-Korrektur“ anwendet. Dies macht KI-Systeme sicherer und vertrauenswürdiger, besonders wenn sie mit schwierigen oder ungewöhnlichen Situationen konfrontiert werden.

Technisches Resümee: Quantil-adaptive Temperatur-Skalierung für die Konfidenz-Kalibrierung

1. Problemdefinition und Motivation

Tiefe neuronale Netze produzieren häufig schlecht kalibrierte Konfidenzschätzungen, die oft eine Überkonfidenz aufweisen, selbst wenn die Vorhersagen falsch sind. Während die Temperatur-Skalierung (TS) aufgrund ihrer Einfachheit als Standardmethode der Post-hoc-Kalibrierung gilt, beruht sie auf einer globalen, einheitlichen Reskalierung der Logits. Die Autoren argumentieren, dass dieser Ansatz daran scheitert, die hochgradig heterogene Struktur der Fehlkalibrierung zu adressieren, die über das gesamte Konfidenzspektrum hinweg beobachtet wird.

Durch eine quantilweise Analyse zeigt die Arbeit auf, dass die größten Diskrepanzen zwischen Korrektheit und Konfidenz nicht gleichmäßig verteilt sind. Stattdessen variieren Lage und Form der Fehlkalibrierung signifikant je nach Regime:

Standard-Settings: Fehler konzentrieren sich in den niedrigsten Konfidenz-Quantilen.
Long-Tailed-Settings: Fehler verschieben sich hin zu mittleren Konfidenz-Quantilen aufgrund der Prävalenz von Klassen mit mittlerer Frequenz.
Distributionale Verschiebungen (Distributional Shifts): Globale Reskalierungsmethoden haben Schwierigkeiten, da Kovariaten-Perturbationen die absolute Skala der Konfidenzwerte verändern, während die relative Ordnung erhalten bleibt.

Bestehende Methoden, einschließlich fortgeschrittener Varianten wie Group Calibration (GC) oder eingabebedingte Temperaturen, setzen implizit eine glatte, global konsistente Transformation voraus. Diese strukturelle Rigidität verhindert, dass sie effektiv jene Regionen adressieren können, in denen die Fehlkalibrierung am schwerwiegendsten ist, was unter anspruchsvollen Szenarien wie Klassenimbalance und Domänenverschiebungen zu suboptimaler Leistung führt.

2. Methodik: Quantil-adaptive Temperatur-Skalierung (QaTS)

Um diese Einschränkungen zu adressieren, schlagen die Autoren die Quantil-adaptive Temperatur-Skalierung (QaTS) vor, eine Post-hoc-Kalibrierungsmethode, die den Temperaturparameter basierend auf dem empirischen Konfidenz-Quantil einer Vorhersage anstatt auf deren rohem Konfidenzwert anpasst.

Kernmechanismus

Quantil-Reparametrisierung:
Die Methode bildet rohe Konfidenzen $p$ in einen uniformen Quantilraum $\tau \in [0, 1]$ ab, unter Verwendung der empirischen kumulativen Verteilungsfunktion (CDF) des Kalibrierungsdatensatzes. Dies transformiert das Objective der Erwarteten Kalibrierungsfehlers (Expected Calibration Error, ECE) in ein Integral über die uniforme Quantilachse, wodurch verhindert wird, dass dichte Konfidenzregionen die Fehlermetrik dominieren, und die heterogene Struktur der Fehlkalibrierung explizit gemacht wird.
Beispielweise Temperaturfunktion:
Anstatt eines einzelnen Skalars $T$ definiert QaTS eine beispielabhängige Temperatur $T(x)$ als eine monotone lineare Funktion des empirischen Quantils $q(x)$ :
$T(x) = a \cdot (1 - q(x)) + b$
wobei $a$ und $b$ lernbare positive Parameter sind.
- Vorhersagen mit niedrigen Quantilen (typischerweise überkonfident und fehleranfällig) erhalten höhere Temperaturen, was die Konfidenz abschwächt (softening).
- Vorhersagen mit hohen Quantilen erhalten geringere Anpassungen, um die Genauigkeit zu bewahren und unnötige Verzerrungen zu vermeiden.
Optimierung:
Die Parameter $a$ und $b$ werden auf einem Kalibrierungsdatensatz optimiert, indem die Negative Log-Likelihood (NLL) minimiert wird, eine streng korrekte Scoring-Regel. Diese Surrogat-Optimierung richtet die kalibrierten Wahrscheinlichkeiten an den empirischen Korrektheitsfrequenzen aus und minimiert effektiv den reparametrisierten ECE.
Inferenz:
Für ein Testbeispiel $x$ werden die Logits vor der Anwendung der Softmax-Funktion durch das berechnete $T(x)$ skaliert. Da $T(x)$ vom Rang (Quantil) der Konfidenz abhängt und nicht von ihrem absoluten Wert, erbt die Methode die rangbasierte Stabilität von Quantilen. Dies macht QaTS robust gegenüber globalen Logit-Skalierungseffekten, die oft mit Kovariaten-Verschiebungen assoziiert werden, sofern die relative Ordnung der Konfidenzen annähernd erhalten bleibt.

3. Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

Quantilweise Analyse: Eine detaillierte Analyse, die zeigt, dass Kalibrierungsfehler über das Konfidenzspektrum hinweg hochgradig heterogen sind und sich signifikant zwischen verschiedenen Regimen (Standard vs. Long-Tailed) unterscheiden. Diese Analyse legt die strukturellen Limitationen bestehender TS-basierter Methoden offen, die nicht in der Lage sind, spezifische fehlerkonzentrierte Regionen gezielt anzusprechen.
QaTS-Algorithmus: Die Einführung einer einfachen, effizienten Strategie, die direkt im Quantilraum operiert. Sie formalisiert eine Quantil-Reparametrisierung des ECE und führt eine monotone Temperaturfunktion ein, die sich an den relativen Rang jeder Vorhersage anpasst.
Umfassende empirische Validierung: Umfangreiche Experimente in 162 Settings, einschließlich Standard-Computer Vision, medizinischer Bildgebung, Textklassifikation und semantischer Segmentierung unter verschiedenen Bedingungen (Long-Tailed-Verteilungen, Distributionale Verschiebungen).

4. Experimentelle Ergebnisse

Die Autoren evaluieren QaTS gegen State-of-the-Art Post-hoc-Baselines, einschließlich unkalibrierter Modelle, TS, Isotonische Regression (IR), AdaTS, Group Calibration (GC) und FeatClip.

Standard-Benchmarks: Auf CIFAR-10, CIFAR-100 und ImageNet erzielt QaTS konsistent den niedrigsten ECE und übertrifft dabei alle konkurrierenden Methoden über CNN- und Vision Transformer-Backbones hinweg.
Long-Tailed-Verteilungen: In Szenarien mit schwerer Klassenimbalance (z. B. CIFAR-100-LT, ImageNet-LT) versagen Standardmethoden oft oder zeigen eine Verschlechterung. QaTS demonstriert substanzielle Robustheit und reduziert den ECE in einigen Fällen um 80–90 % im Vergleich zu Baselines wie AdaTS und GC.
Distributionale Verschiebungen: Unter synthetischen Korruptionen (CIFAR-100-C) bei variierender Schwere übertrifft QaTS die genauigkeitserhaltenden Methoden signifikant und erreicht einen 2- bis 3-mal niedrigeren ECE. Bemerkenswerterweise übertrifft es HFE, eine Methode, die speziell für distributionale Verschiebungen entwickelt wurde und für jede Zieldomäne Zugriff auf Out-of-Distribution (OOD) Samples benötigt. QaTS erreicht dies ohne die Notwendigkeit von Daten aus der Zieldomäne.
Generalisierung: Die Methode zeigt eine überlegene Leistung in der medizinischen Bildklassifikation (HAM10000, MedMNIST2D), semantischen Segmentierung (Pascal VOC) und Textklassifikation (20 Newsgroups).
Genauigkeitserhaltung: Im Gegensatz zu FeatClip, das die Kalibrierung auf Kosten einer signifikanten Genauigkeitsdegradation (bis zu 4–6 %) verbessert, bewahrt QaTS die prädiktiven Klassenzuordnungen (Rankings) und erhält so die diskriminative Leistung bei gleichzeitiger Verbesserung der Kalibrierung.
Kompatibilität: QaTS fungiert als komplementäre Post-hoc-Schicht, die den ECE weiter reduziert, wenn sie auf Modellen angewendet wird, die mit kalibrierungsbewussten Objectives (z. B. Brier Loss, Focal Loss, Label Smoothing) trainiert wurden.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass QaTS eine einfache, effiziente und robuste Grundlage für die Post-hoc-Kalibrierung bietet. Seine Bedeutung liegt in:

Adressierung der Heterogenität: Durch den Übergang von rohen Konfidenzwerten zum Quantilraum adressiert QaTS explizit jene Regionen, in denen die Fehlkalibrierung am schwerwiegendsten ist, und überwindet so die „Einheitslösung“ der globalen Temperatur-Skalierung.
Robustheit gegenüber Verschiebungen: Die rangbasierte Formulierung gewährleistet Stabilität unter Distributional Shifts, bei denen sich die absoluten Konfidenzbeträge ändern, aber die relative Ordnung erhalten bleibt.
Praktikabilität: Es erfordert kein Retraining, keinen Zugriff auf Modellgewichte oder Gradienten und keine Hilfsnetzwerke, was es skalierbar für große vortrainierte Modelle und eingefrorene Backbones macht.
Universelle Anwendbarkeit: Die Methode zeigt eine konsistente Effektivität über diverse Aufgaben, Architekturen und herausfordernde reale Szenarien hinweg und positioniert sich als universelle Kalibrierungsstrategie, die die Zuverlässigkeit verbessert, ohne die prädiktive Genauigkeit zu beeinträchtigen.