📊 statistics

CalArena: A Large-Scale Post-Hoc Calibration Benchmark

Dieser Beitrag stellt CalArena vor, einen groß angelegten, standardisierten Benchmark, der nahezu 2000 Experimente über diverse Aufgaben und Modelle hinweg abdeckt, um Post-Hoc-Kalibrierungsmethoden mithilfe einer neuartigen Metrik zur Post-Hoc-Verbesserung rigoros zu bewerten, wobei sich zeigt, dass glatte Kalibrierungsfunktionen und dedizierte Multiklassen-Ansätze bestehende Techniken übertreffen, und der gleichzeitig Open-Source-Tools für zukünftige Forschung bereitstellt.

Ursprüngliche Autoren: Eugène Berta, David Holzmüller, Francis Bach, Michael I. Jordan

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eugène Berta, David Holzmüller, Francis Bach, Michael I. Jordan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Wettervorhersager. Wenn dieser sagt, es gebe eine 90-prozentige Wahrscheinlichkeit für Regen, und es tatsächlich in 90 % der Fälle regnet, wenn er diese Vorhersage trifft, dann ist er kalibriert. Er ist zuverlässig. Aber wenn es nur in 50 % der Fälle regnet, wenn er „90 %" sagt, dann ist er fehlskalibriert. Er ist übermäßig selbstsicher und unzuverlässig, selbst wenn er oft richtig liegt, welcher Tag regnerisch sein wird.

Moderne KI-Klassifikatoren sind wie diese übermäßig selbstsicheren Wettervorhersager. Sie sind hervorragend darin, die richtige Antwort zu finden (z. B. „Das ist eine Katze"), aber sie sind schlecht darin zu wissen, wie sicher sie sich bei dieser Antwort sind.

Diese Arbeit, CalArena, ist ein massiver, standardisierter „Geschmackstest", der entwickelt wurde, um dieses Problem zu lösen. Hier ist die Aufschlüsselung dessen, was sie taten und was sie fanden, unter Verwendung einfacher Analogien.

Das Problem: Zu viele Rezepte, kein Konsens

Seit Jahren haben Forscher Dutzende verschiedener „Rezepte" (Methoden) erfunden, um diese übermäßig selbstsicheren KI-Modelle zu korrigieren. Dieser Prozess wird als Nachträgliche Kalibrierung (Post-Hoc Calibration) bezeichnet. Es ist, als würde man einen fertigen Kuchen nehmen und eine Glasur hinzufügen, damit er genau richtig schmeckt, ohne einen neuen Kuchen zu backen.

Das Feld war jedoch unübersichtlich:

Kleine Stichproben: Bisherige Tests betrachteten nur wenige Kuchen (Datensätze).
Inkonsistente Regeln: Einige Tests verwendeten verschiedene Lineale, um den „Geschmack" (Kalibrierungsfehler) zu messen, was einen fairen Vergleich der Rezepte unmöglich machte.
Fehlende Anweisungen: Viele Rezepte hatten keine klaren Anweisungen (Code), sodass niemand sie ausprobieren konnte.

Die Lösung: Die „CalArena"-Küche

Die Autoren bauten eine riesige, standardisierte Küche namens CalArena.

Die Zutaten: Sie sammelten fast 2.000 verschiedene Experimente mit verschiedenen Datentypen (wie Tabellen und Computer-Vision-Bilder) und verschiedenen KI-Modelltypen (von altmodischen Algorithmen bis hin zu modernen „Foundation-Modellen").
Die Köche: Sie testeten Dutzende von Kalibrierungsmethoden, von einfachen Anpassungen bis hin zu komplexen mathematischen Transformationen.
Der neue Punktekatalog: Anstatt nur zu fragen „Ist der Kuchen süß genug?" (Kalibrierungsfehler), führten sie eine neue Metrik namens Nachträgliche Verbesserung (Post-Hoc Improvement, PHI) ein.
- Die Analogie: Stellen Sie sich vor, Sie haben einen köstlichen Kuchen. Sie möchten eine Glasur hinzufügen, um die Süße zu korrigieren. Wenn die Glasur den Kuchen perfekt süß macht, aber die Textur ruiniert, haben Sie den Kuchen nicht verbessert. PHI misst, ob die Korrektur den Kuchen tatsächlich insgesamt besser macht und sicherstellt, dass Sie den ursprünglichen Geschmack (Vorhersageleistung) nicht verlieren, während Sie die Süße (Kalibrierung) korrigieren.

Die Ergebnisse: Wer gewann den Geschmackstest?

Nachdem alle diese Experimente durchgeführt wurden, traten einige klare Muster zutage:

1. Geschmeidigkeit gewinnt gegen Klumpen

Die Verlierer: Methoden, die „Bins" verwenden (Vorhersagen in Eimer gruppieren, z. B. „alles zwischen 0,4 und 0,6 erhält dieselbe Punktzahl"), schnitten schlecht ab. Es ist, als würde man versuchen, eine glatte Kurve zu reparieren, indem man flache Blöcke zusammenklebt; es sieht gezackt aus und unterbricht den Fluss.
Die Gewinner: Methoden, die glatte Funktionen verwenden (wie gleitende Skalen oder Splines), schnitten am besten ab. Sie passten die Wahrscheinlichkeiten sanft an und bewahrten den natürlichen Fluss des Vertrauens der KI.

2. Ein Maß passt nicht für alle (besonders bei großen Problemen)

Die „One-vs-Rest"-Falle: Bei einfachen Problemen versuchten einige Köche, ein Multiklassenproblem (z. B. die Unterscheidung von 100 Vogelarten) zu lösen, indem sie es als 100 separate binäre Probleme behandelten (Ist es ein Spatz? Ja/Nein. Ist es ein Habicht? Ja/Nein). Dies funktionierte bei kleinen Aufgaben einigermaßen, scheiterte aber kläglich bei großen, komplexen Aufgaben (wie ImageNet mit 1.000 Klassen).
Die native Lösung: Wenn die Anzahl der Klassen hoch wurde, waren Methoden, die speziell für die gesamte Gruppe gleichzeitig entwickelt wurden (native Multiklassen-Methoden), unerlässlich. Zu versuchen, ein riesiges Puzzle zu reparieren, indem man 1.000 winzige Teile einzeln löst, funktionierte einfach nicht.

3. Verwenden Sie kein generisches Werkzeug

Die Autoren versuchten, Standard- und fertige Machine-Learning-Modelle (wie XGBoost oder CatBoost) als „Glasur" zu verwenden, um andere Modelle zu reparieren.
Das Ergebnis: Diese generischen Tools versagten. Es war, als würde man versuchen, eine Uhr mit einem Hammer zu reparieren. Die Arbeit zeigt, dass Sie spezialisierte Werkzeuge benötigen, die speziell für die Kalibrierung entwickelt wurden. Selbst das Hinzufügen einfacher Regeln (wie „ändern Sie nicht die Reihenfolge des Vertrauens") zu diesen generischen Tools machte sie deutlich besser, was beweist, dass Kalibrierung ein eigenes, einzigartiges Design benötigt.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass KI vertrauenswürdig gemacht werden kann durch:

Geschmeidig ist besser: Verwenden Sie Methoden, die Wahrscheinlichkeiten sanft anpassen, nicht in gezackten Schritten.
Spezialisiert ist besser: Verwenden Sie keinen generischen Hammer; verwenden Sie einen Schraubenzieher, der für den spezifischen Job entwickelt wurde.
Nativ ist besser für große Jobs: Wenn Sie viele Kategorien zur Auswahl haben, verwenden Sie eine Methode, die für diesen Maßstab entwickelt wurde, nicht eine Sammlung kleiner Reparaturen.

Die Autoren haben alle ihre Daten, ihren Code und die „Küche" (CalArena) der Öffentlichkeit zugänglich gemacht. Dies ermöglicht es jedem Forscher, hereinzukommen, sein eigenes „Rezept" mitzubringen und genau zu sehen, wie es im Vergleich zu den besten bekannten Methoden abschneidet, wodurch sichergestellt wird, dass zukünftige KI-Modelle nicht nur intelligent, sondern auch ehrlich bezüglich ihres Vertrauens sind.

Technische Zusammenfassung: CalArena: Ein Benchmark für die Nachkalibrierung im großen Maßstab

Problemstellung

Moderne Machine-Learning-Klassifikatoren geben häufig Wahrscheinlichkeitsverteilungen aus, die schlecht kalibriert sind, das heißt, die vorhergesagten Wahrscheinlichkeiten stimmen nicht mit den beobachteten Klassenhäufigkeiten überein. Diese Fehlkalibrierung untergräbt die Zuverlässigkeit von Systemen in hochriskanten Domänen wie der medizinischen Diagnose und dem autonomen Fahren. Obwohl die Nachkalibrierung – die Anpassung von Vorhersagen mittels einer auf einem zurückgehaltenen Validierungsdatensatz gelernten Funktion – eine Standardlösung darstellt, fehlt es der Forschung an einem Konsens darüber, welche Methoden am effektivsten sind. Die aktuelle Literatur leidet unter drei Hauptmängeln:

Kleinskalige und inkonsistente Evaluierungen: Bestehende Benchmarks stützen sich häufig auf veraltete oder begrenzte Datensätze, die moderne Machine-Learning-Szenarien nicht repräsentieren.
Metrik-Sensitivität: Gängige Evaluierungsmetriken wie der Expected Calibration Error (ECE) sind empfindlich gegenüber der Wahl der Binning-Strategien, was zu unzuverlässigen Vergleichen führt.
Implementierungshürden: Viele vorgeschlagene Methoden verfügen nicht über zugängliche, reproduzierbare Implementierungen, was faire Vergleiche verhindert.

Folglich fehlt es Praktikern an einer verlässlichen Grundlage für die Auswahl von Kalibrierungsmethoden, und widersprüchliche Schlussfolgerungen bezüglich der Wirksamkeit spezifischer Ansätze treten häufig auf.

Methodik und Aufbau des Benchmarks

Die Autoren stellen CalArena vor, einen groß angelegten, standardisierten Benchmark, der fast 2.000 Experimente in den Bereichen tabellarische Daten und Computer Vision umfasst. Der Benchmark fasst Vorhersagen verschiedener Modellarchitekturen zusammen, darunter klassische Algorithmen (z. B. Random Forests, XGBoost), moderne Deep-Learning-Modelle und Foundation-Modelle (z. B. TabPFN, Vision Transformer).

Datenquellen und Umfang

Der Benchmark wird aus drei primären Quellen aufgebaut:

TabRepo: Klassische und Deep-Learning-Modelle auf 104 binären und 65 multiklassen tabellarischen Datensätzen.
TabArena: Fortgeschrittene tabellarische Foundation-Modelle und Deep-Learning-Architekturen auf 30 binären und 8 multiklassen Datensätzen.
Computer Vision (CV): Vorhersagen verschiedener Architekturen (ResNet, ViT usw.) auf Datensätzen wie CIFAR-10/100, SVHN, ImageNet sowie medizinischen Bilddatensätzen (Brustkrebs, Lungenentzündung, OCT).

Die Experimente umfassen binäre, multiklassen und großskalige multiklassen Aufgaben (1000 Klassen).

Evaluierungsrahmen

Ein wesentlicher methodischer Beitrag ist der Wechsel von traditionellen Schätzern für Kalibrierungsfehler hin zu Nachkalibrierungs-Verbesserungen (Post-Hoc Improvement, PHI) basierend auf korrekten Score-Funktionen.

Die Metrik: Die Autoren argumentieren, dass die alleinige Minimierung des Kalibrierungsfehlers die Verfeinerungsfehler (diskriminierende Kraft) eines Modells verschlechtern kann. Daher schlagen sie vor, Methoden basierend auf der Risikoreduktion (z. B. Brier-Score oder Logloss) nach der Kalibrierung zu bewerten.
$\Phi_{\ell}(g) = \mathbb{E}[\ell(f(X), Y)] - \mathbb{E}[\ell(g \circ f(X), Y)]$
Dabei ist $f$ das Basismodell, $g$ die Kalibrierungsfunktion und $\ell$ ein korrekter Verlust. Ein positives $\Phi$ zeigt eine Verbesserung sowohl der Kalibrierung als auch der gesamten Vorhersagequalität an.
Aggregation: Die Ergebnisse werden mittels Gewinnraten (der Anteil der konkurrierenden Methoden, die eine gegebene Methode schlägt) und Elo-Werten abgeleitet aus Bradley-Terry-Modellen aggregiert. Konfidenzintervalle werden durch Bootstrapping berechnet.

Bewertete Methoden

Der Benchmark umfasst vereinheitlichte Implementierungen Dutzender Methoden:

Binär: Histogramm-Binning (uniform/Quantil), Bayesian Binning into Quantiles (BBQ), Scaling-Binning, Isotone Regression (Standard, Centered, Venn-Abers), Platt-Scaling (auf Wahrscheinlichkeiten und Logits), Temperature Scaling (TS), Ensemble TS, Quadratische Skalierung, Beta-Kalibrierung, Spline-Kalibrierung, CDF-Spline, Kernel-basierte und baumbasierte Methoden (CatBoost, LightGBM, XGBoost).
Multiklassen: Native Methoden (TS, Vector Scaling, Matrix Scaling, Dirichlet, Strukturierte Matrix-/Vektor-Skalierung) und One-vs-Rest (OvR)-Adaptionen binärer Methoden.

Wichtige Ergebnisse

Die empirische Studie deckt konsistente Muster über verschiedene Domänen hinweg auf:

Glattheit vs. Binning: Glatte Kalibrierungsfunktionen schneiden gegenüber Binning-basierten Ansätzen konsistent besser ab. Während Binning-Methoden (wie Isotone Regression) einfache Metriken wie ECE-15 verbessern können, verschlechtern sie oft die gesamte Vorhersageleistung (Verfeinerungsfehler). Glatte Methoden wie Spline-Kalibrierung, Quadratische Skalierung und Beta-Kalibrierung erzielen überlegene Ergebnisse.
Parametrische logistische Ansätze: In binären Settings erweisen sich parametrische Methoden, die logistische Transformationen auf Logits anwenden (z. B. Platt-logits, Quadratische Skalierung, Beta-Kalibrierung), als Spitzenreiter.
Notwendigkeit von Multiklassen-Methoden: Für hochdimensionale Settings (z. B. ImageNet mit 1000 Klassen) skalieren One-vs-Rest (OvR)-Strategien nicht effektiv und verschlechtern oft die Leistung. Native Multiklassen-Methoden, insbesondere Strukturierte Matrix-Skalierung (SMS) und Strukturierte Vektor-Skalierung (SVS), sind für hochdimensionale Probleme unerlässlich.
Generische Modelle sind unzureichend: Generische Machine-Learning-Modelle (z. B. XGBoost, LightGBM, CatBoost), die als Kalibrierungsfunktionen ohne spezifische Designbeschränkungen eingesetzt werden, schneiden im Allgemeinen schlechter ab als dedizierte Kalibrierungsmethoden. Die Autoren zeigen, dass das Hinzufügen kalibrierungsspezifischer Beschränkungen (z. B. Monotonie, reduzierte Baumtiefe) zu diesen Modellen ihre Leistung signifikant verbessert, was darauf hindeutet, dass Standardmodelle ohne maßgeschneidertes Design nicht wettbewerbsfähig sind.

Bedeutung und Beiträge

Das Papier beansprucht folgende Beiträge für das Fachgebiet:

Standardisierung: CalArena bietet die umfassendste Sammlung von Evaluierungen zur Nachkalibrierung, die Datenquellen, Implementierungen und Protokolle vereinheitlicht, um reproduzierbare Forschung zu ermöglichen.
Prinzipiengeleitete Evaluierung: Durch die Nutzung von Nachkalibrierungs-Verbesserungen in korrekten Score-Funktionen bietet der Benchmark eine Metrik, die die Kalibrierungsqualität mit der Erhaltung der Vorhersageleistung ausbalanciert und die Fallstricke traditioneller Fehler-Schätzer vermeidet.
Handlungsleitende Erkenntnisse: Die Studie liefert klare Richtlinien für Praktiker: Bevorzugen Sie glatte, parametrische logistische Methoden für binäre Aufgaben; verwenden Sie native Multiklassen-Methoden für hochdimensionale Aufgaben; und vermeiden Sie generische ML-Modelle für die Kalibrierung, es sei denn, sie wurden speziell mit Kalibrierungsbeschränkungen entwickelt.
Ressource für die Gemeinschaft: Die Autoren veröffentlichen alle Daten, den Code und die Evaluierungstools als „Plug-and-Play"-Rahmenwerk, um die Entwicklung und den Vergleich zukünftiger Kalibrierungsmethoden zu erleichtern und das Ziel zu verfolgen, verlässlichere Evaluierungsstandards zu etablieren.

Die Autoren schließen daraus, dass, obwohl nicht-parametrische Alternativen existieren, parametrische logistische Modelle und glatte Kalibrierungsfunktionen derzeit den State-of-the-Art darstellen und dass kalibrierungsspezifische Designprinzipien für zukünftige Fortschritte entscheidend sind.