Technische Samenvatting: CalArena: Een Benchmark voor Post-hoc Kalibratie op Grote Schaal

Probleemstelling

Moderne machine learning-classificatoren geven vaak waarschijnlijkheidsverdelingen uit die slecht gekalibreerd zijn, wat betekent dat de voorspelde kansen niet overeenkomen met de waargenomen klassenfrequenties. Deze miscalibratie ondermijnt de betrouwbaarheid van systemen in hoog-risicodomeinen zoals medische diagnose en autonoom rijden. Hoewel post-hoc kalibratie – het aanpassen van voorspellingen met behulp van een functie die is geleerd op een apart validatieset – een standaardoplossing is, ontbreekt het in het vakgebied aan consensus over welke methoden het meest effectief zijn. De huidige literatuur kampt met drie primaire beperkingen:

1. Kleinschalige en inconsistente evaluaties: Bestaande benchmarks vertrouwen vaak op verouderde of beperkte datasets die moderne machine learning-scenario's niet representeren.
2. Gevoeligheid van metrieken: Veelgebruikte evaluatiemetrieken zoals de Expected Calibration Error (ECE) zijn gevoelig voor de keuze van de bins, wat leidt tot onbetrouwbare vergelijkingen.
3. Implementatiebarrières: Veel voorgestelde methoden missen toegankelijke, reproduceerbare implementaties, wat eerlijke vergelijkingen verhindert.

Bijgevolg ontbreekt het practitioners aan een betrouwbare basis voor het selecteren van kalibratiemethoden, en ontstaan er vaak tegenstrijdige conclusies over de effectiviteit van specifieke benaderingen.

Methodologie en Opbouw van de Benchmark

De auteurs introduceren CalArena, een grote, gestandaardiseerde benchmark die bijna 2.000 experimenten omvat binnen tabulaire en computer vision-domeinen. De benchmark bundelt voorspellingen van diverse modelarchitecturen, waaronder klassieke algoritmen (bijv. Random Forests, XGBoost), moderne deep learning-modellen en foundation-modellen (bijv. TabPFN, Vision Transformers).

Bronnen en Omvang

De benchmark is opgebouwd uit drie primaire bronnen:

• TabRepo: Klassieke en deep learning-modellen op 104 binaire en 65 multiclass tabulaire datasets.
• TabArena: Geavanceerde tabulaire foundation-modellen en deep learning-architecturen op 30 binaire en 8 multiclass datasets.
• Computer Vision (CV): Voorspellingen van diverse architecturen (ResNet, ViT, enz.) op datasets waaronder CIFAR-10/100, SVHN, ImageNet en medische beeldvormingsdatasets (Borst, Longontsteking, OCT).

De experimenten bestrijken binaire, multiclass en grootschalige multiclass-taken (1000 klassen).

Evaluatiekader

Een belangrijke methodologische bijdrage is de verschuiving van traditionele kalibratiefout-schatters naar Post-Hoc Improvement (PHI) gebaseerd op proper scoring rules.

• De Metriek: De auteurs betogen dat het minimaliseren van kalibratiefout alleen de verfijningsfout (discriminatievermogen) van een model kan verslechteren. Daarom stellen ze voor om methoden te evalueren op basis van de reductie in risico (bijv. Brier-score of logloss) na kalibratie.
  $$\Phi_{\ell}(g) = \mathbb{E}[\ell(f(X), Y)] - \mathbb{E}[\ell(g \circ f(X), Y)]$$
  Waar $f$ het basismodel is, $g$ de kalibratiefunctie, en $\ell$ een proper loss. Een positieve $\Phi$ geeft een verbetering aan in zowel kalibratie als algehele voorspellingskwaliteit.
• Aggregatie: Resultaten worden geaggregeerd met behulp van winstpercentages (het aandeel van concurrerende methoden dat een gegeven methode verslaat) en Elo-scores afgeleid van Bradley-Terry-modellen. Vertrouwensintervallen worden berekend via bootstrapping.

Geëvalueerde Methoden

De benchmark bevat geünificeerde implementaties van tientallen methoden:

• Binair: Histogrambinning (uniform/quantile), Bayesian Binning into Quantiles (BBQ), Scaling-Binning, Isotonic Regression (standaard, Centered, Venn-Abers), Platt Scaling (op kansen en logits), Temperature Scaling (TS), Ensemble TS, Quadratic Scaling, Beta Calibration, Spline Calibration, CDF-Spline, op kernel gebaseerde en op bomen gebaseerde methoden (CatBoost, LightGBM, XGBoost).
• Multiclass: Native methoden (TS, Vector Scaling, Matrix Scaling, Dirichlet, Gestructureerde Matrix/Vector Scaling) en One-vs-Rest (OvR)-aanpassingen van binaire methoden.

Belangrijkste Resultaten

De empirische studie onthult consistente patronen over domeinen heen:

1. Gladheid versus Binning: Gladde kalibratiefuncties presteren consequent beter dan binning-gebaseerde benaderingen. Hoewel binning-methoden (zoals Isotonic Regression) eenvoudige metrieken zoals ECE-15 kunnen verbeteren, verslechteren ze vaak de algehele voorspellingsprestaties (verfijningsfout). Gladde methoden zoals Spline Calibration, Quadratic Scaling en Beta Calibration bereiken superieure resultaten.
2. Parametrische Logistische Benaderingen: In binaire settingen komen parametrische methoden die logistische transformaties toepassen op logits (bijv. Platt-logits, Quadratic Scaling, Beta Calibration) naar voren als de beste performers.
3. Noodzaak van Multiclass: Voor hoogdimensionale settings (bijv. ImageNet met 1000 klassen) falen One-vs-Rest (OvR)-strategieën om effectief te schalen en verslechteren ze vaak de prestaties. Native multiclass-methoden, met name Structured Matrix Scaling (SMS) en Structured Vector Scaling (SVS), zijn essentieel voor hoogdimensionale problemen.
4. Generieke Modellen zijn ontoereikend: Generieke machine learning-modellen (bijv. XGBoost, LightGBM, CatBoost) die worden gebruikt als kalibratiefuncties zonder specifieke ontwerprichtlijnen, presteren over het algemeen slechter dan toewijde kalibratiemethoden. De auteurs tonen aan dat het toevoegen van kalibratiespecifieke beperkingen (bijv. monotonie, gereduceerde boomdiepte) aan deze modellen hun prestaties aanzienlijk verbetert, wat suggereert dat kant-en-klare modellen niet concurrerend zijn zonder maatwerk ontwerp.

Betekenis en Bijdragen

De auteurs claimen de volgende bijdragen aan het vakgebied:

• Standaardisatie: CalArena biedt de meest uitgebreide verzameling post-hoc kalibratie-evaluaties tot nu toe, die databronnen, implementaties en protocollen verenigt om reproduceerbaar onderzoek mogelijk te maken.
• Gestuurde Evaluatie: Door gebruik te maken van Post-Hoc Improvement in proper scoring rules, biedt de benchmark een metriek die kalibratiekwaliteit afweegt tegen het behoud van voorspellingsprestaties, waardoor de valkuilen van traditionele fout-schatters worden vermeden.
• Hanteerbare Inzichten: De studie biedt duidelijke richtlijnen voor practitioners: geef de voorkeur aan gladde, parametrische logistische methoden voor binaire taken; gebruik native multiclass-methoden voor hoogdimensionale taken; en vermijd generieke ML-modellen voor kalibratie tenzij ze specifiek zijn ontworpen met kalibratiebeperkingen.
• Communityhulpbron: De auteurs publiceren alle data, code en evaluatietools als een "plug-and-play"-kader om de ontwikkeling en vergelijking van toekomstige kalibratiemethoden te faciliteren, met als doel betrouwbaardere evaluatiestandaarden te vestigen.

De auteurs concluderen dat hoewel niet-parametrische alternatieven bestaan, parametrische logistische modellen en gladde kalibratiefuncties momenteel de state-of-the-art vertegenwoordigen, en dat kalibratiespecifieke ontwerpprincipes cruciaal zijn voor toekomstige vooruitgang.