Multiclass Calibration Assessment and Recalibration of Probability Predictions via the Linear Log Odds Calibration Function

Titel: Multicategorie Kalibratiebeoordeling en Herkalibratie van Kansvoorspellingen via de Lineaire Log-Odds Kalibratiefunctie

Auteurs: Amy Vennos, Xin Xing en Christopher T. Franck (Virginia Polytechnic Institute and State University)

---

1. Het Probleem

In moderne classificatietaken (zoals beeldherkenning, medische diagnose en ecologische modellering) genereren machine learning-modellen vaak kansvoorspellingen voor meerdere categorieën. Een model wordt beschouwd als goed gekalibreerd wanneer de voorspelde kansen overeenkomen met de waargenomen frequenties van de gebeurtenissen. Bijvoorbeeld: als een model voorspelt dat een patiënt met 40% kans kanker heeft, dan moeten ongeveer 40% van de patiënten met deze voorspelling daadwerkelijk kanker hebben.

Helaas zijn veel modellen, vooral die getraind zijn op data buiten de trainingsset, niet goed gekalibreerd. Bestaande methoden voor herkalibratie (het aanpassen van voorspellingen om ze beter te laten overeenstemmen met de werkelijkheid) hebben drie belangrijke beperkingen:

1. Beperkte scope: Veel methoden kunnen alleen kalibratie vergelijken tussen modellen, maar niet de kalibratie van een enkel model direct beoordelen.
2. Toegang tot interne modellen: Methoden zoals Temperature Scaling en Vector Scaling vereisen toegang tot de "logits" (de scores vóór de softmax-functie) binnen een neurale netwerk. Dit is vaak niet mogelijk bij modellen zoals Random Forests of wanneer de interne architectuur niet beschikbaar is ("under-the-hood access").
3. Ontbreken van statistische validatie: Bestaande methoden missen vaak een ingebouwd hypothese-toetsingskader. Ze vertrouwen op metrieken zoals de Expected Calibration Error (ECE), die afhankelijk zijn van door de gebruiker gespecificeerde "bins" en geen p-waarde leveren om te bepalen of een model significant slecht gekalibreerd is.

2. Methodologie: MCLLO

De auteurs stellen Multicategory Linear Log Odds (MCLLO) herkalibratie voor. Deze methode werkt direct op de kansschaal (0-1) en vereist geen toegang tot interne modellogits.

Kernconcepten:

• Log-Odds Transformatie: De methode transformeert de voorspelde kansen $x_{ij}$ naar herkalibreerde kansen $g_{ij}$ via een lineaire relatie op de log-odds schaal. Voor elke categorie $j$ (ten opzichte van een baseline categorie $c$) geldt:
  $$\log\left(\frac{g_{ij}}{g_{ic}}\right) = \log(\delta_j) + \gamma_j \log\left(\frac{x_{ij}}{x_{ic}}\right)$$
  Hierbij zijn $\delta_j$ (shift) en $\gamma_j$ (scale) parameters die worden geschat.
• Maximum Likelihood Schatting (MLE): De parameters $\hat{\delta}$ en $\hat{\gamma}$ worden geschat door de multinomiale likelihood-functie te maximaliseren, gekoppeld aan de waargenomen data $Y$.
• Likelihood Ratio Test (LRT): Een cruciaal onderdeel is de statistische toetsing.
  • Nulhypothese ($H_0$): $\delta = \gamma = 1$. Dit impliceert dat de voorspellingen goed gekalibreerd zijn en geen herkalibratie nodig hebben.
  • Alternatieve hypothese ($H_1$): Minstens één parameter wijkt af van 1.
  • De teststatistiek volgt asymptotisch een $\chi^2$-verdeling met $2(c-1)$ vrijheidsgraden. Dit stelt onderzoekers in staat om met een bepaald significantieniveau te concluderen of een model gekalibreerd is.

Voordelen van de methode:

• Werkt op elke kansvoorspelling (onafhankelijk van het modeltype).
• Geen binning nodig (in tegenstelling tot ECE), wat subjectiviteit elimineert.
• Bevat de "identity map": als data al goed gekalibreerd is, blijven de voorspellingen ongewijzigd.

3. Belangrijkste Bijdragen

1. Directe Kalibratietoetsing: Voor het eerst wordt een volledig gedefinieerde statistische hypothese-toets (LRT) gepresenteerd die specifiek is ontworpen om de kalibratiestatus van een enkel multicategorie-model te beoordelen.
2. Model-onafhankelijkheid: De methode vereist geen toegang tot interne neurale netwerklagen (logits), waardoor deze toepasbaar is op een breed scala aan modellen, inclusief Random Forests en andere ensemble-methoden.
3. Interpreteerbaarheid: De output bestaat uit duidelijke parameters en een p-waarde, wat makkelijker te interpreteren is voor menselijke analisten dan complexe metrieken zoals ECE.
4. Integratie van Testen en Herkalibratie: De methode biedt zowel een diagnose (is het model gekalibreerd?) als een remedie (hoe herkalibreer je het?) binnen één raamwerk.

4. Resultaten

De auteurs valideren de MCLLO-methode via simulaties en drie casestudies:

• Simulatiestudie:

  • De LRT toonde een toenemende statistische kracht naarmate de steekproefgrootte en de afwijking van kalibratie (effectgrootte) toenamen.
  • De herkalibratie verlaagde de Expected Calibration Error (ECE) aanzienlijk, zelfs bij sterk ongekwalificeerde data.

• Casestudies:

  1. Beeldclassificatie (CIFAR-10 met VGGNet):
     • De originele voorspellingen waren niet gekalibreerd (p-waarde < 0,0001).
     • MCLLO herkalibratie verlaagde de ECE van 0,035 naar 0,021.
     • De herkalibreerde voorspellingen waren statistisch goed gekalibreerd (p-waarde = 0,133).
     • Vergelijking met Temperature Scaling en Vector Scaling: Hoewel Temperature Scaling een lage ECE had, faalde de LRT-toets (p=0,002), wat aangeeft dat het niet alle categorieën goed kalibreerde. MCLLO presteerde hierin superieur.
  2. Obesitasanalyse (Random Forest):
     • Omdat Random Forests geen logits genereren, waren Temperature en Vector Scaling niet toepasbaar.
     • MCLLO was de enige methode die effectief kon worden toegepast en resulteerde in de laagste ECE (0,073) en een niet-significant resultaat in de LRT (p=0,167), wat aangeeft dat de voorspellingen nu goed gekalibreerd waren.
  3. Ecologie (Regressiemodellering):
     • (Samenvattend in de tekst) De methode toonde consistentie over verschillende domeinen.

5. Betekenis en Conclusie

De MCLLO-methode is een significante bijdrage aan het veld van machine learning en statistiek omdat het een robuust, model-onafhankelijk raamwerk biedt voor zowel het diagnosticeren als het corrigeren van kansvoorspellingen.

• Besluitvorming: Betrouwbare kansen zijn essentieel voor kritieke beslissingen (bijv. medische diagnoses). Een verschil tussen een voorspelde kans van 94% en een werkelijke frequentie van 80% kan grote gevolgen hebben; MCLLO corrigeert dit.
• Superioriteit ten opzichte van ECE: In tegenstelling tot de ECE, die afhankelijk is van het aantal bins en geen p-waarde geeft, biedt de MCLLO LRT een statistisch onderbouwde manier om te bepalen of een model voldoende gekalibreerd is.
• Toepasbaarheid: De methode vult een gat in de literatuur door ook modellen zoals Random Forests te kunnen kalibreren, waar bestaande state-of-the-art methoden (zoals temperatuurschaling) falen.

Kortom, MCLLO biedt een "alles-in-één" oplossing: het test of kalibratie nodig is, voert de herkalibratie uit zonder interne modeltoegang, en levert interpreteerbare resultaten die vertrouwen wekken bij besluitvormers.