Technische Samenvatting: Voorbij ECE: Gecalibreerde Grootteverhouding, Risicobeoordeling en Op Vertrouwen Gewogen Metrieken

1. Probleemstelling

Het artikel adresseert een kritieke beperking in de evaluatie van vertrouwenscalibratie voor machinelearning-modellen, met name in hoog-risicodomeinen. De huidige standaard, Verwachte Calibratiefout (Expected Calibration Error, ECE), wordt geïdentificeerd als fundamenteel gebrekkig voor risicobeoordeling. ECE is een lineaire metriek die calibratiegaten gelijk behandelt, ongeacht het vertrouwensniveau waarop ze optreden. Bijgevolg kan ECE klein blijven, zelfs wanneer een model willekeurig groot oververtrouwensrisico vertoont (bijvoorbeeld het toekennen van hoog vertrouwen aan onjuiste voorspellingen).

De auteurs betogen dat ECE het calibratie-informatie dat het meest telt, niet extraheren: de omvang van het falen die wordt geïmpliceerd door een gat op hoge vertrouwensniveaus. Omdat ECE wordt gedomineerd door bins met laag vertrouwen (waar de populaties het grootst zijn), is het systematisch blind voor de "staart" van de verdeling waar miscalibratie het gevaarlijkst is. Bovendien merkt het artikel op dat standaard calibratiemethoden die zijn ontworpen om ECE te minimaliseren, onbedoeld riskante vertrouwensprofielen kunnen produceren.

2. Methodologie en Voorgestelde Metrieken

De auteurs stellen een raamwerk voor dat de evaluatie van calibratie splitst in twee distincte, complementaire aspecten: risicobeoordeling (het detecteren van oververtrouwen) en discriminerende waarde (het meten van de bruikbaarheid van het vertrouwensprofiel).

2.1 Gecalibreerde Grootteverhouding (Calibrated Size Ratio, CSR) en Risicokans ($P_{risk}$)

Om het risico van oververtrouwen aan te pakken, introduceren de auteurs de Gecalibreerde Grootteverhouding (CSR). In tegenstelling tot ECE, beoordeelt CSR calibratiegaten relatief tot $(1-c)$, wat de ware omvang van het geïmpliceerde falen weerspiegelt.

• Definitie: Voor een dataset $D$ met $N$ samples, voorspelde klassen $\hat{y}_i$, ware labels $y_i$, en vertrouwensscores $conf_i < 1$:
  $$CSR = \frac{1}{N} \sum_{i: \hat{y}_i \neq y_i} \frac{1}{1 - conf_i}$$
• Interpretatie: Onder perfecte puntsgewijze calibratie is $CSR = 1$.
  • $CSR > 1$ duidt op oververtrouwen (riskant).
  • $CSR < 1$ duidt op ondervertrouwen.
  • Een waarde van $CSR = 10$ impliceert dat de waargenomen fouten op hun toegewezen vertrouwensniveaus zouden worden verwacht uit een dataset die 10 keer zo groot is onder een perfect gecalibreerd model.
• Risicokans ($P_{risk}$): Om het statistische bewijs voor oververtrouwen te kwantificeren, leiden de auteurs de standaardafwijking van CSR ($\sigma_{CSR}$) af onder de aanname van perfecte limietcalibratie. Ze modelleren de afwijking met een normale verdeling om een z-score te berekenen:
  $$z = \frac{CSR - 1}{\sigma_{CSR}}$$
  De risicokans is vervolgens $P_{risk} = \Phi(z)$, waarbij $\Phi$ de cumulatieve verdelingsfunctie van de standaardnormale verdeling is. Dit maakt een principiële beoordeling mogelijk van of een vertrouwensprofiel riskant is, zonder Monte Carlo-resampling te vereisen.

2.2 Op Vertrouwen Gewogen Metrieken en $cwAUC$

De auteurs betogen dat een veilig profiel (laag risico) niet per se nuttig is. Ze stellen Op Vertrouwen Gewogen Nauwkeurigheid (Confidence-Weighted Accuracy, cwA) voor als het natuurlijke complement aan CSR, waarbij het de fractie van de totale vertrouwensmassa wordt gemeten die is toegewezen aan correcte voorspellingen.

• Definitie:
  $$cwA = \frac{\sum_{i} conf_i \cdot \mathbb{1}[\hat{y}_i = y_i]}{\sum_{i} conf_i}$$
• Extensie naar Andere Metrieken: Het artikel demonstreert dat op vertrouwen gewogen meting zich op natuurlijke wijze uitbreidt naar alle standaard classificatiemetrieken (Precisie, Recall, F1, enz.) door de invoer van de confusiematrix te wegen op vertrouwen.
• Op Vertrouwen Gewogen AUC ($cwAUC$): De auteurs bewijzen dat de klassieke AUC invariant is tegenover elke strikt monotoone herschaling van vertrouwensscores (inclusief post-hoc calibratie), omdat deze uitsluitend afhankelijk is van rangschikking. Daarentegen weegt $cwAUC$ paarsgewijze vergelijkingen op het product van de vertrouwensscores die zijn toegewezen aan de voorspelde klassen.
  • Betekenis: Het gat $cwAUC - AUC$ vangt de discriminerende waarde die door calibratie wordt toegevoegd op. Een positief gat geeft aan dat het model meer vertrouwen heeft in correct gerangschikte paren dan in onjuist gerangschikte paren.

2.3 Onafhankelijkheid van ECE

Het artikel levert theoretische bewijzen en tegenvoorbeelden die aantonen dat CSR en $cwA$ onafhankelijk zijn van ECE. Het is mogelijk om vertrouwensprofielen te construeren met willekeurig lage ECE maar onbegrensde CSR (extreem risico), en omgekeerd, profielen met $ECE=0$ die volledig oninformatief zijn (vlak vertrouwen).

3. Experimentele Resultaten

De voorgestelde indicatoren werden gevalideerd op zowel synthetische als real-world datasets.

3.1 Synthetische Datasets

De auteurs genereerden tien synthetische vertrouwensverdelingen onder acht gecontroleerde calibratieregimes (waaronder perfect, oververtrouwd, ondervertrouwd en willekeurig).

• Risicodetectie: CSR scheidde succesvol riskante van niet-riskante toewijzingen. Onder perfecte calibratie bleven de empirische vals-positieve rates voor $P_{risk}$ dicht bij theoretische voorspellingen (bijvoorbeeld ~9,77% voor $>1\sigma$ versus theoretisch 15,87%, en ~0,30% voor $>3\sigma$ bij grote $N$).
• Gevoeligheid: In oververtrouwde regimes (bijvoorbeeld $Overconf \ 1-\sqrt{1-c}$) waren de CSR-waarden significant verhoogd, en bereikte $P_{risk}$ in veel gevallen 100%, waardoor het risico correct werd gemarkeerd.

3.2 Real Datasets

Experimenten werden uitgevoerd op 15 datasets (UCI, CIFAR-10, MNIST) met XGBoost onder drie regimes: ruwe output, isotone regressie en Platt-schaal.

• Risico's van Isotone Regressie: Hoewel isotone regressie vaak $cwA$ verbeterde, produceerde het frequente riskante vertrouwensprofielen. In 11 van de 15 datasets resulteerde isotone calibratie in $CSR > 1$ (meer dan $1\sigma$), met enkele datasets die catastrofale CSR-waarden vertoonden ($>10^5$). Dit gebeurde omdat isotone regressie extreme vertrouwen (1 of 0) kan toekennen aan onjuiste voorspellingen wanneer calibratiesets plateaus bevatten van uitsluitend positieve of negatieve samples.
• Platt-schaal: Deze methode leverde over het algemeen veiligere profielen op (slechts 3 van de 15 datasets werden gemarkeerd als riskant) terwijl ze concurrerende $cwA$ behield.
• Beperkingen van ECE: Standaard methoden die zijn geoptimaliseerd voor ECE (zoals isotone regressie) bleken riskante profielen op te leveren, wat bevestigt dat het minimaliseren van ECE geen veiligheid garandeert.

3.3 AUC versus $cwAUC$

• Synthetische Data: Goed gecalibreerde synthetische verdelingen toonden een positieve $\Delta AUC$ ($cwAUC - AUC$), wat aangeeft dat calibratie discriminerende waarde toevoegde.
• Real Data: De resultaten waren gemengd. Hoewel $cwA$ consequent verbeterde ten opzichte van de ruwe nauwkeurigheid, was $\Delta AUC$ vaak klein of negatief. De auteurs schrijven dit toe aan het feit dat real-world modellen (zoals XGBoost) vertrouwensscores al gebruiken als rangschikkingssignalen, en post-hoc calibratiemethoden (die marginale verdelingen afstemmen) mogelijk geen significante nieuwe rangschikkingsinformatie toevoegen.

4. Belangrijkste Bijdragen

1. Gecalibreerde Grootteverhouding (CSR): Een nieuwe interpreteerbare metriek waarbij $CSR=1$ perfecte calibratie impliceert. Het biedt een directe maatstaf voor oververtrouwensrisico.
2. Risicokans ($P_{risk}$): Een statistische test afgeleid van CSR die de kans kwantificeert om de data te observeren onder de nulhypothese van perfecte calibratie, waardoor de behoefte aan computereconomisch dure resampling wordt vermeden.
3. Op Vertrouwen Gewogen Metrieken: Een formeel raamwerk dat standaard metrieken (Nauwkeurigheid, AUC, enz.) uitbreidt tot op vertrouwen gewogen meting.
4. $cwAUC$ en Calibratiewaarde: Een bewijs dat klassieke AUC invariant is tegenover calibratie, en de introductie van $cwAUC$ om de specifieke discriminerende waarde die door calibratie wordt verkregen, te meten.
5. Empirisch Bewijs: Demonstratie dat standaard calibratietechnieken (specifiek isotone regressie) het risico (CSR) kunnen verhogen, zelfs terwijl ze andere metrieken verbeteren, wat de noodzaak van risicobewuste evaluatie benadrukt.

5. Betekenis en Beperkingen

Het artikel beweert dat de voorgestelde metrieken een robuustere en veiligheidsgerichte aanpak bieden voor het evalueren van machinelearning-vertrouwen. Door risicobeoordeling (CSR) te ontkoppelen van discriminatieve bruikbaarheid ($cwA$), kunnen practitioners modellen identificeren die niet alleen nauwkeurig zijn, maar ook veilig om in te zetten in hoog-risicoscenario's.

De auteurs erkennen verschillende beperkingen:

• Numerieke Stabiliteit: CSR is gevoelig voor vertrouwensscores dicht bij 1, wat vereist dat ze worden afgeknipt of zorgvuldig worden behandeld.
• Verdelingsverschuiving: De risicobeoordeling gaat ervan uit dat de evaluatieset een i.i.d.-steekproef is uit de limietverdeling; implementatieverschuivingen kunnen $P_{risk}$ misleidend maken.
• Kleine Steekproefgroottes: De Gaussische benadering voor $P_{risk}$ kan minder nauwkeurig zijn voor zeer kleine $N$, hoewel standaardcorrecties (bijvoorbeeld Student-t) van toepassing kunnen zijn.
• Optimalisatie: Het artikel richt zich op het evalueren van vertrouwensprofielen, niet op het gebruik van CSR of $cwA$ om post-hoc calibratie te sturen, wat wordt voorgesteld als toekomstig werk.

Tot slot betogen de auteurs dat het uitsluitend vertrouwen op ECE ontoereikend is voor betrouwbare AI. De combinatie van CSR voor risicodetectie en $cwA$/$cwAUC$ voor bruikbaarheidsbeoordeling biedt een vollediger beeld van de betrouwbaarheid van het vertrouwen van een model.