Can we trust our models? Epistemic calibration in second-order classification

Technische Samenvatting: Epistemische Kalibratie in Tweede-Orde Classificatie

Probleemstelling

Hoewel onzekerheidsschatting cruciaal is voor de inzet van machine learning-modellen in omgevingen met een hoog risico (bijv. autonoom rijden, medische toepassingen), zijn huidige evaluatiemetrieken ontoereikend. Klassieke kalibratie beoordeelt de betrouwbaarheid van voorspelde waarschijnlijkheden (Niveau-1), waarbij wordt gewaarborgd dat een voorspelde waarschijnlijkheid van $p$ overeenkomt met een empirische frequentie van $p$. Dit evalueert echter niet of de epistemische onzekerheidsschattingen (Niveau-2) zelf betrouwbaar zijn.

Tweede-orde classificatiemodellen (bijv. Bayesiaanse methoden, ensembles, evidential deep learning) geven een distributie over voorspellingen af in plaats van een enkele puntinschatting. Er bestaat een aanzienlijke kloof in de literatuur over de vraag of de gerapporteerde epistemische onzekerheid (de dispersie van deze voorspellingen) de werkelijke dispersie van modelvoorspellingen rond de grondwaarheid getrouw reflecteert. Bestaande methoden falen vaak om onderscheid te maken tussen een model dat twijfelt vanwege inherente datadifficulties (aleatorische onzekerheid) versus een gebrek aan trainingsdata (epistemische onzekerheid), en standaardmetrieken kunnen specifieke faalmodi niet detecteren waarbij onzekerheidsschattingen misgekalibreerd zijn ondanks een goede gemiddelde voorspellende prestatie.

Methodologie en Raamwerk

Het artikel introduceert Epistemische Kalibratie, een principieel criterium voor tweede-orde modellen. In tegen tegenstelling tot klassieke kalibratie, die zich richt op de gemiddelde voorspelling, vereist epistemische kalibratie dat de gerapporteerde onzekerheid (variantie van de tweede-orde distributie) overeenkomt met de werkelijke verwachte kwadratische fout van de individuele modellen die uit die distributie worden gesampled.

Kerndefinities en Theoretische Resultaten:

1. Epistemische Kalibratie (Definitie 5): Een tweede-orde voorspeller $\Pi$ is epistemisch gekalibreerd als, voor elke distributie van voorspellingen $\Psi$, de waarschijnlijkheid van het ware label gegeven de distributie gelijk is aan het gemiddelde van die distributie. Cruciaal is dat dit impliceert dat de spreiding (variantie) van de distributie geen aanvullende informatie over het ware label bevat boven wat het gemiddelde al codeert (Stelling 2).
2. Onmogelijkheidstheorema: De auteurs relateren hun werk aan bestaande literatuur over bias-variantie decompositie. Ze bewijzen dat voor een epistemisch gekalibreerd model de dispersie geen bias ten opzichte van de grondwaarheid kan coderen; als een model epistemisch gekalibreerd is, moet de onzekerheidsschatting strikt de variantie van de voorspellingen rond de waarheid reflecteren, en niet een systematische bias.
3. Verwachte Epistemische Kalibratiefout (EECE): Om dit concept te operationaliseren, stellen de auteurs de EECE voor. Deze metriek kwantificeert de discrepantie tussen de gerapporteerde epistemische onzekerheid en de empirische verwachte kwadratische fout van de gesamplede hypothesen binnen gebinde regio's van de gezamenlijke voorspellingsruimte.
   • Consistentie: Het artikel bewijst (Stelling 3) dat de EECE een consistente estimator is van de Ware Epistemische Kalibratiefout (TECE), die convergeert naar de ware waarde naarmate het aantal bins en samples toeneemt.

Experimentele Opzet:
De methodologie wordt geëvalueerd over twee groepen methoden:

• Actieve Methoden: Theoretisch compatibel met het variantiegebaseerde raamwerk, inclusief Bayesiaanse Logistische Regressie, Bayesiaanse Deep Learning (Laplace Approximatie), Deep Ensembles, Random Forests, DropConnect en MC-Dropout.
• Illustratieve Methoden: Centroid-gebaseerde, likelihood-gebaseerde en nearest-neighbor benaderingen, die niet ontworpen zijn voor variantie-gebaseerde decompositie en dienen als baselines voor de verwachte miskalibratie.

Experimenten worden uitgevoerd op:

• Een Toy Dataset (mengsel van Gaussians) om de grondwaarheid te controleren en verwacht gedrag te analyseren (bijv. gevoeligheid voor ruis en omvang van de trainingsset).
• Hoog-dimensionale Visiedatasets (MNIST en CIFAR-10), waarbij data via auto-encoders in een latente ruimte wordt geprojecteerd en wordt behandeld als 10 "one-vs-all" binaire classificatietaken.

Belangrijkste Resultaten

1. Onderscheid van Klassieke Kalibratie: De experimenten laten zien dat modellen klassiek gekalibreerd kunnen zijn (betrouwbare gemiddelde voorspellingen) terwijl ze epistemisch misgekalibreerd zijn (onbetrouwbare onzekerheidsschattingen). Bijvoorbeeld, Random Forests vertoonden een slechte epistemische kalibratie ondanks redelijke voorspellende prestaties, terwijl Bayesiaanse Logistische Regressie goed presteerde op lineair scheidbare Gaussische data maar moeite had met complexe real-world data.
2. Gedragsvalidatie: Op de Toy dataset gedroeg de EECE zich zoals theoretisch verwacht:
   • De epistemische kalibratiefout nam significant toe naarmate de ruis in de trainingsset toenam.
   • De EECE nam af naarmate de omvang van de trainingsset groeide, en vlakte af naarmate het model zekerder werd.
3. Methodevergelijking:
   • Deep Ensembles en MC-Dropout vertoonden sterke epistemische kalibratie op de CIFAR-10 taak.
   • Random Forests vertoonden consequent de hoogste epistemische kalibratiefout onder de variantie-gebaseerde methoden.
   • Illustratieve methoden (centroid/likelihood-gebaseerd) presteerden slecht, wat bevestigt dat methoden die niet geworteld zijn in tweede-orde distributies of ensemble-diversiteit falen om aan het epistemische kalibratiecriterium te voldoen.
4. Afhankelijkheid van Inductieve Bias: De resultaten benadrukken dat epistemische kalibratie sterk afhankelijk is van de inductieve bias van het model. Modellen presteren goed wanneer hun aannames overeenkomen met de datastructuur (bijv. Bayesiaanse Logistische Regressie op lineair scheidbare data), maar verslechteren wanneer ze worden toegepast op complexe, niet-lineaire real-world data.

Betekenis en Claims

Het artikel claimt een principieel fundament voor vertrouwen te bieden voor tweede-orde classificatiemodellen. Door de introductie van epistemische kalibratie stellen de auteurs dat onderzoekers en praktici nu kunnen beoordelen of het "vertrouwen" van een model in zijn eigen onzekerheid geldig is.

• Sterker Begrip: Epistemische kalibratie wordt gevestigd als een strikt sterkere conditie dan klassieke kalibratie.
• Detectie van Faalmodi: De EECE-metriek vangt faalmodi op die onzichtbaar zijn voor standaardmetrieken, zoals wanneer een model een hoge onzekerheid rapporteert die niet overeenkomt met de werkelijke voorspellingsdispersie.
• Praktisch Nut: Het werk overbrugt de kloof tussen theoretische onzekerheidskwantificatie en de betrouwbaarheidseisen van veiligheidskritische systemen. Het suggereert dat voor een model werkelijk vertrouwd kan worden in situaties met hoge inzet, het niet alleen gemiddeld correct moet voorspellen, maar ook de dispersie van zijn eigen voorspellende distributie accuraat moet rapporteren.

De auteurs blijven bescheiden en merken op dat hoewel epistemische kalibratie een natuurlijke eigenschap is voor goed gespecificeerde modellen (zoals Bayesiaanse Logistische Regressie op Gaussische data), het niet universeel wordt voldaan door alle methoden voor onzekerheidskwantificatie, met name bij complexe, real-world datasets. Het artikel stelt geen nieuwe trainingsalgoritmen voor, maar eerder een nieuw evaluatiekader om te identificeren welke bestaande methoden betrouwbaar zijn.