Technische Samenvatting: Benchmarken van Niet-Overeenstemmingscores in Conformale Voorspelling

Probleemstelling

Conformale voorspelling (CP) biedt een rigoureuze alternatief voor modelkalibratie in machine learning-classificatie door voorspellingssets te genereren in plaats van voorspellingen voor één enkele klasse. Hoewel CP garandeert dat de ware klasse met een waarschijnlijkheid van ten minste $1 - \alpha$ (waarbij $\alpha$ een vooraf gespecificeerde foutenrate is) binnen de voorspellingsset zit, hangt de praktische bruikbaarheid van deze sets sterk af van hun grootte. Een voorspellingsset die te groot is, is niet-informatief.

De grootte en bruikbaarheid van deze sets worden bepaald door de keuze van de niet-overeenstemmingscoresfunctie. Ondanks het bestaan van talloze scoresfuncties in de literatuur, ontbreekt het aan systematische studies die hun eigenschappen, effectiviteit en interactie met modelarchitecturen en class-ongelijkheid onderzoeken. Dit artikel adresseert de kennislacune over hoe verschillende scoresfuncties presteren in diverse conformale domeinen (kansruimte, logit-ruimte en kenmerkruimte) en onder verschillende omstandigheden, inclusief onbalans in datasets.

Methodologie

Evaluatiemetric

De auteurs introduceren een nieuwe evaluatiemetric, $I_1$, om scoresfuncties te beoordelen onafhankelijk van een willekeurige keuze van de foutenrate $\alpha$. Traditionele metrics rapporteren de gemiddelde voorspellingssetgrootte bij een vaste $\alpha$, wat misleidend kan zijn als $\alpha$ niet in lijn is met de modelnauwkeurigheid.
De metric is gedefinieerd als:
$$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$$
waarbij $A_k$ de top-$k$ modelnauwkeurigheid is (specifiek $A_1$ voor top-1 nauwkeurigheid), en $\bar{|P|}(\alpha)$ de gemiddelde voorspellingssetgrootte is bij foutenrate $\alpha$. Deze integraal beperkt de evaluatie tot het "interessante" bereik van foutenraten (van 0 tot de inherente foutenrate van het model), waardoor een enkel, objectief getal wordt verkregen waarbij lagere waarden betere prestaties aangeven (kleinere voorspellingssets).

Experimentele Opzet

• Datasets: ImageNet (1000 klassen), CIFAR-100 (100 klassen) en CIFAR-10 (10 klassen).
• Modellen: ResNet50 (primair), ResNet18 en EfficientNet-B0.
• Conformale Domeinen: De studie evalueert scoresfuncties in drie distincte ruimtes:
  1. Kansruimte: De output van de softmax-functie ($\Delta_{n-1}$).
  2. Logit-ruimte: De ruwe outputvectoren voorafgaand aan softmax ($\mathbb{R}^n$).
  3. Kenmerkruimte: De laatste kenmerkvectoren voor de lineaire outputlaag.
• Gebenchmarkte Scoresfuncties:
  • Labelafstand: Afstand tussen de voorspelling en de one-hot gecodeerde label.
  • Marge-afstand: Afstand tot de beslissingsgrens tussen de ware klasse en de meest waarschijnlijke onjuiste klasse.
  • Gemiddelde afstand: Afstand tot het gemiddelde van kalibratievoorbeelden die tot dezelfde klasse behoren.
  • Dichtstbijzijnde buur: Ratio van afstanden tot de dichtstbijzijnde voorbeelden van dezelfde klasse versus voorbeelden van een andere klasse.
  • APS/RAPS/SAPS: Adaptieve Voorspellingssets en hun geregulariseerde varianten (op rang gebaseerde methoden).
  • Gradient/Fast Gradient: Op kenmerken gebaseerde methoden die de afstand tot de beslissingsgrens in kenmerkruimte benaderen.
• Testen op Ongelijkheid: Een voorwaarde gebaseerd op voorwaartse class-ongelijkheid werd getest waarbij minderheidsklassen werden gereduceerd tot een prevalentie van 10% om te evalueren hoe goed verschillende scoresfuncties omgaan met class-ongelijkheid.

Belangrijkste Resultaten

Prestaties van Scoresfuncties

De benchmarkresultaten, samengevat door de $I_1$-metric, tonen duidelijke prestatiepatronen:

• Op afstand gebaseerd versus op rang gebaseerd: Op afstand gebaseerde scoresfuncties presteerden over het algemeen beter dan op rang gebaseerde methoden (APS, RAPS, SAPS) wat betreft voorspellingssetgrootte, met name bij gebruik van cosinus-afstand.
• Optimale Domeinen en Metrics:
  • Marge-afstand in Logit-ruimte met gebruik van Cosinus-afstand behaalde de laagste $I_1$-waarden voor ImageNet over ResNet-modellen heen.
  • Gemiddelde afstand presteerde uitzonderlijk goed op CIFAR-100, met name in Kenmerkruimte met Cosinus-afstand.
  • Labelafstand in Kansruimte met Cosinus-afstand was ook zeer concurrerend.
• Euclidisch versus Cosinus: Euclidische afstand bleek minder geschikt voor hoogdimensionale ruimtes (zoals kenmerkvectoren in ResNet50), terwijl cosinus-afstand robuust presteerde, wat suggereert dat deze modellen klassen organiseren in ongeveer orthogonale clusters.
• Randomisatie in APS/RAPS: De studie vond dat de gerandomiseerde term ($u$) in APS en RAPS niet strikt noodzakelijk is voor dekkinggaranties in gekalibreerde settings. Het instellen van $u$ op een kleine constante (dienend als tie-breaker) leverde vaak betere prestaties op dan de standaard gerandomiseerde aanpak.
• Gradient-methoden: De Gradient en Fast Gradient-methoden waren computatieel duur en, in het geval van Fast Gradient, presteerden ze aanzienlijk slechter dan andere methoden op de geteste datasets.

Impact van Modelarchitectuur

Hoewel ResNet50 en ResNet18 een vergelijkbare relatieve ordening van scoresfuncties-prestaties vertoonden, vertoonde EfficientNet-B0 een andere rangschikking. Dit suggereert dat modelarchitectuur (bijvoorbeeld activatiefuncties zoals ReLU versus Swish) de geometrische eigenschappen van het conformale domein beïnvloedt en dus de optimale keuze van scoresfunctie, mogelijk meer dan de ruwe nauwkeurigheid van het model.

Class-Ongelijkheid

In de onbalanssetting werden minderheidsklassen vaak opgenomen in voorspellingssets met frequenties die veel hoger waren dan hun ware prevalentie (bijvoorbeeld 27% opname voor een klasse met een ware prevalentie van 0,1%). De auteurs merken op dat dit, hoewel het de precisie van de voorspeller vermindert, een "eerlijke" reflectie is van de onderliggende onzekerheid van het model met betrekking tot zeldzame klassen. Gemiddelde afstand in kenmerkruimte toonde opnieuw het beste vermogen om deze over-opname te minimaliseren terwijl de dekking behouden bleef.

Betekenis en Claims

Het artikel claimt een kennislacune te vullen met betrekking tot de eigenschappen en effectiviteit van niet-overeenstemmingscoresfuncties. De primaire bijdragen zijn:

1. Systematisch Benchmarken: Het bieden van een uitgebreide vergelijking van diverse scoresfuncties over meerdere datasets, modellen en conformale domeinen.
2. Evaluatiemetric: Het introduceren van $I_1$ als een robuuste, enkelvoudige metric die rekening houdt met modelnauwkeurigheid en willekeurige selectie van foutenraten vermijdt.
3. Domein- en Metric-inzichten: Het aantonen dat cosinus-afstand superieur is aan Euclidische afstand in hoogdimensionale conformale domeinen en dat logit-ruimte vaak de kanssimplex overtreft.
4. Praktische Richtlijnen: Het bieden van een startpunt voor practitioners om scoresfuncties te selecteren op basis van hun specifieke modelarchitectuur en datasetkenmerken, in plaats van te vertrouwen op een enkele "beste" universele methode.

De auteurs concluderen dat er geen enkele scoresfunctie universeel superieur is; eerder hangt de optimale keuze af van de specifieke context van het model en de data. Het benchmark biedt echter een duidelijke, datagedreven basis voor het maken van deze selecties.