Socrates Loss: Unifying Confidence Calibration and Classification by Leveraging the Unknown

1. Het Probleem

Diepe neurale netwerken (DNN's) presteren vaak uitstekend op classificatietaken, maar lijden onder een fundamenteel gebrek aan betrouwbaarheid in hoge-risico toepassingen (zoals medische diagnose of nucleaire beveiliging). Dit komt door een slechte confidentie-calibratie: het model is vaak systematisch oververzekerd (overconfident), wat betekent dat de voorspelde waarschijnlijkheid van een correcte voorspelling niet overeenkomt met de werkelijke nauwkeurigheid.

Bestaande methoden voor calibratie lopen vast in een fundamenteel stabiliteit-prestatie-dilemma:

• Post-hoc methoden (zoals Temperature Scaling): Zijn eenvoudig maar vereisen extra data en zijn incompatibel met transfer learning omdat ze de modelgewichten niet aanpassen.
• Ad-hoc methoden tijdens training:
  • Twee-fase training (combinatie van loss-functies): Bereikt vaak goede classificatie, maar leidt tot instabiele training en slechtere calibratie.
  • Enkele loss-functies: Zijn stabiel en goed gekalibreerd, maar presteren vaak minder goed op de classificatienauwkeurigheid.

De kernvraag is: Kan men een enkele, stabiele loss-functie ontwerpen die zowel classificatie als calibratie optimaliseert zonder de stabiliteit te verliezen?

2. Methodologie: Socrates Loss

De auteurs introduceren Socrates Loss, een nieuwe, geünificeerde loss-functie die expliciet onzekerheid modelleert door een hulpklasse "onbekend" (unknown class, $idk$) toe te voegen aan het classificatieprobleem. In plaats van een $c$-klassen probleem, wordt het een $(c+1)$-klassen probleem.

De loss-functie bestaat uit drie cruciale componenten:

1. Dynamische Onzekerheidsstraf ($\beta$):
   • Deze straf wordt toegepast wanneer het model faalt in het herkennen van zijn eigen onzekerheid.
   • Formule: $\beta_{i,e} = \max_{\bar{y}_i \neq y_i} (\hat{p}_{i, \bar{y}_i, e}) - \hat{p}_{i, idk, e}$.
   • Als de waarschijnlijkheid van een verkeerde klasse hoger is dan die van de "onbekende" klasse, wordt het model gestraft. Dit dwingt het model om de "onbekende" klasse als tweede hoogste kans te zien wanneer het niet zeker is van de ground truth.
2. Adaptieve Doelwit ($t_{i,y_i,e}$):
   • Een momentum-gebaseerde term die de huidige voorspelling combineert met de voorspelling van de vorige epoch.
   • Dit stabiliseert de training en voorkomt schommelingen in de convergentie.
3. Focal Term (Modulariteitsfactor $\gamma$):
   • Gebaseerd op Focal Loss, vermindert deze term de bijdrage van makkelijk te classificeren voorbeelden en focust op "hard-to-classify" instances. Dit voorkomt dat het model te snel oververzekerd raakt op eenvoudige voorbeelden.

De totale loss-functie combineert deze elementen om het model te straffen voor het niet herkennen van onzekerheid, terwijl het tegelijkertijd de classificatienauwkeurigheid maximaliseert.

3. Belangrijkste Bijdragen

• Unificatie van Doelen: Socrates Loss lost het trade-off-probleem op door classificatie en calibratie in één enkele, stabiele loss-functie te verenigen, zonder complexe schema's of twee-fase training.
• Theoretische Garanties: De auteurs bewijzen dat Socrates Loss werkt als een regularisator voor de netwerkgewichten. Het fungeert als een geregulariseerde bovengrens voor de Kullback-Leibler (KL) divergentie, wat overfitting en miscalibratie voorkomt door de entropie van de voorspelde distributie te verhogen.
• Expliciete Onzekerheidsmodellering: Door de "onbekende" klasse te integreren, krijgt het model een mechanisme om te communiceren wanneer het iets niet weet, wat essentieel is voor betrouwbare AI.

4. Resultaten

De methode werd getest op vier benchmarks (SVHN, CIFAR-10, CIFAR-100, Food-101) met verschillende architecturen (VGG-16, ResNet, ViT) en in transfer learning scenario's.

• Stabiliteit en Convergentie: In tegenstelling tot methoden zoals SAT en CCL-SC, die vaak instabiel zijn of voortijdig convergeren (vooral op Food-101 en SVHN), convergeert Socrates Loss stabiel en consistent.
• Accuracy-Calibration Trade-off: Socrates Loss bereikt een superieure balans tussen nauwkeurigheid en calibratie. Op CIFAR-100 met VGG-16 behaalde het de laagste Expected Calibration Error (ECE) van 3.45 bij een competitieve nauwkeurigheid van 71.26%, terwijl concurrenten moesten kiezen tussen hoge nauwkeurigheid of goede calibratie.
• Transfer Learning: Bij het fine-tunen van Vision Transformers (ViT) presteerde Socrates Loss aanzienlijk beter dan bestaande methoden, waarbij het zowel de classificatie als de calibratie verbeterde zonder de stabiliteit te verliezen.
• Ablatie-studies: Experimenten tonen aan dat elke component (focal term, adaptieve target, en dynamische onzekerheidsstraf) essentieel is. Het verwijderen van de dynamische straf ($\beta$) leidt tot een significante verslechtering van de calibratie.
• Robuustheid: De methode is relatief ongevoelig voor hyperparameter-variaties in vergelijking met andere geavanceerde methoden.

5. Betekenis en Conclusie

Socrates Loss biedt een elegante en effectieve oplossing voor het langdurige probleem van de calibratie van diepe neurale netwerken. Door de filosofie van Socrates ("Ik weet dat ik niets weet") te vertalen naar een wiskundige loss-functie, dwingt het model om zijn eigen onzekerheid te erkennen.

De belangrijkste implicaties zijn:

1. Betrouwbaarheid: Het maakt DNN's veiliger voor hoge-risico toepassingen door te voorkomen dat ze onterecht oververzekerd zijn.
2. Eenvoud: Het is een "plug-and-play" loss-functie die geen complexe twee-fase training vereist, wat de implementatie en reproduceerbaarheid vergemakkelijkt.
3. Toekomstgericht: De methode opent de deur voor verder onderzoek naar selectieve classificatie (waarbij het model kan afzien van een voorspelling bij onzekerheid) en detectie van out-of-distribution (OOD) data.

Kortom, Socrates Loss bewijst dat het mogelijk is om modellen te trainen die niet alleen nauwkeurig zijn, maar ook weten wanneer ze het niet weten, zonder in te leveren op stabiliteit of prestaties.