Socrates Loss: Unifying Confidence Calibration and Classification by Leveraging the Unknown

1. Il Problema

Le reti neurali profonde (DNN) raggiungono prestazioni eccezionali in termini di accuratezza, ma soffrono spesso di una scarsa calibrazione della confidenza. In applicazioni ad alto rischio (diagnosi medica, sicurezza nucleare, ecc.), è fondamentale che la probabilità predetta dal modello corrisponda alla probabilità reale di correttezza (es. una previsione al 90% di confidenza dovrebbe essere corretta il 90% delle volte).

Attualmente, i metodi di calibrazione esistenti presentano un compromesso fondamentale (trade-off) tra stabilità dell'addestramento e prestazioni:

• Metodi a due fasi (Two-phase): Combinano diverse funzioni di perdita o schedulazioni complesse. Ottenono buone prestazioni di classificazione ma soffrono di instabilità durante l'addestramento e una calibrazione finale spesso inferiore.
• Metodi a singola perdita (Single-loss): Sono stabili e garantiscono una buona calibrazione, ma spesso sacrificano l'accuratezza di classificazione.
• Metodi post-hoc: (es. Temperature Scaling) agiscono dopo l'addestramento. Sono semplici ma non integrano la calibrazione nei pesi del modello, rendendoli incompatibili con paradigmi come il transfer learning dove le rappresentazioni calibrate devono essere intrinseche al modello.

L'obiettivo della ricerca è colmare questo divario: creare un metodo ad-hoc basato su una singola funzione di perdita, facile da implementare, che garantisca stabilità, alta accuratezza e una calibrazione robusta simultaneamente.

2. Metodologia: Socrates Loss

Gli autori propongono Socrates Loss, una nuova funzione di perdita unificata che integra esplicitamente l'incertezza nel processo di addestramento.

Concetto Chiave: La Classe "Sconosciuta" (Unknown Class)

Il metodo riformula il problema di classificazione multiclasse standard (con $c$ classi) come un problema con $c+1$ classi, introducendo una classe aggiuntiva chiamata "unknown" (o "idk", "non so"). Questo permette al modello di imparare non solo cosa conosce, ma anche a segnalare quando non sa.

Formulazione della Funzione di Perdita

La perdita è composta da tre componenti principali che agiscono in sinergia:

1. Termine Focal (Focal Term):
   Derivato dal Focal Loss, utilizza un fattore di modularità $\gamma$ per ridurre il peso delle istanze facili da classificare e concentrarsi su quelle difficili. Questo previene l'inflazione dei margini di classificazione che porta a una sovrastima della confidenza (overconfidence).

2. Target Adattivo (Adaptive Target):
   Ispirato al Self-Adaptive Training (SAT), utilizza un fattore di momento $\alpha$ per bilanciare l'obiettivo basato sul ground truth con le previsioni correnti e precedenti. Questo stabilizza la convergenza e riduce l'instabilità delle previsioni durante le epoche iniziali.

3. Penalità Dinamica per l'Incertezza (Dynamic Uncertainty Penalty - $\beta$):
   Questo è il cuore innovativo del metodo. La perdita include una componente che penalizza il modello se non riconosce la propria incertezza.

   • Viene calcolato un valore $\beta$ basato sulla differenza tra la massima probabilità tra le classi non ground truth e la probabilità della classe "unknown".
   • Se la probabilità di una classe errata supera quella della classe "unknown", il modello viene penalizzato per non aver riconosciuto la propria incertezza.
   • Questo meccanismo forza il modello ad assegnare una probabilità significativa alla classe "unknown" quando è confuso, agendo come un regolarizzatore.

La funzione di perdita totale è definita come:
$$L_{Socrates} = -\frac{1}{n} \sum_{i=1}^{n} (1 - \hat{p}_{i,y_i})^\gamma \left[ t_{i,y_i} \log \hat{p}_{i,y_i} + \beta_{i} (1 - t_{i,y_i}) \log \hat{p}_{i,idk} \right]$$
Dove $t_{i,y_i}$ è il target adattivo e $\beta_i$ è la penalità dinamica.

3. Contributi Chiave

1. Unificazione di Classificazione e Calibrazione: Socrates Loss risolve il trade-off stabilità-prestazioni unificando gli obiettivi in una singola funzione di perdita, eliminando la necessità di schedulazioni complesse o fasi multiple.
2. Garanzie Teoriche:
   • Dimostrano che Socrates Loss agisce come un regolarizzatore dei pesi della rete, riducendo il gradiente rispetto alla Cross-Entropy quando il modello raggiunge una confidenza perfetta, prevenendo così l'overfitting e la miscalibrazione.
   • Dimostrano che la perdita forma un limite superiore regolarizzato della divergenza Kullback-Leibler (KL), incorporando un regolarizzatore di entropia massima che previene previsioni eccessivamente confidenti.
3. Prestazioni Empiriche Superiori: Socrates Loss supera o eguaglia i metodi esistenti su quattro dataset benchmark (SVHN, CIFAR-10, CIFAR-100, Food-101) e diverse architetture (VGG, ResNet, ViT), migliorando sia la stabilità dell'addestramento che il compromesso accuratezza-calibrazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset con diverse architetture, confrontando Socrates Loss con metodi post-hoc (Temperature Scaling, Matrix Scaling) e metodi ad-hoc (Focal Loss, Brier Loss, SAT, CCL-SC).

• Stabilità e Convergenza: A differenza di metodi come SAT o CCL-SC che mostrano picchi di perdita e instabilità (specialmente su dataset complessi come Food-101 o con ViT), Socrates Loss mostra una convergenza stabile e diretta verso un ottimo compromesso accuratezza-calibrazione.
• Trade-off Accuratezza-Calibrazione: Socrates Loss raggiunge sistematicamente posizioni migliori nei grafici di Pareto (Errore vs ECE - Expected Calibration Error). Ad esempio, su CIFAR-100 con VGG-16, ottiene l'ECE più basso (3.45) mantenendo un'accuratezza competitiva (71.26%), mentre altri metodi devono sacrificare l'uno per l'altro.
• Transfer Learning: Nel contesto del fine-tuning di ViT (Vision Transformer), Socrates è l'unico metodo capace di migliorare contemporaneamente classificazione e calibrazione senza degradazione, mentre altri metodi mostrano oscillazioni o fallimenti.
• Ablation Study: L'analisi dimostra che ogni componente della perdita (termine focal, target adattivo, penalità $\beta$) è essenziale. La rimozione della penalità dinamica o del termine focal degrada significativamente sia la calibrazione che l'accuratezza.
• Robustezza: Il metodo è meno sensibile all'iperparametro rispetto ad altre tecniche complesse e funziona bene sia su dataset semplici che su scenari reali complessi.

5. Significato e Implicazioni

Il lavoro di Socrates Loss rappresenta un passo avanti significativo verso l'affidabilità delle DNN in scenari critici.

• Semplificazione: Offre una soluzione "plug-and-play" che non richiede fasi di post-processing o architetture complesse (come ensemble), rendendo la calibrazione accessibile e integrata nel training standard.
• Cambiamento di Paradigma: Dimostra che l'overconfidence non è una proprietà inevitabile delle DNN moderne, ma può essere mitigata scegliendo la funzione di perdita corretta.
• Futuro: La capacità del modello di riconoscere l'incertezza tramite la classe "unknown" apre nuove prospettive per il selective classification (rifiutare previsioni incerte) e il rilevamento di dati fuori distribuzione (OOD), sebbene questi aspetti richiedano ulteriori validazioni.

In sintesi, Socrates Loss fornisce un framework unificato che permette di addestrare modelli che sono non solo precisi, ma anche onesti riguardo alla propria incertezza, risolvendo il problema storico del compromesso tra stabilità, accuratezza e calibrazione.