Riepilogo Tecnico: Scalatura della Temperatura Adattiva ai Quantili per la Calibrazione della Confidenza

1. Definizione del Probleo e Motivazione

Le reti neurali profonde producono frequentemente stime di confidenza scarsamente calibrate, mostrando spesso un eccesso di fiducia (overconfidence) anche quando le predizioni sono errate. Sebbene la Scalatura della Temperatura (Temperature Scaling - TS) rimanga il metodo di calibrazione post-hoc standard grazie alla sua semplicità, essa si basa su una riscalatura globale e uniforme dei logit. Gli autori sostengono che questo approccio non riesca ad affrontare la struttura altamente eterogenea della miscalibrazione osservata attraverso lo spettro della confidenza.

Attraverso un'analisi per quantili, il paper dimostra che le discrepanze più grandi tra correttezza e confidenza non si verificano in modo uniforme. Al contrario, la posizione e la forma della miscalibrazione variano significativamente a seconda del regime:

• Impostazioni Standard: Gli errori sono concentrati nei quantili di confidenza più bassi.
• Impostazioni Long-tailed (a coda lunga): Gli errori si spostano verso i quantili di confidenza media a causa della prevalenza di classi a frequenza intermedia.
• Spostamenti Distribuzionali (Distributional Shifts): I metodi di riscalatura globale faticano perché le perturbazioni covariate alterano la scala assoluta dei valori di confidenza pur preservando il loro ordinamento relativo.

I metodi esistenti, inclusi i varianti avanzati come la Calibrazione di Gruppo (Group Calibration - GC) o le temperature dipendenti dall'input, assumono implicitamente una trasformazione fluida e globalmente coerente. Questa rigidità strutturale impedisce loro di mirare efficacemente a regioni specifiche dove la miscalibrazione è più severa, portando a prestazioni subottimali in scenari impegnativi come lo sbilanciamento delle classi e gli shift di dominio.

2. Metodologia: Scalatura della Temperatura Adattiva ai Quantili (QaTS)

Per affrontare queste limitazioni, gli autori propongono la Scalatura della Temperatura Adattiva ai Quantili (Quantile-Adaptive Temperature Scaling - QaTS), un metodo di calibrazione post-hoc che adatta il parametro di temperatura in base al quantile empirico della confidenza di una predizione piuttosto che alla sua magnitudo di confidenza grezza.

Meccanismo Centrale

1. Riparametrizzazione dei Quantili:
   Il metodo mappa le confidenze grezze $p$ in uno spazio di quantili uniforme $\tau \in [0, 1]$ utilizzando la funzione di distribuzione cumulata (CDF) dell'insieme di calibrazione. Questo trasforma l'obiettivo dell'Errore di Calibrazione Attesa (Expected Calibration Error - ECE) in un integrale su un asse di quantili uniforme, impedendo alle regioni di confidenza dense di dominare la metrica di errore e rendendo esplicita la struttura eterogenea della miscalibrazione.

2. Funzione di Temperatura per Campione:
   Invece di un singolo scalare $T$, QaTS definisce una temperatura dipendente dal campione $T(x)$ come una funzione lineare monotona del quantile empirico $q(x)$:
   $$T(x) = a \cdot (1 - q(x)) + b$$
   dove $a$ e $b$ sono parametri positivi apprendibili.

   • Le predizioni a basso quantile (tipicamente eccessivamente sicure e soggette a errori) ricevono temperature più elevate, ammorbidendo la confidenza.
   • Le predizioni ad alto quantile ricevono aggiustamenti minori, preservando l'accuratezza ed evitando distorsioni non necessarie.

3. Ottimizzazione:
   I parametri $a$ e $b$ sono ottimizzati su un insieme di calibrazione minimizzando la Negative Log-Likelihood (NLL), una regola di punteggio strettamente propria. Questa ottimizzazione surrogata allinea le probabilità calibrate con le frequenze empiriche di correttezza, minimizzando efficacementamente l'ECE riparametrizzato.

4. Inferenza:
   Per un campione di test $x$, i logit vengono scalati dal $T(x)$ calcolato prima di applicare la softmax. Poiché $T(x)$ dipende dal rango (quantile) della confidenza piuttosto che dal suo valore assoluto, il metodo eredita la stabilità basata sul rango dei quantili. Ciò rende QaTS robusto agli effetti di scalatura globale dei logit spesso associati agli shift di covariata, a condizione che l'ordinamento relativo delle confidenze sia approssimativamente preservato.

3. Contributi Chiave

Il paper delinea tre contributi primari:

1. Analisi per Quantili: Un'analisi dettagliata che rivela come gli errori di calibrazione siano altamente eterogenei attraverso lo spettro della confidenza e varino significativamente tra diversi regimi (standard vs. long-tailed). Questa analisi espone i limiti strutturali dei metodi basati su TS esistenti che non possono mirare a regioni specifiche dove si concentrano gli errori.
2. Algoritmo QaTS: L'introduzione di una strategia semplice ed efficiente che opera direttamente nello spazio dei quantili. Formalizza una riparametrizzazione dei quantili dell'ECE e introduce una funzione di temperatura monotona che si adatta al rango relativo di ogni predizione.
3. Validazione Empirica Esaustiva: Esperimenti estesi su 162 setting, inclusi computer vision standard, imaging medico, classificazione di testi e segmentazione semantica, sotto varie condizioni (distribuzioni long-tailed, drift distribuzionali).

4. Risultati Sperimentali

Gli autori valutano QaTS rispetto a baseline post-hoc allo stato dell'arte, inclusi modelli non calibrati, TS, Regressione Isotonica (IR), AdaTS, Group Calibration (GC) e FeatClip.

• Benchmark Standard: Su CIFAR-10, CIFAR-100 e ImageNet, QaTS raggiunge costantemente l'ECE più basso, superando tutti i metodi concorrenti su backbone CNN e Vision Transformer.
• Distribuzioni Long-Tailed: In scenari con severo sbilanciamento delle classi (es. CIFAR-100-LT, ImageNet-LT), i metodi standard spesso falliscono o degradano. QaTS dimostra una robustezza sostanziale, riducendo l'ECE dell'80–90% in alcuni casi rispetto a baseline come AdaTS e GC.
• Spostamenti Distribuzionali (Distributional Shifts): Sotto corruzioni sintetiche (CIFAR-100-C) a vari livelli di severità, QaTS supera significativamente i metodi che preservano l'accuratezza, ottenendo un ECE da 2 a 3 volte inferiore. In particolare, supera HFE, un metodo progettato specificamente per i drift distribuzionali che richiede l'accesso a campioni out-of-distribution (OOD) per ogni dominio target. QaTS ottiene questo risultato senza richiedere alcun dato del dominio target.
• Generalizzazione: Il metodo mostra prestazioni superiori nella classificazione di immagini mediche (HAM10000, MedMNIST2D), segmentazione semantica (Pascal VOC) e classificazione di testi (20 Newsgroups).
• Preservazione dell'Accuratezza: A differenza di FeatClip, che migliora la calibrazione a costo di una significativa degradazione dell'accuratezza (fino al 4–6%), QaTS preserva i ranking delle classi predette, mantenendo le prestazioni discriminative pur migliorando la calibrazione.
• Compatibilità: QaTS agisce come uno strato post-hoc complementare, riducendo ulteriormente l'ECE quando applicato sopra modelli addestrati con obiettivi di calibrazione-consapevoli (es. Brier loss, Focal Loss, Label Smoothing).

5. Significato e Rivendicazioni

Il paper sostiene che QaTS offra una base semplice, efficiente e robusta per la calibrazione post-hoc. La sua importanza risiede nel:

• Affrontare l'Eterogeneità: Passando dalle probabilità di confidenza grezze allo spazio dei quantili, QaTS mira esplicitamente alle regioni dove la miscalibrazione è più severa, superando il limite del "taglia unica" della scalatura della temperatura globale.
• Robustezza allo Shift: La formulazione basata sul rango garantisce stabilità sotto shift distribuzionali dove le magnitudo assolute di confidenza cambiano ma l'ordine relativo viene preservato.
• Praticità: Non richiede riaddestramento, accesso ai pesi del modello o ai gradienti, né reti ausiliarie, rendendolo scalabile a grandi modelli pre-addestrati e backbone congelati.
• Universalità: Il metodo dimostra un'efficacia costante attraverso diversi compiti, architetture e scenari del mondo reale impegnativi, posizionandosi come una strategia di calibrazione universale che migliora l'affidabilità senza compromettere l'accuratezza predittiva.