Multiclass Calibration Assessment and Recalibration of Probability Predictions via the Linear Log Odds Calibration Function

1. Il Problema

Nelle moderne attività di classificazione (come la classificazione di immagini, diagnosi mediche o analisi ecologiche), i modelli di machine learning generano previsioni probabilistiche per più categorie. L'affidabilità di queste previsioni dipende dalla calibrazione: un modello è ben calibrato quando le probabilità previste corrispondono alle frequenze osservate degli eventi.

Tuttavia, i modelli spesso producono previsioni non calibrate, specialmente quando applicati a dati esterni al set di addestramento. La letteratura esistente presenta tre limitazioni principali per la valutazione e la ricalibrazione in contesti multiclasse:

1. Confronto vs. Valutazione Assoluta: Molti metodi confrontano la calibrazione tra modelli diversi invece di valutare direttamente la calibrazione di un singolo modello.
2. Accesso al Modello ("Under-the-hood"): Tecniche popolari come la Temperature Scaling e la Vector Scaling richiedono l'accesso ai logit (i punteggi prima della funzione softmax) all'interno degli strati della rete neurale. Questo le rende inapplicabili a modelli come le Random Forest, che non producono logit naturali, o a modelli "black-box".
3. Mancanza di Test Statistici e Interpretazione: Non esistono tecniche di ricalibrazione che includano un test di ipotesi formale per determinare se un modello è calibrato. Metodi come l'Errore di Calibrazione Atteso (ECE) o i diagrammi di affidabilità sono utili per il confronto, ma non forniscono un livello di significatività statistica per decidere se un singolo modello necessita di ricalibrazione. Inoltre, metriche basate su binning (come l'ECE) dipendono dalla scelta arbitraria del numero di bin.

2. Metodologia: MCLLO (Multicategory Linear Log Odds)

Gli autori propongono il metodo MCLLO, che opera direttamente sulle scale di probabilità (non sui logit) e include un framework di test statistico.

• Modello Matematico: Il metodo trasforma le probabilità originali $x_{ij}$ in probabilità ricalibrate $g_{ij}$ tramite una funzione lineare sulla scala dei log-odds. Per ogni categoria $j$ (rispetto a una categoria di riferimento $c$), la relazione è definita come:
  $$\log\left(\frac{g_{ij}}{g_{ic}}\right) = \log(\delta_j) + \gamma_j \log\left(\frac{x_{ij}}{x_{ic}}\right)$$
  Dove $\delta$ e $\gamma$ sono vettori di parametri di spostamento e scala da stimare.
• Stima dei Parametri: I parametri $\hat{\delta}$ e $\hat{\gamma}$ sono stimati massimizzando una funzione di verosimiglianza multinomiale che associa le previsioni probabilistiche ai dati osservati. L'algoritmo BFGS viene utilizzato per l'ottimizzazione.
• Test di Ipotesi (LRT): Il cuore innovativo del metodo è il Test del Rapporto di Verosimiglianza (Likelihood Ratio Test - LRT):
  • $H_0$: $\delta = \gamma = 1$ (Le previsioni sono ben calibrate).
  • $H_1$: Almeno uno dei parametri è diverso da 1.
  • La statistica del test segue asintoticamente una distribuzione $\chi^2$ con $2(c-1)$ gradi di libertà. Questo permette di calcolare un p-value per determinare se la ricalibrazione è necessaria.
• Proprietà Teoriche: Gli autori dimostrano la convessità della funzione di verosimiglianza negativa e la consistenza asintotica degli stimatori di massima verosimiglianza (MLE). Inoltre, il metodo include la mappa identità: se i dati sono già calibrati, il metodo non li altera ($\delta=\gamma=1$).

3. Risultati Chiave

Lo studio è stato validato attraverso simulazioni Monte Carlo e tre studi di caso reali:

• Simulazioni:

  • Il test LRT mostra un aumento della potenza statistica all'aumentare della dimensione del campione e dell'entità dello scostamento dalla calibrazione.
  • La ricalibrazione MCLLO riduce significativamente l'Errore di Calibrazione Atteso (ECE) rispetto alle previsioni originali, indipendentemente dalla dimensione del campione.

• Caso di Studio 1: Classificazione di Immagini (CIFAR-10):

  • Utilizzando una rete neurale (VGGNet), le previsioni originali non erano calibrate (p-value < 0.001).
  • Dopo la ricalibrazione MCLLO, le previsioni sono diventate ben calibrate (p-value = 0.133) con un ECE ridotto da 0.035 a 0.021.
  • Il metodo ha superato o eguagliato tecniche complesse come la Vector Scaling e la Temperature Scaling, ma con il vantaggio di non richiedere accesso ai logit.

• Caso di Studio 2: Analisi dell'Obesità (Random Forest):

  • Questo caso è cruciale perché le Random Forest non forniscono logit, rendendo impossibili la Temperature e la Vector Scaling.
  • Le previsioni originali non erano calibrate (p-value = 0.014, ECE = 0.127).
  • MCLLO ha prodotto previsioni ben calibrate (p-value = 0.167) e ha ottenuto l'ECE più basso (0.073) tra tutti i metodi confrontati, dimostrando la sua versatilità su modelli non basati su reti neurali.

• Caso di Studio 3: Ecologia:

  • Confermato l'efficacia del metodo anche su modelli di regressione in contesti ecologici (dettagliati nel materiale supplementare).

4. Contributi Principali

1. Valutazione Statistica Formale: Introduce il primo metodo completo che combina un test di ipotesi (LRT) per la calibrazione con una strategia di ricalibrazione. Permette di dire con un livello di significatività se un modello è calibrato.
2. Indipendenza dall'Architettura del Modello: Poiché opera direttamente sulle probabilità di output, non richiede accesso ai logit interni ("under-the-hood"). È applicabile a qualsiasi classificatore (CNN, Random Forest, ecc.).
3. Indipendenza dal Binning: A differenza dell'ECE, il metodo MCLLO non richiede la definizione di un numero di bin, eliminando una fonte di soggettività e variabilità nei risultati.
4. Interpretabilità: Fornisce parametri ($\delta, \gamma$) che descrivono come le probabilità devono essere spostate o scalate, offrendo insight agli analisti umani.

5. Significato e Implicazioni

Il lavoro di Vennos et al. colma un vuoto critico nella pratica del machine learning. Fornisce agli analisti uno strumento rigoroso per:

• Decidere se ricalibrare: Non basandosi su metriche arbitrarie, ma su test statistici.
• Applicare la ricalibrazione universalmente: Rendendo possibile la calibrazione di modelli complessi (come le Random Forest) che prima erano esclusi dalle tecniche di scaling più comuni.
• Migliorare la fiducia decisionale: Garantendo che le probabilità riportate (es. "40% di rischio") corrispondano realmente alla frequenza osservata, fondamentale per applicazioni ad alto rischio come la medicina e la difesa.

In sintesi, MCLLO rappresenta un avanzamento significativo verso previsioni probabilistiche multiclasse più robuste, interpretabili e statisticamente valide, superando i limiti delle tecniche di calibrazione esistenti.