Unstable Rankings in Bayesian Deep Learning Evaluation

Riassunto Tecnico: Instabilità delle Classifiche nella Valutazione del Bayesian Deep Learning

1. Il Problema: L'illusione della superiorità dei metodi

Il paper affronta una lacuna critica nella letteratura del Bayesian Deep Learning (BDL). Attualmente, la comunità accetta gerarchie di performance (ad esempio, l'idea che i Deep Ensembles siano sistematicamente superiori al Monte Carlo Dropout) basandosi su benchmark su larga scala. Tuttavia, queste valutazioni assumono implicitamente che le stime delle metriche (come il CRPS o la NLL) siano affidabili.

Gli autori dimostrano che questa assunzione fallisce in scenari di scarsità di dati (data scarcity). Quando il numero di campioni di addestramento ($n$) è piccolo:

• L'incertezza della metrica è elevata: La varianza delle stime metriche è tale che le differenze osservate tra i metodi possono essere puro rumore di campionamento.
• Instabilità delle classifiche: Una classifica che appare valida su un dataset può invertirsi completamente su un altro, o cambiare man mano che $n$ aumenta.
• Inaffidabilità dei point-estimate: Confrontare i valori medi delle metriche (point estimates) non è scientificamente rigoroso in regimi di piccoli campioni, poiché non tiene conto della varianza introdotta sia dal campionamento dei dati che dalla casualità dell'addestramento del modello.

2. Metodologia: Un approccio gerarchico bayesiano

Per superare i limiti dei confronti tradizionali, gli autori propongono un framework statistico avanzato basato su due pilastri:

A. Modello Gerarchico Bayesiano (BHM):
Invece di trattare la metrica come un valore fisso, il BHM la tratta come una variabile casuale. Il modello modella il valore della metrica $y_{m,i}$ per il metodo $m$ nella realizzazione $i$ come:
$$y_{m,i} \sim \mathcal{N}(\mu_m + \gamma_i, \sigma^2_m)$$
Dove:

• $\mu_m$ è il valore latente "vero" della metrica per il metodo $m$.
• $\sigma^2_m$ è la varianza specifica del metodo (fondamentale, poiché diversi metodi hanno diverse stabilità).
• $\gamma_i$ è un intercetta casuale che cattura la struttura accoppiata dovuta alla condivisione dello stesso sottocampione di dati in ogni realizzazione.

Questo approccio permette di calcolare la probabilità posteriore di superiorità $P(A \prec B)$, ovvero la probabilità che il metodo A sia effettivamente migliore del metodo B, superando il limite convenzionale del 95% per dichiarare una superiorità statistica.

B. Minimum Detectable Difference (MDD) predittiva:
Gli autori introducono la curva MDD per rispondere a una domanda pratica: "Data una dimensione $n$, quanto deve essere grande il gap di performance affinché un nuovo esperimento possa rilevarlo con una certa probabilità?". L'MDD tiene conto sia dell'incertezza sulla media della differenza sia della variabilità intrinseca dei metodi, fornendo uno strumento diagnostico per il design sperimentale.

3. Contributi Chiave

1. Framework di valutazione incertezza-consapevole: Un metodo rigoroso per distinguere tra segnale (differenza reale tra metodi) e rumore (varianza della metrica).
2. Diagnostica della dimensione del campione: La curva MDD permette ai ricercatori di determinare se il loro dataset è sufficientemente grande per trarre conclusioni valide.
3. Dimostrazione dell'instabilità cross-dataset: Prova empirica che le gerarchie dei metodi BDL non sono universali ma dipendono fortemente dal dataset e dalla dimensione del campione.

4. Risultati Principali

Attraverso test su sei metodi (tra cui MCD, Deep Ensembles, SWAG, BBB e Conformal Prediction) e cinque dataset, emergono tre risultati cruciali:

• Varianza delle metriche: La varianza delle metriche diminuisce con $n$, ma a ritmi molto diversi tra i metodi. Ad esempio, il metodo MAP mostra una convergenza molto più lenta rispetto al MCD.
• Inversione delle classifiche: Sul dataset sintetico, la probabilità che MCD superi gli Ensemble passa da 0.01 (n=30) a 1.00 (n=50). Su dataset reali come Energy, la classifica si inverte nuovamente quando $n$ aumenta, dimostrando che le conclusioni basate su piccoli campioni sono spesso errate.
• Inconcludenza su dataset reali: Su dataset come Concrete, anche con $n=200$, il confronto tra i metodi rimane statisticamente inconcludente ($P \approx 0.45$), evidenziando che la dimensione del campione necessaria per la certezza è molto più alta di quanto ipotizzato comunemente.
• Superiorità di CRPS su NLL: Il CRPS si dimostra una metrica molto più stabile e affidabile rispetto alla Negative Log-Likelihood (NLL) in regimi di piccoli campioni.

5. Significato e Implicazioni

Il lavoro ha un impatto profondo sulla pratica della ricerca nel machine learning. Avverte i ricercatori che le "leaderboard" basate su medie non sono sufficienti in contesti di dati limitati (come la scoperta di farmaci o la diagnostica medica).

Il paper stabilisce che per rendere scientificamente valida una comparazione tra modelli di incertezza, è necessario:

1. Utilizzare metriche stabili (come il CRPS).
2. Rapportare la probabilità posteriore di superiorità invece di semplici medie.
3. Utilizzare l'MDD per validare se la dimensione del campione è adeguata a supportare le conclusioni tratte.