Bandwidth Selection in Kernel Density Estimation for Model Calibration

Sintesi Tecnica: Selezione della Larghezza di Banda nella Stima della Densità Kernel per la Calibrazione dei Modelli

Definizione del Problema
Man mano che i modelli di deep learning vengono implementati in applicazioni ad alto rischio, l'affidabilità delle loro stime di incertezza (calibrazione) diventa critica quanto l'accuratezza predittiva. La miscalibrazione si verifica quando i punteggi di confidenza di un modello non si allineano con la reale probabilità degli esiti. Valutare la calibrazione richiede la stima della vera probabilità condizionata $R = E[y | f(x)]$, che è sconosciuta e deve essere approssimata empiricamente.

I metodi tradizionali si affidano al binning (ad esempio, l'Errore di Calibrazione Attesa), che suddivide lo spazio delle predizioni in intervalli discreti. Sebbene semplice, il binning introduce discontinuità artificiali, soffre di alta varianza ed è sensibile allo schema di partizione. Inoltre, è asintoticamente inconsistente e affronta la maledizione della dimensionalità nei contesti multi-classe.

La Stima della Densità Kernel (KDE) è emersa come un'alternativa fluida e differenziabile al binning. Tuttavia, l'affidabilità degli stimatori basati su KDE dipende fortemente dalla scelta della larghezza di banda del kernel ($h$). Le tecniche di selezione standard, come la Stima della Massima Verosimiglianza (MLE), sono spesso subottimali per i compiti di calibrazione. La MLE tende a favorire larghezze di banda patologicamente piccole per massimizzare la densità locale, causando il overfitting del modello sul rumore di campionamento piuttosto che catturare il profilo di calibrazione sottostante. Ciò produce una "trappola varianza-bias" in cui l'estimatore degenera in un campionatore di etichette nearest-neighbor, producendo superfici di calibrazione rumorose e inaffidabili.

Metodologia: Allineamento del Rischio (RA)
Gli autori propongono il Risk Alignment (RA), un nuovo framework di ottimizzazione per la selezione della larghezza di banda ottimale negli estimatori di calibrazione basati su KDE. L'intuizione centrale deriva dalla decomposizione di Bregman delle regole di scoring propri (proper scoring rules), che decompone il rischio atteso di una funzione di perdita propria in due componenti:

1. Errore di Calibrazione (CE): La discrepanza tra le probabilità predette e le vere probabilità condizionate.
2. Raffinamento (REF): La capacità del modello di distinguere tra i campioni.

Gli autori dimostrano teoricamente che, sebbene i singoli estimatori per calibrazione e raffinamento siano contaminati dalla varianza dell'estimatore della probabilità condizionata ($\text{Var}(\hat{R})$), tali termini di varianza presentano una cancellazione strutturale quando sommati per formare il rischio totale. Nello specifico:

• Nel termine di calibrazione, la varianza agisce come un bias positivo spurio.
• Nel termine di raffinamento, la varianza si manifesta come un bias negativo.
• Quando combinati, i termini di varianza del secondo ordine si cancellano, lasciando il bias del rischio aggregato accoppiato principalmente al bias di stima di $R$, scalato da un peso dipendente dalla probabilità predetta.

Sulla base di ciò, l'obiettivo RA minimizza la discrepanza aggregata tra il rischio ricostruito tramite KDE e il rischio osservato empirico (etichette reali) attraverso l'intero dataset:
$$L_{RA}(h) = \sum_{i=1}^{n} |\hat{r}_{kde, i}(h) - r_i|^p$$
dove $\hat{r}_{kde, i}$ è il rischio ricostruito utilizzando l'estimatore KDE $\hat{R}_i$, e $r_i$ è il rischio osservato. Allineando il rischio ricostruito con la verità empirica, RA seleziona una larghezza di banda che sopprime il rumore stocastico locale (varianza) preservando al contempo la fluidità dell'estimatore, aggirando efficacemente il compromesso varianza-bias che affligge la MLE.

Contributi Chiave

1. Nuovo Framework: Introduzione dell'obiettivo di Allineamento del Rischio (RA), un framework di ottimizzazione principato per la selezione della larghezza di banda negli estimatori di calibrazione basati su KDE, formulato come un problema di allineamento della stima del rischio.
2. Analisi Teorica: Una dimostrazione teorica che l'obiettivo RA minimizza il bias di stima della calibrazione sfruttando la cancellazione dei termini di varianza nella decomposizione del rischio totale. Ciò stabilisce un criterio applicabile a varie metriche, inclusi gli errori di calibrazione canonici e per classe.
3. Validazione Empirica: Esperimenti estesi che mostrano come RA superi costantemente i metodi MLE e di binning nella selezione della larghezza di banda, portando a valutazioni di calibrazione più affidabili attraverso molteplici architetture e dataset.

Risultati
Gli autori hanno valutato il loro metodo sia su dati sintetici che su dati reali:

• Dati Sintetici: In scenari con probabilità condizionate note come verità di base (ground-truth), gli estimatori KDE che utilizzano RA hanno ottenuto le migliori prestazioni nella stima dell'errore di calibrazione per classe, superando significativamente i baseline MLE e di binning. RA ha prodotto grafici di affidabilità (reliability plots) che si allineano strettamente con la verità di base, mentre le larghezze di banda selezionate dalla MLE hanno prodotto picchi acuti indicativi di overfitting.
• Dati Reali: Gli esperimenti su CIFAR-10/100, ImageNet e Amazon Reviews utilizzando vari modelli (ResNet, VGG, ViT, Transformer) hanno confermato la superiorità di RA. Nei contesti per classe, RA ha costantemente prodotto l'Errore Assoluto Medio (MAE) più basso rispetto ai metodi MLE e di binning.
  • Nota sulla Dimensionalità Elevata: Il documento nota che in contesti estremamente ad alta dimensione (ad esempio, calibrazione canonica con 1.000 classi di ImageNet), i metodi KDE (inclusi quelli RA) degradano a causa della scarsità di dati sul simplesso di probabilità. In questi regimi specifici, gli autori hanno osservato che i metodi KDE diventano meno competitivi rispetto agli approcci di Kernel Ridge Regression (KRR), suggerendo che, sebbene RA ottimizzi la larghezza di banda, la scelta del kernel rimane critica in dimensioni elevate.

Significatività e Rivendicazioni
Il paper sostiene che RA fornisce un criterio di selezione della larghezza di banda ben fondato che affronta i limiti fondamentali degli attuali estimatori di calibrazione basati su KDE. Spostando il focus dell'ottimizzazione dal recupero della densità (MLE) all'allineamento del rischio, il metodo assicura che le valutazioni di calibrazione siano robuste al rumore di campionamento.

Gli autori affermano che RA produce valutazioni di calibrazione più affidabili rispetto ai metodi standard, particolarmente nei contesti per classe. Evidenziano come il loro approccio mantenga l'efficienza computazionale di KDE ($O(n^2)$) evitando al contempo la costosa validazione incrociata richiesta dagli approoli alternativi basati sul rischio MSE. Il lavoro suggerisce che RA facilita un recupero robusto del manifold della probabilità condizionata, offrendo una base stabile per valutare la calibrazione dei modelli in applicazioni ad alto rischio. Gli autori rimangono modesti riguardo alla calibrazione canonica ad alta dimensione, riconoscendo che la scarsità di dati rimane una sfida per gli approcci basati su KDE in tali regimi.