Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

Sintesi Tecnica: L'inferenza variazionale a campo medio gaussiano può sovrastimare la varianza predittiva

Definizione del Problema
L'inferenza variazionale a campo medio (MFVI) è ampiamente caratterizzata nella letteratura come un'approssimazione che sottostima la varianza posteriore, portando a predizioni eccessivamente sicure. Questa caratterizzazione deriva dall'osservazione che la MFVI, fattorizzando la posteriore attraverso i parametri, agisce come un'approssimazione di tipo "mode-fitting" nello spazio dei parametri, evitando le regioni a bassa probabilità e riducendo così la varianza della distribuzione dei parametri. Tuttavia, questo articolo sostiene che tale caratterizzazione sia incompleta quando l'obiettivo si sposta dall'inferenza dei parametri alla predizione. Nello specifico, gli autori dimostrano che, sebbene la MFVI possa sottostimare la varianza nello spazio dei parametri, può paradossalmente sovrastimare la varianza predittiva per i punti di test estratti dalla distribuzione di addestramento (dati In-Distribution o ID). Questa sovrastima è particolarmente pronunciata nelle direzioni in cui i dati di addestramento si concentrano.

Metodologia
Gli autori conducono un'analisi teorica rigorosa utilizzando la Regressione Lineare Bayesiana Coniugata (BLR) come setting trattabile per derivare risultati esatti.

• Setup: Assumono un modello lineare $y = \theta^\top x + \epsilon$ con rumore gaussiano, un prior gaussiano $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$, e un dataset di addestramento $D$.
• Esatto vs. Approssimato: Confrontano la posteriore esatta $p(\theta|D)$, che è una Gaussiana Multivariata con covarianza $\Sigma$, rispetto alla posteriore MFVI $q(\theta) = \mathcal{N}(m, S)$, dove $S$ è vincolata ad essere diagonale.
• Derivazione Teorica:
  • Derivano che la media ottimale MFVI $m^*$ è uguale alla media della posteriore esatta $\mu$.
  • Mostrano che gli autovalori della covarianza ottimale MFVI $d_p^*$ sono le medie armoniche pesate degli autovalori della posteriore esatta $\delta_q$, pesate dalle proiezioni al quadrato degli autovettori della posteriore esatta sui vettori della base canonica.
  • Utilizzando queste proprietà, analizzano la varianza predittiva $x^\top S^* x$ rispetto a $x^\top \Sigma x$ per diverse distribuzioni di punti di test.
• Temperature Scaling: Per affrontare la discrepanza, gli autori esplorano l'Effetto della Posteriore Fredda (CPE). Definiscono una posteriore "Cold MFVI" minimizzando la divergenza KL rispetto a una posteriore temperata (fredda) $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ con $T < 1$. Nel caso gaussiano coniugato, ciò scala semplicemente la covarianza MFVI per $T$ ($S^*_T = T S^*$).

Contributi Chiave

1. Dimostrazione Teorica della Sovrastima: L'articolo dimostra che per la BLR con prior sferici, la MFVI sovrastima la varianza predittiva lungo la prima componente principale dei dati di addestramento. Fondamentalmente, per i punti di test distribuiti secondo la distribuzione empirica di addestramento, la varianza predittiva attesa della MFVI eccede quella della posteriore esatta (Teorema 3.7).
2. Vincolo di Calibrazione: Gli autori stabiliscono una proprietà di "calibrazione" (Lemma 3.6): il rapporto tra la varianza MFVI e la varianza esatta, mediato sugli autovettori della vera posteriore, è uguale a 1. Ciò implica che se la MFVI sottostima la varianza in alcune direzioni (tipicamente quelle ortogonali ai dati), deve sovrastimarla in altre (tipicamente le direzioni di alta varianza dei dati) per compensare.
3. Limite Patologico ad Alta Dimensionalità: In un setup patologico in cui i dati giacciono su un sottospazio di rango 1, gli autori mostrano che quando la dimensione $P \to \infty$, la posteriore MFVI non riesce affatto a ridurre la varianza predittiva rispetto al prior. L'informazione dalla singola direzione dei dati viene diluita attraverso le $P$ componenti allineate agli assi, causando il collasso della predizione MFVI verso la predizione del prior.
4. Reinterpretazione dell'Effetto della Posteriore Fredda (CPE): Il lavoro fornisce una nuova spiegazione per l'Effetto della Posteriore Fredda (CPE) in assenza di mismatch del modello o data augmentation. Sostengono che abbassare la temperatura ($T < 1$) corregge la sovrastima della varianza predittiva sui dati ID, avvicinando le predizioni MFVI alla posteriore esatta. Viceversa, per i dati Out-of-Distribution (OOD), potrebbero essere necessarie posteriore "calde" ($T > 1$) per correggere la sottostima.

Risultati

• Esperimenti Sintetici: In contesti a bassa dimensionalità ($P=2$), la MFVI a $T=1$ approssima bene la posteriore esatta. Tuttavia, in contesti ad alta dimensionalità ($P=1024$) con dati a rango debole, la MFVI a $T=1$ diventa indistinguibile dal prior, fallendo nel catturare l'informazione contenuta nei dati.
• Tuning della Temperatura: Gli esperimenti su compiti di regressione sintetica e su dataset reali UCI (utilizzando la Regressione con Funzioni di Base) confermano che:
  • Per i dati di test ID, la temperatura ottimale $T^*$ è costantemente inferiore a 1, minimizzando varie divergenze statistiche (KL, Wasserstein, ecc.) tra le distribuzioni predittive MFVI ed esatte.
  • Per i dati di test OOD (ortogonali alle direzioni di addestramento), la temperatura ottimale è spesso superiore a 1.
• Regressione con Funzioni di Base: L'applicazione di queste intuizioni alla regressione non lineare tramite funzioni di base radiali (RBF) mostra che la patologia della sovrastima scala con il numero di funzioni di base (dimensionalità), rispecchiando i risultati della regressione lineare.

Significato e Rivendicazioni
L'articolo sostiene di fornire una comprensione meccanicistica del perché la MFVI possa essere sotto-confidente (sovrastimare la varianza) sui dati in-distribuzione, sfidando il dogma standard secondo cui la MFVI è sempre eccessivamente sicura.

• Completezza della Caratterizzazione: Gli autori affermano che la narrazione "la MFVI sottostima l'incertezza" è incompleta; la direzione dell'errore dipende dalla distribuzione di test rispetto ai dati di addestramento.
• Giustificazione del CPE: Il lavoro offre una nuova giustificazione per l'Effetto della Posteriore Fredda (CPE), distinta dalle spiegazioni che coinvolgono likelihood o prior errati. Suggerisce che il tempering è una correzione necessaria per gli errori di approssimazione specifici introdotti dall'assunzione di campo medio in contesti di dati ad alta dimensionalità e correlati.
• Implicazione Pratica: Le scoperte suggeriscono che per compiti in cui i dati di test somigliano ai dati di addestramento, applicare una posteriore fredda (abbassando la temperatura) alla MFVI può migliorare significamente la calibrazione predittiva e le prestazioni, allineando la posteriore approssimata più strettamente alla soluzione bayesiana esatta.

Gli autori mantengono un approccio modesto, notando che i loro risultati teorici sono derivati per modelli lineari coniugati, ma dimostrano empiricamente che queste intuizioni si estendono alla regressione con funzioni di base non lineari e a dataset reali. Non pretendono di risolvere tutti i limiti della VI, ma di correggere un modo di fallimento specifico e controintuitivo della MFVI nelle impostazioni predittive.