Bayesian Variable Selection with the Quasi-Posterior

1. Il Problema

La selezione delle variabili bayesiana è uno strumento potente per identificare i predittori rilevanti in un modello, sfruttando le credenze a priori per incorporare la sparsità e quantificare l'incertezza parametrica. Tuttavia, l'approccio bayesiano standard richiede la specifica di una funzione di verosimiglianza completa (full likelihood) per i dati.

Il problema centrale affrontato nel paper è la mala specificazione del modello (model misspecification). Quando la distribuzione assunta per i dati (es. Gaussiana, Poisson) non corrisponde alla vera distribuzione generatrice dei dati ($F_0$), i metodi bayesiani standard possono fallire:

• Riduzione della potenza statistica nel rilevare covariate attive (es. in presenza di code pesanti).
• Aumento dei falsi positivi (es. in presenza di "inliers").
• Selezione di modelli inutilmente complessi.

Le soluzioni esistenti per mitigare questo problema richiedono o modelli complessi (che riducono l'interpretabilità) o metodi che abbandonano la rigorosa quantificazione dell'incertezza bayesiana, spesso richiedendo la calibrazione di parametri di "learning rate" non banali.

2. Metodologia: Il Quasi-Posteriore

Gli autori propongono l'uso del quasi-posteriore (basato sulla quasi-verosimiglianza di McCullagh e Wedderburn) come strumento principiato per la selezione delle variabili.

Concetti Chiave:

• Quasi-Verosimiglianza: Invece di specificare l'intera distribuzione $F$, il metodo richiede solo la specifica della media $\mu(x^T\beta)$ e della varianza $\psi^* V(\mu(x^T\beta))$ della distribuzione condizionale. Questo rende il metodo robusto ad altre caratteristiche dei dati (come la forma della coda).
• Aggiornamento Bayesiano Generalizzato: Il quasi-posteriore combina una distribuzione a priori $\pi(\beta)$ con l'esponenziale della quasi-verosimiglianza logaritmica:
  $$\tilde{\pi}(\beta|y, X) \propto \pi(\beta) \exp\{n Q_n(y, X; \beta, \hat{\psi})\}$$
  dove $Q_n$ è la media della quasi-verosimiglianza e $\hat{\psi}$ è un stimatore consistente del parametro di dispersione.
• Selezione del Modello: Viene definita una distribuzione quasi-posteriore sul modello $\tilde{\pi}(\gamma|y, X)$, dove $\gamma$ è il vettore di indicatori di inclusione delle variabili. Questa si ottiene marginalizzando la quasi-verosimiglianza rispetto ai coefficienti $\beta_\gamma$ (usando un'approssimazione di Laplace per casi non lineari o forme chiuse per la regressione lineare).
• Fattore di Bayes Quasi: Viene introdotto un "quasi-Bayes factor" per confrontare i modelli, che mantiene le proprietà asintotiche desiderate senza richiedere la verosimiglianza completa.

Algoritmo di Inferenza:

• Utilizzo di un Gibbs sampler random-scan per esplorare lo spazio dei modelli.
• Implementazione di una strategia di caching per memorizzare i massimi a posteriori (MAP) e le Hessiane dei modelli visitati, riducendo drasticamente i costi computazionali.
• Selezione delle variabili basata sulla probabilità di inclusione marginale (qPPI), utilizzando soglie come il modello a probabilità mediana o il controllo del FDR (False Discovery Rate) bayesiano.

3. Contributi Chiave

1. Validità Teorica Asintotica: Il paper dimostra che, sotto specifiche condizioni di regolarità (corretta specifica di media e varianza), il quasi-posteriore sul modello converge alla stessa distribuzione asintotica del vero posteriore bayesiano quando il modello è correttamente specificato. Questo è il primo esempio di selezione bayesiana generalizzata con quantificazione dell'incertezza asintoticamente valida.
2. Robustezza alla Mala Specificazione: Il metodo non richiede la specifica della distribuzione completa, rendendolo intrinsecamente robusto a code pesanti, inliers e sovradispersione, situazioni in cui i metodi bayesiani standard falliscono.
3. Nessun Parametro di Calibrazione: A differenza di altri approcci bayesiani generalizzati (es. Safe Bayes), il quasi-posteriore non richiede la calibrazione manuale di un parametro di "learning rate"; il parametro di dispersione $\hat{\psi}$ funge da fattore di scala naturale e consistente.
4. Efficienza Computazionale: Dimostrazione che la quasi-verosimiglianza marginale ammette una forma chiusa per la regressione lineare e che l'approssimazione di Laplace è accurata e stabile per modelli più generali grazie alla concavità della quasi-verosimiglianza.

4. Risultati Sperimentali

Gli autori hanno condotto estese simulazioni e applicazioni su dati reali confrontando il metodo proposto (QP) con:

• Selezione bayesiana standard (es. Poisson, Negative Binomial, Regressione Lineare Gaussiana).
• Metodi penalizzati (Lasso).

Risultati nelle Simulazioni:

• Dati a conteggio sovradispersi: Il QP ha mostrato una potenza superiore (>90%) e un FDR molto basso (<5%) rispetto ai modelli Poisson e Negative Binomial, che hanno fallito nel controllare l'errore o hanno perso potenza.
• Regressione Lineare con errori a code pesanti (Student-t): Il QP ha mantenuto una potenza significativamente più alta rispetto al metodo bayesiano standard (mombf) che assume normalità, pur controllando il FDR.
• Presenza di Inliers: In scenari con dati "inliers" (che causano falsi positivi nei modelli Gaussiani), il QP ha dimezzato il FDR rispetto al metodo standard, assegnando probabilità di inclusione più basse alle variabili spurie.

Applicazioni su Dati Reali:

• Dataset NMES (1988): Analisi dei costi sanitari. Il QP ha identificato un sottoinsieme di variabili coerente con la letteratura, fornendo una migliore stima della relazione media-varianza rispetto ai modelli Poisson e Negative Binomial.
• Dataset DLD (Genomica): Predizione dell'espressione genica. Il QP ha mantenuto prestazioni superiori in termini di potenza e F1-score rispetto al metodo bayesiano standard su sottocampioni di dati, specialmente quando $n$ è piccolo rispetto a $p$.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo nella statistica bayesiana applicata:

• Praticità: Permette ai ricercatori di utilizzare l'infrastruttura bayesiana per la selezione delle variabili in contesti reali dove la distribuzione esatta dei dati è sconosciuta o complessa, senza dover ricorrere a modelli non parametrici eccessivamente complessi.
• Affidabilità: Fornisce garanzie teoriche sulla validità dell'inferenza anche quando il modello è parzialmente errato, un problema cronico nell'applicazione pratica dei metodi bayesiani.
• Accessibilità: L'implementazione in R (modelSelectionQP) rende il metodo immediatamente utilizzabile per statistici e data scientist che lavorano con dati reali (sociali, genomici, economici) caratterizzati da rumore non gaussiano.

In sintesi, il paper stabilisce il quasi-posteriore come un ponte robusto tra l'inferenza frequentista basata su momenti (media/varianza) e l'inferenza bayesiana completa, offrendo un metodo di selezione delle variabili che è sia teoricamente solido che praticamente superiore in scenari di mala specificazione.