Mean-field Variational Bayes for Sparse Probit Regression

Riepilogo Tecnico: Bayes Variazionale a Campo Medio per la Regressione Probit Sparsa

Enunciato del Problema
Il lavoro affronta la selezione bayesiana delle variabili per esiti binari utilizzando una funzione di collegamento probit, specificamente in regimi ad alta dimensionalità in cui il numero di predittori $p$ è grande, potenzialmente superiore alla dimensione del campione $n$ ($p \gg n$). Sebbene i metodi Monte Carlo a catena di Markov (MCMC) siano lo standard per l'inferenza posteriore in tali modelli sparsi (utilizzando prior spike-and-slab), spesso incontrano gravi colli di bottiglia computazionali, tra cui una convergenza lenta e tempi di esecuzione proibitivi all'aumentare della dimensionalità. Gli autori cercano un'alternativa computazionalmente efficiente che mantenga l'interpretabilità della selezione bayesiana delle variabili—specificamente la capacità di calcolare le probabilità di inclusione posteriore (PIP) e le stime dei parametri—senza fare affidamento sul campionamento.

Metodologia
Gli autori propongono un'approssimazione Bayesiana Variazionale a Campo Medio (MFVB) per la regressione probit sparsa. Il modello assume risposte binarie $y_i$ generate da variabili latenti gaussiane $z_i$ tramite un collegamento probit, con coefficienti di regressione $\beta$ governati da una prior spike-and-slab implementata attraverso maschere binarie $\gamma$.

Le caratteristiche metodologiche chiave includono:

1. Fattorizzazione a Campo Medio: La posteriore congiunta $p(\beta, z, \gamma | y)$ è approssimata da una distribuzione fattorizzata $q(\beta)q(z)\prod q(\gamma_j)$. Crucialmente, la fattorizzazione è imposta sui blocchi $(\beta, z, \gamma)$ e all'interno del blocco $\gamma$, ma non all'interno di $\beta$.
2. Gaussiana a Covarianza Completa per $\beta$: A differenza degli approcci a campo medio standard che assumono piena indipendenza tra tutti i parametri, il fattore variazionale $q(\beta)$ è una gaussiana multivariata con una matrice di covarianza completa. Ciò permette al metodo di catturare le dipendenze tra i coefficienti di regressione, mitigando la sottostima dell'incertezza bayesiana spesso associata ad approssimazioni completamente fattorizzate, in particolare in presenza di collinearità.
3. Aggiornamenti in Forma Chiusa: I fattori variazionali ottimali sono derivati utilizzando l'inferenza variazionale a coordinate ascendenti (CAVI). Gli autori dimostrano che tutti gli aggiornamenti ammettono espressioni in forma chiusa:
   • $q(\beta)$ è una gaussiana multivariata con parametri aggiornati tramite una matrice di precisione che coinvolge il prodotto di Hadamard della matrice di Gram della matrice di design e il secondo momento degli indicatori di inclusione.
   • $q(z)$ consiste di distribuzioni gaussiane troncate indipendenti.
   • $q(\gamma_j)$ segue una distribuzione di Bernoulli, dove la probabilità di inclusione è aggiornata in base alla verosimiglianza logaritmica attesa e alle attuali stime di $\beta$ e $z$.
4. Scalabilità Computazionale: Per $p$ molto grandi, gli autori propongono approssimazioni efficienti. Quando le probabilità di inclusione sono vicine a zero, gli aggiornamenti possono essere limitati a un insieme attivo di predittori. Inoltre, l'identità di Woodbury è utilizzata per ridurre la complessità computazionale da $O(p^3)$ a $O(n^3)$ o inferiore quando $p > n$.

Contributi Chiave

• Sviluppo Algoritmico: Il lavoro sviluppa un algoritmo CAVI per la regressione probit sparsa che fornisce aggiornamenti in forma chiusa per tutti i parametri variazionali, inclusa la prova del limite inferiore (ELBO).
• Fattorizzazione Ibrida: L'approccio combina in modo unico un trattamento completamente fattorizzato degli indicatori di inclusione (sparsità) con un trattamento a covarianza completa dei coefficienti di regressione. Questo bilancia la trattabilità computazionale con la capacità di modellare le dipendenze tra i coefficienti.
• Efficienza: Il metodo è progettato per essere ordini di grandezza più veloce dell'MCMC, producendo output interpretabili (PIP e stime dei parametri) all'interno di un unico quadro coerente.

Risultati
Le prestazioni del metodo MFVB proposto sono state valutate confrontandole con un campionatore di Gibbs (MCMC) utilizzando sia dataset simulati che reali.

• Studi di Simulazione:
  • Velocità: In scenari con $p=200, n=1000$, MFVB è stato circa 50 volte più veloce dell'MCMC. Nel caso ad alta dimensionalità ($p=1000, n=500$), MFVB è stato oltre 2.000 volte più veloce (27 secondi contro ~60.000 secondi).
  • Accuratezza: Nel setting $p \ll n$, MFVB e MCMC hanno prodotto risultati quasi identici riguardo alla selezione delle variabili e alla devianza fuori campione.
  • Comportamento ad Alta Dimensionalità: Nel setting $p \gg n$, MFVB tendeva a produrre modelli più parsimoniosi (meno variabili selezionate) rispetto all'MCMC. Mentre l'MCMC era più conservativo (assegnando probabilità non nulle a più variabili), le PIP di MFVB tendevano a degenerare verso 0 o 1, portando a decisioni di selezione delle variabili più chiare. Gli autori notano che ciò riflette una limitazione nota delle approssimazioni a campo medio (sottostima dell'incertezza), ma la trovano vantaggiosa per la previsione e la stima puntuale in alta dimensionalità.
• Applicazioni a Dati Reali:
  • Riabilitazione della Voce LSVT ($n=126, p=309$): MFVB ha identificato un insieme parsimonioso di 8 variabili (incluso l'intercetta) con una devianza fuori campione comparabile (18,89 contro 19,29 per MCMC) e una maggiore accuratezza di classificazione (86,5% contro 82,5%). Il tempo di esecuzione è stato di 0,16 secondi per MFVB contro 544 secondi per MCMC.
  • Malattia di Alzheimer ($n=333, p=9036$): In questo setting con $p$ grande in cui l'MCMC è non fattibile, MFVB ha identificato con successo cinque predittori biologicamente rilevanti (Tau, Ab 42, VEGF, GRO alpha, Polipeptide pancreatico) coerenti con la letteratura esistente. Il metodo è stato eseguito in 27 secondi.

Significato e Affermazioni
Il lavoro afferma che l'approccio MFVB proposto offre una soluzione pratica per la selezione bayesiana delle variabili nella regressione binaria ad alta dimensionalità dove l'MCMC è computazionalmente proibitivo. Gli autori sottolineano che il metodo consente selezione e previsione interpretabili all'interno di un unico quadro.

Il significato risiede nel compromesso raggiunto: il metodo sacrifica parte della fedeltà nella quantificazione dell'incertezza intrinseca all'MCMC (in particolare, le PIP possono essere eccessivamente confidenti a causa dell'assunzione di indipendenza a campo medio su $\gamma$) in cambio di enormi guadagni computazionali. Gli autori affermano che, per gli obiettivi di previsione e stima puntuale di un modello sparso selezionato, il metodo mantiene un'accuratezza comparabile all'MCMC essendo al contempo ordini di grandezza più veloce. Avvertono che, sebbene le PIP siano utili per la classificazione e la selezione, non dovrebbero essere interpretate come probabilità posteriori completamente calibrate in contesti con segnali deboli o alta correlazione. L'approccio è presentato come un'alternativa scalabile che rende la selezione bayesiana delle variabili fattibile per problemi con migliaia di predittori.