Variational Inference for Sparse Poisson Regression

Sintesi Tecnica: Inferenza Variazionale per la Regressione di Poisson Sparsa

Definizione del Problema
Il documento affronta la sfida di eseguire l'inferenza bayesiana per modelli di regressione di Poisson sparsi. Sebbene i metodi Markov Chain Monte Carlo (MCMC) siano lo standard per stimare le distribuzioni a posteriori in tali modelli, essi comportano elevati costi computazionali, in particolare in contesti ad alta dimensionalità. Gli autori mirano a sviluppare un'alternativa computazionalmente efficiente che mantenga l'accuratezza della stima bayesiana e la selezione delle variabili senza il tempo di esecuzione proibitivo del campionamento MCMC.

Metodologia
Gli autori propongono un framework di Inferenza Variazionale (VB) non coniugata per la regressione di Poisson sparsa. L'innovazione metodologica centrale consiste nel gestire la non-coniugatezza tra la verosimiglianza di Poisson e i priori Gaussiani tipicamente utilizzati per i coefficienti di regressione.

1. Approssimazione Quadratica: Per ripristinare la coniugatezza, gli autori adattano il metodo di approssimazione proposto da Jaakkola e Jordan (2000). La funzione di verosimiglianza di Poisson viene approssimata mediante una funzione quadratica. Questa trasformazione permette alla componente di verosimiglianza di diventare coniugata con il prior Gaussiano sui coefficienti di regressione, facilitando la derivazione di aggiornamenti in forma chiusa per i parametri variazionali.
2. Priori per la Sparsità: Tre distinti priori vengono implementati per imporre la sparsità nei coefficienti di regressione ($\beta$):
   • Prior di Laplace: Implementato tramite una rappresentazione gerarchica dove $\beta_j$ segue una distribuzione Normale con una varianza $\tau_j$ che segue una distribuzione Esponenziale.
   • Continuous Spike and Slab (CS) Prior: Una miscela di due distribuzioni Gaussiane (uno "spike" con piccola varianza e uno "slab" con varianza maggiore) controllata da variabili binarie latenti.
   • Prior di Bernoulli: Un prodotto di una matrice diagonale di variabili di Bernoulli e del vettore dei coefficienti, agendo efficacemente come meccanismo di selezione delle variabili (correlato alla regolarizzazione $\ell_0$).
3. Inferenza Variazionale: Gli autori impiegano l'inferenza variazionale mean-field, assumendo l'indipendenza tra le partizioni dei parametri. Derivano le densità a posteriori ottimali per tutti i parametri del modello e gli iperparametri, incluso il limite inferiore dell'evidenza (ELBO) per il monitoraggio della convergenza.
4. Estrazione della Sparsità: Poiché le medie a posteriori variazionali non sono intrinsecamente sparse, gli autori propongono fasi di post-elaborazione:
   • Per il metodo Bernoulli-VB, i coefficienti vengono impostati a zero se la probabilità di inclusione a posteriori è inferiore a 0,5.
   • Per i metodi Laplace-VB e CS-VB, viene applicata una strategia di hard-thresholding, in cui i coefficienti vengono azzerati se il loro valore assoluto scende al di sotto di una soglia $\hat{\kappa}$, selezionata tramite il Criterio di Informazione di Akaike (AIC).
5. Predizione: Una funzione di massa predittiva a posteriori viene derivata utilizzando l'integrazione numerica (quadratura gaussiana) sulla distribuzione log-normale del predittore lineare, evitando la necessità di intervalli di predizione basati sul campionamento.

Contributi Chiave

• Sviluppo Algoritmico: La derivazione di algoritmi VB specifici (Laplace-VB, CS-VB e Bernoulli-VB) per la regressione di Poisson sparsa, inclusi i termini di aggiornamento espliciti per tutti i parametri e l'ELBO.
• Validazione dell'Approssimazione: Uno studio di simulazione dimostra che l'approssimazione quadratica del log-verosimiglianza di Poisson introduce un errore minimo per intervalli pratici del parametro di tasso $\lambda$.
• Benchmarking delle Prestazioni: Un confronto esaustivo dei metodi VB proposti rispetto a:
  • Benchmark MCMC corrispondenti (utilizzando OpenBUGS e JAGS).
  • Metodi sparsi frequentisti (regressione di Poisson penalizzata con LASSO e SCAD).
• Applicazione nel Mondo Reale: Valutazione delle prestazioni predittive su sei dataset di riferimento con risposta di conteggio (inclusi "affairs", "bike sharing" e dati degli ospedali dell'Arizona), riconoscendo che questi dataset presentano sovradispersione ma testando la robustezza del framework di Poisson.

Risultati

• Efficienza Computazionale: I metodi VB proposti raggiungono tempi di calcolo significativamente più rapidi rispetto ai benchmark MCMC. In scenari a bassa dimensionalità, i metodi VB sono ordini di grandezza più veloci (tempi relativi nell'ordine di $10^{-3}$ rispetto a CS-MCMC). In scenari ad alta dimensionalità, i metodi VB rimangono sotto i 10 secondi, mentre l'MCMC risulta computazionalmente proibitivo.
• Accuratezza della Stima: I metodi VB approssimano da vicino le distribuzioni a posteriori dei parametri trovate da MCMC. In termini di Errore Relativo del Coefficiente (CRE), i metodi VB (particolarmente Bernoulli-VB e Laplace-VB) sono competitivi con MCMC e spesso superano o eguagliano LASSO e SCAD.
• Prestazioni Predittive: I metodi VB ottengono errori relativi sui set di test comparabili ai metodi frequentisti (LASso e SCAD) e ai corrispettivi MCMC sia nei dataset simulati che in quelli reali.
• Prestazioni di Sparsità: I metodi controllano efficacemente i Tassi di Falsi Positivi (FPR) e ottengono bassi Tassi di Falsi Negativi (FNR), con Bernoulli-VB che mostra capacità di rilevamento particolarmente forti.
• Copertura: Gli intervalli di Densità Massima a Posteriori (HPD) generati dai metodi VB replicano fedelmente le probabilità di copertura dei benchmark MCMC, validando la loro utilità per la quantificazione dell'incertezza.

Significatività e Rivendicazioni
Il documento sostiene che i metodi VB proposti offrono un'alternativa veloce, scalabile e accurata all'MCMC per la regressione di Poisson sparsa bayesiana. Gli autori sottolineano che il loro approccio consente la stima simultanea e la selezione delle variabili fornendo al contempo intere distribuzioni a posteriori e intervalli predittivi, che sono spesso difficili da ottenere efficientemente con i metodi frequentisti.

Gli autori dichiarano esplicitamente che i loro metodi sono "notevolmente più veloci" rispetto a MCMC pur mantenendo una "stretta approssimazione" alla distribuzione a posteriori. Notano che l'approccio bayesiano offre vantaggi distinti rispetto ai metodi penalizzati frequentisti fornendo l'accesso diretto alle misure di incertezza (intervalli HPD) e alla distribuzione predittiva a posteriori completa.

Limitazioni e Direzioni Future
Il documento riconosce modestamente alcune limitazioni specifiche:

• Assunzione Distributiva: I modelli assumono una distribuzione di Poisson per la risposta. Le prestazioni potrebbero degradare se i dati presentano una significativa sovradispersione o sottodispersione, condizioni in cui un modello Binomiale Negativo sarebbe più appropriato.
• Qualità dell'Approssimazione: Il ricorso all'approssimazione quadratica (Jaakkola e Jordan, 2000) comporta un'approssimazione Gaussiana per la distribuzione a posteriori variazionale di $\beta$, che potrebbe non catturare perfettamente forme a posteriori complesse.
• Lavoro Futuro: Gli autori identificano lo sviluppo di modelli VB per la regressione Binomiale Negativa sparsa come una direzione necessaria per affrontare il limite della sovradispersione.