Sintesi Tecnica: Selezione delle Variabili Bayesiana nei Modelli Lineari Generalizzati

Definizione del Problema

La selezione delle covariate nei Modelli Lineari Generalizzati (GLM) è una sfida statistica critica. L'inclusione di predittori irrilevanti porta al overfitting e a una ridotta interpretabilità, mentre l'omissione di quelli rilevanti produce stime distorte. Sebbene gli approcci frequentisti (ad esempio, LASSO, Ridge) e i metodi bayesiani esistenti (ad esempio, Spike-and-Slab, prior di contrazione continua) affrontino questo problema, essi presentano limitazioni specifiche. Molti approcci bayesiani si basano su formulazioni non completamente coniugate, sono limitati ai modelli gaussiani lineari o mancano di garanzie teoriche riguardanti la consistenza del posteriore sia per gli indicatori di selezione delle variabili che per i parametri del modello nel contesto più ampio dei GLM.

Metodologia

Gli autori propongono un framework gerarchico e coniugato pienamente bayesiano per la selezione delle covariate, applicabile a qualsiasi distribuzione appartenente alla famiglia esponenziale. Il nucleo della metodologia prevede:

1. Indicatori di Inclusione Binaria: Lo standard GLM viene esteso introducendo un vettore casuale binario $z \in \{0, 1\}^p$, dove $z_j = 1$ indica l'inclusione della $j$-esima covariata e $z_j = 0$ indica l'esclusione. Il predittore lineare è modificato in $\eta_i = x_i^\top (\beta \circ z)$, dove $\circ$ denota il prodotto elemento per elemento.
2. Prior Coniugate:
   • Indicatori ($z$): Modellati tramite una distribuzione di Bernoulli con parametri $c$, dove $c$ segue una prior Beta.
   • Coefficienti di Regressione ($\beta$): Modellati condizionatamente a $z$ utilizzando prior coniugate derivate dal lavoro di Chen e Ibrahim (2003). La prior per $\beta$ è adattata per dipendere da $z$, dividendo efficacemente i coefficienti in insiemi attivi ($\beta^{(1)}$) e inattivi ($\beta^{(0)}$).
   • Parametro di Scala ($\tau$): Assegnata una prior coniugata coerente con il membro specifico della famiglia esponenziale.
3. Inferenza del Posteriore:
   • Il framework fornisce espressioni in forma chiusa per le distribuzioni a posteriori condizionali complete di tutti i parametri ($\beta, z, c, \tau$).
   • Viene derivato un algoritmo di Gibbs Sampling efficiente per campionare dalla distribuzione congiunta a posteriori.
   • Per i GLM in cui la prior coniugata di $\beta$ non corrisponde a una distribuzione standard (ad esempio, Poisson), gli autori impiegano un'approssimazione di Laplace all'interno di uno schema di Sampling-Importance-Resampling (SIR) per estrarre campioni dalla densità intrattabile.

Contributi Chiave

1. Prima Selezione delle Variabili Bayesiana Completamente Coniugata per i GLM: Il documento presenta il primo framework che ottiene la piena coniugazione per la selezione delle variabili attraverso l'intera famiglia esponenziale, non solo per i modelli gaussiani lineari.
2. Garanzie Teoriche: Gli autori stabiliscono la consistenza del posteriore sia per gli indicatori di inclusione ($z$) che per i coefficienti di regressione attivi ($\beta^{(1)}$). Dimostrano che, al tendere della dimensione campionaria $n \to \infty$, la probabilità a posteriori si concentra sul vero modello $z^*$ e i coefficienti attivi convergono ai veri valori dei parametri $\beta^*$ con normalità asintotica.
3. Efficienza Computazionale: Sfruttando la coniugazione e un Gibbs sampler su misura (aumentato con Laplace-SIR per i casi non gaussiani), il metodo evita la necessità di un'esplorazione esaustiva dei modelli (che è impraticabile in alte dimensioni) o di complessi schemi MCMC non coniugati.
4. Implementazione: È stato sviluppato un pacchetto R corrispondente per implementare l'algoritmo di Gibbs sampling proposto.

Risultati Empirici

Il metodo è stato validato su dataset sia sintetici che reali attraverso modelli di Poisson, Logistico e Lineare.

• Dati Sintetici: Gli esperimenti hanno incluso scenari con covariate informative, rumorose e correlate. Il metodo proposto (BayesVS-GLM) ha dimostrato:
  • Alta accuratezza nel recuperare il vero pattern di sparsità ($z^*$), spesso superando la Stima di Massima Verosimiglianza (MLE) e i classici GLM bayesiani (senza selezione).
  • Stima accurata dei coefficienti attivi, con un Errore Quadratico Medio Relativo (RelMSE) comparabile a un modello "Oracle" che conosce il vero vettore di inclusione.
  • Comportamento corretto per i coefficienti inattivi, dove la distribuzione a posteriori rimane diffusa e coerente con la prior, contraendo efficacemente i coefficienti irrilevanti verso lo zero senza indurre bias nell'insieme attivo.
• Dati del Mondo Reale:
  • Dataset Crabs (Poisson): Ha identificato con successo i predittori rilevanti (larghezza, condizione della spina) scartando al contempo le variabili di rumore (indici casuali), ottenendo un'accuratezza predittiva competitiva (MAE, RMSE).
  • Dataset Heart Disease (Logistico): Ha identificato variabili clinicamente rilevanti (tipo di dolore toracico, angina indotta dall'esercizio) coerenti con la letteratura medica, ottenendo un'accuratezza bilanciata e punteggi F1 comparabili o leggermente superiori ai baseline.
  • Dataset Pollution (Lineare): Ha esplorato un vasto spazio di modelli ($2^{15}-1$), identificando variabili coerenti (ad esempio, percentuale della popolazione non bianca) pur rivelando l'incertezza in altre, con una performance predittiva che si appoggia ai modelli di base.

Significato e Rivendicazioni

Il documento sostiene di unificare varie prospettive di selezione delle variabili bayesiane in un unico framework coerente applicabile alla famiglia esponenziale. Il suo significato primario risiede nel fornire garanzie teoriche di consistenza del posteriore per la selezione delle variabili nei GLM, una proprietà precedentemente stabilita principalmente per i modelli gaussiani lineari o per specifiche prior di contrazione.

Gli autori sottolineano che il loro approccio induce una naturale decomposizione del posteriore in componenti attive e non attive grazie alla struttura della prior coniugata, piuttosto che attraverso costruzioni esplicite che inducono la sparsità. Ciò consente al metodo di catturare informazioni dalle osservazioni solo per le covariate realmente attive, tornando alla prior per quelle inattive. Il lavoro è presentato come una procedura di selezione bayesiana post-modello valida che bilancia l'efficienza computazionale con rigorose fondamenta teoriche.