Reversible Jump MCMC With No Regrets: Bayesian Variable Selection Using Mixtures of Mutually Singular Distributions

1. Enunciazione del Problema

La selezione delle variabili bayesiana consiste nell'inferire quale sottoinsieme di predittori (o effetti) debba essere incluso in un modello statistico. Ciò crea una sfida perché la dimensionalità dello spazio dei parametri cambia in base alla configurazione del modello (ovvero, il numero di predittori inclusi varia).

• La Sfida Principale: Gli algoritmi standard di Markov Chain Monte Carlo (MCMC) presuppongono uno spazio dei parametri a dimensionalità fissa. Quando la dimensionalità cambia, gli algoritmi Metropolis-Hastings (MH) standard non possono essere applicati direttamente perché le densità di probabilità degli stati correnti e proposti risiedono su spazi di dimensioni diverse.
• Soluzioni Attuali e Limiti:
  • Reversible Jump MCMC (RJMCMC): La soluzione standard (Green, 1995) amplia lo spazio degli stati con variabili ausiliarie e utilizza trasformazioni deterministiche per far corrispondere le dimensioni. Sebbene teoricamente solida, è notoriamente difficile da progettare, implementare e correggere correttamente.
  • Priori Continui Spike-and-Slab: Questi mantengono la dimensionalità fissa permettendo ai coefficienti di essere non nulli ma molto piccoli (shrinkage). Tuttavia, spesso mancano di coerenza nella selezione del modello (garantendo che il modello vero venga recuperato al tendere di $N \to \infty$) a meno che le varianze non siano attentamente sintonizzate per scalare con la dimensione del campione. Soffrono inoltre di elevati costi computazionali in contesti ad alta dimensionalità a causa della necessità di campionare l'intero spazio dei parametri.

2. Metodologia: Miscele di Distribuzioni Mutuamente Singolari (MoMS)

Gli autori propongono le Miscele di Distribuzioni Mutuamente Singolari (MoMS) come un'alternativa trasparente che consente di eseguire la selezione delle variabili bayesiana all'interno di un framework MCMC standard a dimensionalità fissa.

Quadro Concettuale

• Sottospazi Mutuamente Singolari: Invece di contrarre i coefficienti verso zero (spike-and-slab continuo), MoMS tratta la selezione delle variabili come un movimento tra sottospazi distinti e non sovrapposti di uno spazio a dimensionalità fissa.
  • Spike: Un sottospazio in cui un coefficiente specifico è fissato esattamente a zero ($\beta_i = 0$).
  • Slab: Un sottospazio in cui il coefficiente è libero di variare continuamente ($\beta_i \in \mathbb{R} \setminus \{0\}$).
• Definizione dello Spazio degli Stati: Lo spazio degli stati congiunto è definito come $\mathcal{X} = \mathbb{R}^p \times \{0, 1\}^p$, contenente $p$ coefficienti continui e $p$ indicatori di inclusione binari.
  • Ogni configurazione del modello $\gamma$ corrisponde a una regione disgiunta $S_\gamma$ all'interno di questo spazio.
  • Poiché le regioni sono disgiunte (mutuamente singolari), la distribuzione a posteriori è supportata su un'unione di queste distinte sezioni.
• Implementazione dell'Algoritmo:
  • Gli autori implementano un campionatore Metropolis-within-Gibbs.
  • Movimenti tra Modelli: L'algoritmo propone di invertire un singolo indicatore di inclusione $\gamma_i$.
    • Se $\gamma_i$ cambia da 0 a 1 (Aggiungi), $\beta_i$ è proposto da una distribuzione continua (ad esempio, Random Walk Metropolis).
    • Se $\gamma_i$ cambia da 1 a 0 (Elimina), $\beta_i$ è impostato esattamente a 0.
  • Probabilità di Accettazione: Poiché i movimenti in avanti e inversi sono definiti sullo stesso spazio a dimensionalità fissa, la probabilità di accettazione segue il rapporto Metropolis-Hastings standard senza la necessità di correzioni Jacobiane o variabili ausiliarie (a differenza di RJMCMC).

Equivalenza Teorica

Il documento dimostra che, sotto specifiche costruzioni (ad esempio, utilizzando trasformazioni identità e specifiche densità di proposta), la probabilità di accettazione Metropolis-Hastings di MoMS è matematicamente identica a quella di RJMCMC. Ciò dimostra che MoMS non è solo un'approssimazione, ma una riformulazione che raggiunge lo stesso obiettivo teorico con meccaniche più semplici.

3. Contributi Chiave

1. Semplificazione del Campionamento Transdimensionale: Il documento fornisce un'alternativa "senza rimpianti" a RJMCMC. Elimina la necessità di complesse trasformazioni di adattamento dimensionale e variabili ausiliarie, rendendo l'algoritmo più facile da progettare, analizzare e implementare correttamente.
2. Interpretazione Esatta Spike-and-Slab: A differenza dei priori continui spike-and-slab che si basano sullo shrinkage, MoMS impone zeri esatti, preservando la natura discreta della selezione del modello mantenendo uno spazio dei parametri a dimensionalità fissa.
3. Efficienza Computazionale: Evitando l'overhead del calcolo dei Jacobiani e della gestione di variabili ausiliarie, le iterazioni MoMS sono computazionalmente più economiche.
4. Generalizzabilità: Il framework è dimostrato applicabile non solo alla regressione lineare, ma anche a modelli gerarchici complessi come la regressione logistica a effetti misti e i modelli di teoria della risposta all'elemento (IRT) multidimensionali.

4. Risultati

Gli autori hanno valutato il metodo su tre dataset:

• Benchmark: Dataset Diabetes (Regressione Lineare):

  • Setup: 10 predittori ($2^{10} = 1024$ modelli), permettendo l'enumerazione completa come verità fondamentale.
  • Risultati: Sia RJMCMC che MoMS hanno recuperato probabilità di inclusione a posteriori che corrispondevano ai risultati dell'enumerazione esatta fino alla seconda cifra decimale.
  • Efficienza: Sebbene RJMCMC avesse un Effective Sample Size (ESS) leggermente superiore per iterazione grazie a meccanismi di proposta sofisticati, MoMS ha raggiunto un ESS significativamente superiore per secondo (tempo reale). Ciò è dovuto al fatto che le iterazioni MoMS sono computazionalmente più economiche, permettendo più campioni nello stesso lasso di tempo.

• Caso di Studio 1: Regressione Logistica a Effetti Misti (Sonno e Memoria):

  • Applicato a uno studio sulla falsa memoria (paradigma DRM) con 488 partecipanti.
  • Ha eseguito con successo la selezione delle variabili sugli effetti fissi e sui termini di interazione in un modello a effetti misti.
  • I risultati hanno identificato interazioni significative tra il ritardo del sonno e l'ora del giorno, con diagnosi di convergenza ($\hat{R} < 1.005$) che indicavano un campionamento robusto.

• Caso di Studio 2: Modello Generalizzato a Credito Parziale Multidimensionale (MG-PCM):

  • Applicato alla selezione dei fattori in una scala psicometrica di 15 elementi (stigma dei lavoratori sanitari).
  • Ha utilizzato MoMS per selezionare i carichi fattoriali, potando efficacemente la struttura del modello.
  • Ha dimostrato che la mediazione del modello con MoMS porta allo shrinkage dei carichi irrilevanti, mentre il "Modello a Probabilità Mediana" ha fornito una struttura fattoriale sparsa e interpretabile.

5. Significato e Conclusione

Il documento sposta fondamentalmente la prospettiva sulla selezione delle variabili bayesiana. Sostiene che i problemi transdimensionali non richiedono necessariamente algoritmi transdimensionali.

• Impatto Pratico: I ricercatori possono ora eseguire una rigorosa selezione delle variabili bayesiana utilizzando software MCMC standard a dimensionalità fissa (come Stan, JAGS o campionatori Gibbs personalizzati) senza il "rimpianto" associato alla complessità di RJMCMC.
• Insight Teorico: Chiarisce che la difficoltà di RJMCMC risiede spesso nell'implementazione della trasformazione piuttosto che nella necessità teorica della stessa. Partizionando esplicitamente lo spazio dei parametri in sottospazi mutuamente singolari, la necessità di adattamento dimensionale scompare.
• Limitazioni: Gli autori notano che MoMS è più naturale per problemi di selezione delle variabili annidati (dove i modelli differiscono solo per l'inclusione/esclusione di parametri). Per modelli non annidati in cui la parametrizzazione stessa cambia fondamentalmente (ad esempio, cambiando la forma funzionale di un modello), RJMCMC potrebbe ancora essere la scelta più naturale.

In sintesi, il documento stabilisce che la selezione delle variabili bayesiana può essere eseguita all'interno della metodologia MCMC standard a dimensionalità fissa—senza rimpianti.