Reversible Jump MCMC With No Regrets: Bayesian Variable Selection Using Mixtures of Mutually Singular Distributions

1. Formulação do Problema

A seleção de variáveis bayesiana envolve inferir qual subconjunto de preditores (ou efeitos) deve ser incluído em um modelo estatístico. Isso cria um desafio porque a dimensão do espaço de parâmetros muda dependendo da configuração do modelo (ou seja, o número de preditores incluídos varia).

• O Desafio Central: Os algoritmos padrão de Cadeia de Markov Monte Carlo (MCMC) assumem um espaço de parâmetros de dimensão fixa. Quando a dimensão muda, os algoritmos Metropolis-Hastings (MH) padrão não podem ser aplicados diretamente porque as densidades de probabilidade dos estados atuais e propostos vivem em espaços de dimensões diferentes.
• Soluções Atuais e Limitações:
  • Reversible Jump MCMC (RJMCMC): A solução padrão (Green, 1995) amplia o espaço de estados com variáveis auxiliares e usa transformações determinísticas para igualar as dimensões. Embora teoricamente sólido, é notoriamente difícil de projetar, implementar e depurar corretamente.
  • Priors Contínuos Spike-and-Slab: Estas mantêm a dimensão fixa permitindo que os coeficientes sejam não nulos, mas muito pequenos (contração). No entanto, elas frequentemente carecem de consistência na seleção de modelos (garantia de que o modelo verdadeiro é recuperado quando $N \to \infty$), a menos que as variâncias sejam cuidadosamente ajustadas para escalar com o tamanho da amostra. Elas também sofrem com altos custos computacionais em configurações de alta dimensão devido à necessidade de amostrar todo o espaço de parâmetros.

2. Metodologia: Misturas de Distribuições Mutuamente Singulares (MoMS)

Os autores propõem Misturas de Distribuições Mutuamente Singulares (MoMS) como uma alternativa transparente que permite que a seleção de variáveis bayesiana seja realizada dentro de um framework padrão de MCMC de dimensão fixa.

Estrutura Conceitual

• Subespaços Mutuamente Singulares: Em vez de contrair coeficientes em direção a zero (spike-and-slab contínuo), o MoMS trata a seleção de variáveis como a movimentação entre subespaços distintos e não sobrepostos de um espaço de dimensão fixa.
  • Spike: Um subespaço onde um coeficiente específico é fixado exatamente em zero ($\beta_i = 0$).
  • Slab: Um subespaço onde o coeficiente é livre para variar continuamente ($\beta_i \in \mathbb{R} \setminus \{0\}$).
• Definição do Espaço de Estados: O espaço de estados conjunto é definido como $\mathcal{X} = \mathbb{R}^p \times \{0, 1\}^p$, contendo $p$ coeficientes contínuos e $p$ indicadores de inclusão binários.
  • Cada configuração de modelo $\gamma$ corresponde a uma região disjunta $S_\gamma$ dentro deste espaço.
  • Como as regiões são disjuntas (mutuamente singulares), a distribuição posterior é suportada em uma união dessas fatias distintas.
• Implementação do Algoritmo:
  • Os autores implementam um amostrador Metropolis-dentro-de-Gibbs.
  • Movimentos Entre Modelos: O algoritmo propõe inverter um único indicador de inclusão $\gamma_i$.
    • Se $\gamma_i$ mudar de 0 para 1 (Adicionar), $\beta_i$ é proposto a partir de uma distribuição contínua (por exemplo, Random Walk Metropolis).
    • Se $\gamma_i$ mudar de 1 para 0 (Excluir), $\beta_i$ é definido exatamente como 0.
  • Probabilidade de Aceitação: Como os movimentos forward e reverse são definidos no mesmo espaço de dimensão fixa, a probabilidade de aceitação segue a razão Metropolis-Hastings padrão, sem a necessidade de correções de Jacobiano ou variáveis auxiliares (diferentemente do RJMCMC).

Equivalência Teórica

O artigo demonstra que, sob construções específicas (por exemplo, usando transformações de identidade e densidades de proposta específicas), a probabilidade de aceitação Metropolis-Hastings do MoMS é matematicamente idêntica à do RJMCMC. Isso prova que o MoMS não é apenas uma aproximação, mas uma reformulação que alcança o mesmo alvo teórico com mecânicas mais simples.

3. Contribuições Principais

1. Simplificação da Amostragem Transdimensional: O artigo fornece uma alternativa "sem arrependimentos" ao RJMCMC. Elimina a necessidade de transformações complexas de igualação de dimensões e variáveis auxiliares, tornando o algoritmo mais fácil de projetar, analisar e implementar corretamente.
2. Interpretação Exata de Spike-and-Slab: Ao contrário dos priores spike-and-slab contínuos que dependem de contração, o MoMS impõe zeros exatos, preservando a natureza discreta da seleção de modelos enquanto mantém um espaço de parâmetros de dimensão fixa.
3. Eficiência Computacional: Ao evitar a sobrecarga de calcular Jacobianos e gerenciar variáveis auxiliares, as iterações do MoMS são computacionalmente mais baratas.
4. Generalização: O framework é mostrado como aplicável não apenas à regressão linear, mas a modelos hierárquicos complexos, como regressão logística de efeitos mistos e modelos de teoria de resposta ao item (IRT) multidimensionais.

4. Resultados

Os autores avaliaram o método em três conjuntos de dados:

• Benchmark: Conjunto de Dados de Diabetes (Regressão Linear):

  • Configuração: 10 preditores ($2^{10} = 1024$ modelos), permitindo enumeração completa como verdade fundamental.
  • Descobertas: Tanto o RJMCMC quanto o MoMS recuperaram probabilidades de inclusão posterior que corresponderam aos resultados da enumeração exata até a segunda casa decimal.
  • Eficiência: Embora o RJMCMC tivesse um Tamanho de Amostra Efetivo (ESS) ligeiramente maior por iteração devido a mecanismos de proposta sofisticados, o MoMS alcançou um ESS significativamente maior por segundo (tempo de relógio). Isso ocorre porque as iterações do MoMS são computacionalmente mais baratas, permitindo mais amostras no mesmo intervalo de tempo.

• Estudo de Caso 1: Regressão Logística de Efeitos Mistos (Sono e Memória):

  • Aplicado a um estudo sobre memória falsa (paradigma DRM) com 488 participantes.
  • Realizou com sucesso a seleção de variáveis em efeitos fixos e termos de interação em um modelo de efeitos mistos.
  • Os resultados identificaram interações significativas entre atraso do sono e hora do dia, com diagnósticos de convergência ($\hat{R} < 1.005$) indicando amostragem robusta.

• Estudo de Caso 2: Modelo Generalizado de Crédito Parcial Multidimensional (MG-PCM):

  • Aplicado à seleção de fatores em uma escala psicométrica de 15 itens (estigma de trabalhadores de saúde).
  • Utilizou MoMS para selecionar cargas fatoriais, efetivamente podando a estrutura do modelo.
  • Demonstrou que a média de modelos com MoMS leva à contração de cargas irrelevantes, enquanto o "Modelo de Probabilidade Mediana" forneceu uma estrutura fatorial esparsa e interpretável.

5. Significado e Conclusão

O artigo muda fundamentalmente a perspectiva sobre a seleção de variáveis bayesiana. Argumenta que problemas transdimensionais não necessariamente requerem algoritmos transdimensionais.

• Impacto Prático: Os pesquisadores agora podem realizar seleção rigorosa de variáveis bayesiana usando software padrão de MCMC de dimensão fixa (como Stan, JAGS ou amostradores Gibbs personalizados) sem o "arrependimento" associado à complexidade do RJMCMC.
• Insight Teórico: Esclarece que a dificuldade do RJMCMC frequentemente reside na implementação da transformação, e não na necessidade teórica dela. Ao particionar explicitamente o espaço de parâmetros em subespaços mutuamente singulares, a necessidade de igualação de dimensões desaparece.
• Limitações: Os autores observam que o MoMS é mais natural para problemas de seleção de variáveis aninhados (onde os modelos diferem apenas pela inclusão/exclusão de parâmetros). Para modelos não aninhados onde a própria parametrização muda fundamentalmente (por exemplo, alterando a forma funcional de um modelo), o RJMCMC pode ainda ser a escolha mais natural.

Em resumo, o artigo estabelece que a seleção de variáveis bayesiana pode ser realizada dentro da metodologia padrão de MCMC de dimensão fixa—sem arrependimentos.