Bayesian Variable Selection with the Quasi-Posterior

Título: Seleção de Variáveis Bayesiana com a Quasi-Posterior

Autores: Beniamino Hadj-Amar e Jack Jewson
Data: Março de 2026

---

1. O Problema

A seleção de variáveis bayesiana é uma ferramenta poderosa para identificar subconjuntos de preditores relevantes, incorporando incerteza paramétrica e penalizando modelos complexos através de priors. No entanto, a abordagem bayesiana tradicional exige a especificação completa da função de verossimilhança (likelihood) dos dados.

O problema central abordado é a especificação incorreta do modelo (model misspecification). Quando a distribuição assumida para os dados difere da distribuição geradora real (ex: caudas pesadas, inliers, ou sobredispersão em dados de contagem), os métodos bayesianos tradicionais podem:

• Perder poder estatístico para detectar variáveis ativas.
• Aumentar a taxa de falsos positivos.
• Selecionar modelos desnecessariamente complexos.

Abordagens existentes para mitigar isso geralmente envolvem modelos não paramétricos complexos (reduzindo a interpretabilidade) ou métodos que abandonam a fundamentação probabilística rigorosa, exigindo a sintonização de hiperparâmetros de "taxa de aprendizado" (learning rate) sem garantias teóricas claras para seleção de variáveis.

2. Metodologia Proposta

Os autores propõem o uso da Quasi-Posterior (baseada na Quasi-Likelihood de McCullagh, 1983) como uma ferramenta principial para seleção de variáveis em Modelos Lineares Generalizados (GLMs).

Principais Características da Abordagem:

• Especificação Reduzida: Em vez de exigir uma distribuição completa para $y|X$, o método requer apenas a especificação das funções de média ($\mu$) e variância ($V$) da distribuição condicional.
• Definição da Quasi-Posterior: Combina um prior com a exponencial da quasi-verossimilhança logarítmica:
  $$\tilde{\pi}(\beta|y, X) \propto \pi(\beta) \exp\{n Q_n(y, X; \beta, \hat{\psi})\}$$
  Onde $Q_n$ é a média da quasi-verossimilhança e $\hat{\psi}$ é um estimador consistente do parâmetro de dispersão.
• Seleção de Modelos (Model Quasi-Posterior): Define-se uma distribuição sobre as configurações de modelos $\gamma$ (vetores de inclusão de variáveis) integrando a quasi-verossimilhança marginal:
  $$\tilde{\pi}(\gamma|y, X) \propto \tilde{f}(y|X, \gamma)\pi(\gamma)$$
• Inferência Computacional:
  • Para regressão linear, a quasi-verossimilhança marginal tem uma forma fechada.
  • Para outros casos (GLMs não lineares), utiliza-se a Aproximação de Laplace para garantir a tratabilidade computacional.
  • O espaço de modelos é explorado via um amostrador Gibbs de varredura aleatória (random-scan), combinado com uma estratégia de caching para evitar reotimizações desnecessárias.
• Priors: Utiliza-se um prior "spike-and-slab" (ponto de massa em zero e uma distribuição normal para coeficientes não nulos) com um prior Beta-Binomial sobre o nível de esparsidade.

3. Contribuições Chave

1. Fundamentação Teórica Assintótica: O artigo prova que, sob especificação correta das funções de média e variância, a quasi-posterior do modelo converge assintoticamente para a mesma distribuição que a posterior bayesiana tradicional. Isso garante uma quantificação de incerteza válida e seleção de modelos consistente, algo inédito em seleção de variáveis bayesiana generalizada.
2. Eliminação da Necessidade de "Learning Rate": Diferente de outras abordagens de Bayes Generalizado que exigem a sintonização manual de um parâmetro de temperatura ou learning rate, a quasi-posterior deriva naturalmente uma estimativa de dispersão ($\hat{\psi}$) que atua como esse fator de calibração.
3. Robustez à Especificação Incorreta: O método demonstra ser robusto a violações na forma da distribuição (ex: erros não Gaussianos, dados de contagem sobredispersos), desde que as estruturas de média e variância estejam corretas.
4. Implementação Prática: Desenvolvimento do pacote R modelSelectionQP e demonstração de que a aproximação de Laplace é assintoticamente precisa para uma ampla classe de modelos onde a quasi-log-verossimilhança é côncava.

4. Resultados

Os autores realizaram extensos estudos de simulação e aplicações em dados reais:

Estudos de Simulação:

• Dados de Contagem Sobredispersos: A quasi-posterior (QP) superou consistentemente os modelos de Poisson e Binomial Negativo tradicionais, mantendo o FDR (False Discovery Rate) abaixo de 5% e alcançando poder estatístico superior (>90%), especialmente em amostras pequenas. Modelos tradicionais falharam em controlar o FDR ou perderam poder.
• Regressão Linear com Erros de Caudas Pesadas (Student-t): A QP demonstrou maior poder para detectar variáveis ativas comparada ao método bayesiano tradicional (assumindo normalidade) e ao Lasso, mantendo o controle de falsos positivos.
• Regressão Linear com Inliers: Em cenários onde inliers causam falsos positivos em modelos Gaussianos, a QP reduziu o FDR pela metade em comparação ao método tradicional, sem sacrificar o poder.

Aplicações em Dados Reais:

• NMES 1988 (Saúde): Análise de visitas médicas. A QP identificou variáveis consistentes com a literatura (saúde autorrelatada, condições crônicas) e forneceu o melhor ajuste para a relação média-variância (menor erro quadrático médio) comparado a Poisson e Binomial Negativo.
• Dataset DLD (Genômica): Predição da expressão gênica. A QP e o método tradicional concordaram nas principais variáveis, mas a QP manteve maior poder e F1-score em subamostras de tamanho reduzido.

5. Significado e Conclusão

Este trabalho estabelece a Quasi-Posterior como uma ferramenta rigorosa e prática para seleção de variáveis bayesiana. Sua principal contribuição é permitir que pesquisadores realizem seleção de modelos e quantifiquem incerteza sem a necessidade de especificar uma distribuição de verossimilhança completa, que é frequentemente impossível de verificar na prática.

Ao depender apenas das estruturas de primeira e segunda ordem (média e variância), o método oferece:

• Robustez: Menor sensibilidade a desvios da distribuição assumida (outliers, sobredispersão).
• Interpretabilidade: Mantém a estrutura de modelos GLMs familiares.
• Validade Teórica: Garante consistência assintótica e propriedades de seleção de modelos comparáveis ao Bayesiano clássico, mas com requisitos de especificação muito mais fracos.

O artigo conclui que a quasi-posterior preenche uma lacuna crítica entre a inferência bayesiana rigorosa e a robustez necessária para dados do mundo real, sugerindo um caminho promissor para extensões em alta dimensão e regimes de aprendizado profundo.