Mean-field Variational Bayes for Sparse Probit Regression

Resumo Técnico: Variational Bayes de Campo Médio para Regressão Probit Esparsa

Enunciado do Problema
O artigo aborda a seleção bayesiana de variáveis para resultados binários utilizando uma função de ligação probit, especificamente em regimes de alta dimensão onde o número de preditores $p$ é grande, potencialmente excedendo o tamanho da amostra $n$ ($p \gg n$). Embora os métodos de Monte Carlo via Cadeias de Markov (MCMC) sejam padrão para inferência posterior em tais modelos esparsos (utilizando priores spike-and-slab), eles frequentemente enfrentam gargalos computacionais severos, incluindo convergência lenta e tempos de execução proibitivos à medida que a dimensionalidade aumenta. Os autores buscam uma alternativa computacionalmente eficiente que mantenha a interpretabilidade da seleção bayesiana de variáveis — especificamente a capacidade de calcular probabilidades de inclusão posterior (PIPs) e estimativas de parâmetros — sem depender de amostragem.

Metodologia
Os autores propõem uma aproximação de Variational Bayes de Campo Médio (MFVB) para regressão probit esparsa. O modelo assume respostas binárias $y_i$ geradas a partir de variáveis latentes Gaussianas $z_i$ via uma ligação probit, com coeficientes de regressão $\beta$ governados por um prior spike-and-slab implementado através de máscaras binárias $\gamma$.

As características metodológicas-chave incluem:

1. Fatoração de Campo Médio: A posteriori conjunta $p(\beta, z, \gamma | y)$ é aproximada por uma distribuição fatorada $q(\beta)q(z)\prod q(\gamma_j)$. Crucialmente, a fatoração é imposta entre os blocos $(\beta, z, \gamma)$ e dentro do bloco $\gamma$, mas não dentro de $\beta$.
2. Gaussiana de Covariância Completa para $\beta$: Diferentemente das abordagens de campo médio padrão que assumem independência total entre todos os parâmetros, o fator variacional $q(\beta)$ é uma Gaussiana multivariada com uma matriz de covariância completa. Isso permite que o método capture dependências entre os coeficientes de regressão, mitigando a subestimação da incerteza bayesiana frequentemente associada a aproximações totalmente fatoradas, particularmente na presença de colinearidade.
3. Atualizações de Forma Fechada: Os fatores variacionais ótimos são derivados usando inferência variacional de ascensão coordenada (CAVI). Os autores demonstram que todas as atualizações admitem expressões de forma fechada:
   • $q(\beta)$ é uma Gaussiana multivariada com parâmetros atualizados via uma matriz de precisão envolvendo o produto de Hadamard da matriz Gram da matriz de design e o segundo momento dos indicadores de inclusão.
   • $q(z)$ consiste em distribuições Gaussianas truncadas independentes.
   • $q(\gamma_j)$ segue uma distribuição Bernoulli, onde a probabilidade de inclusão é atualizada com base na verossimilhança logarítmica esperada e nas estimativas atuais de $\beta$ e $z$.
4. Escalabilidade Computacional: Para $p$ muito grande, os autores propõem aproximações eficientes. Quando as probabilidades de inclusão estão próximas de zero, as atualizações podem ser restritas a um conjunto ativo de preditores. Além disso, a identidade de Woodbury é utilizada para reduzir a complexidade computacional de $O(p^3)$ para $O(n^3)$ ou inferior quando $p > n$.

Contribuições Principais

• Desenvolvimento Algorítmico: O artigo desenvolve um algoritmo CAVI para regressão probit esparsa que fornece atualizações de forma fechada para todos os parâmetros variacionais, incluindo o limite inferior da evidência (ELBO).
• Fatoração Híbrida: A abordagem combina unicamente um tratamento totalmente fatorado dos indicadores de inclusão (esparcidade) com um tratamento de covariância completa dos coeficientes de regressão. Isso equilibra a tratabilidade computacional com a capacidade de modelar dependências entre coeficientes.
• Eficiência: O método é projetado para ser ordens de magnitude mais rápido que o MCMC, produzindo saídas interpretáveis (PIPs e estimativas de parâmetros) dentro de um único quadro coerente.

Resultados
O desempenho do método MFVB proposto foi avaliado contra um amostrador de Gibbs (MCMC) usando tanto conjuntos de dados simulados quanto do mundo real.

• Estudos de Simulação:
  • Velocidade: Em cenários com $p=200, n=1000$, o MFVB foi aproximadamente 50 vezes mais rápido que o MCMC. No caso de alta dimensionalidade ($p=1000, n=500$), o MFVB foi mais de 2.000 vezes mais rápido (27 segundos vs. ~60.000 segundos).
  • Precisão: No cenário $p \ll n$, o MFVB e o MCMC produziram resultados quase idênticos em relação à seleção de variáveis e desvio fora da amostra.
  • Comportamento em Alta Dimensão: No cenário $p \gg n$, o MFVB tendeu a produzir modelos mais parcimoniosos (menos variáveis selecionadas) em comparação com o MCMC. Enquanto o MCMC foi mais conservador (atribuindo probabilidades não nulas a mais variáveis), as PIPs do MFVB tenderam a degenerar para 0 ou 1, levando a decisões de seleção de variáveis mais claras. Os autores observam que isso reflete uma limitação conhecida das aproximações de campo médio (subestimação da incerteza), mas consideraram isso benéfico para previsão e estimativa pontual em altas dimensões.
• Aplicações com Dados Reais:
  • Reabilitação Vocal LSVT ($n=126, p=309$): O MFVB identificou um conjunto parcimonioso de 8 variáveis (incluindo o intercepto) com desvio fora da amostra comparável (18,89 vs. 19,29 para o MCMC) e maior acurácia de classificação (86,5% vs. 82,5%). O tempo de execução foi de 0,16 segundos para o MFVB versus 544 segundos para o MCMC.
  • Doença de Alzheimer ($n=333, p=9036$): Neste cenário de grande $p$ onde o MCMC é inviável, o MFVB identificou com sucesso cinco preditores biologicamente relevantes (Tau, Ab 42, VEGF, GRO alpha, Polipeptídeo Pancreático) consistentes com a literatura existente. O método foi executado em 27 segundos.

Significado e Afirmações
O artigo afirma que a abordagem MFVB proposta oferece uma solução prática para a seleção bayesiana de variáveis em regressão binária de alta dimensão onde o MCMC é computacionalmente proibitivo. Os autores enfatizam que o método permite seleção e previsão interpretáveis dentro de um único quadro.

O significado reside no trade-off alcançado: o método sacrifica parte da fidelidade na quantificação da incerteza inerente ao MCMC (especificamente, as PIPs podem ser excessivamente confiantes devido à suposição de independência de campo médio sobre $\gamma$) em troca de ganhos computacionais massivos. Os autores afirmam que, para os objetivos de previsão e estimativa pontual de um modelo esparso selecionado, o método mantém precisão comparável ao MCMC enquanto é ordens de magnitude mais rápido. Eles alertam que, embora as PIPs sejam úteis para classificação e seleção, elas não devem ser interpretadas como probabilidades posteriores totalmente calibradas em cenários com sinais fracos ou alta correlação. A abordagem é apresentada como uma alternativa escalável que torna a seleção bayesiana de variáveis viável para problemas com milhares de preditores.