Variational Inference for Sparse Poisson Regression

Resumo Técnico: Inferência Variacional para Regressão de Poisson Esparsa

Definição do Problema
O artigo aborda o desafio de realizar inferência Bayesiana para modelos de regressão de Poisson esparsos. Embora os métodos de Cadeia de Markov via Monte Carlo (MCMC) sejam o padrão para estimar distribuições posteriores em tais modelos, eles incorrem em altos custos computacionais, particularmente em configurações de alta dimensionalidade. Os autores buscam desenvolver uma alternativa computacionalmente eficiente que mantenha a precisão da estimativa Bayesiana e da seleção de variáveis sem o tempo de execução proibitivo da amostragem MCMC.

Metodologia
Os autores propõem uma estrutura de Inferência Bayesiana Variacional (VB) não conjugada para regressão de Poisson esparsa. A inovação metodológica central envolve lidar com a não-conjugação entre a verossimilhança de Poisson e as distribuições a priori Gaussianas tipicamente utilizadas para coeficientes de regressão.

1. Aproximação Quadrática: Para restaurar a conjugação, os autores adaptam o método de aproximação proposto por Jaakkola e Jordan (2000). A função de verossimilhança de Poisson é aproximada por uma função quadrática. Essa transformação permite que o componente de verossimilhança se torne conjugado com a priori Gaussiana sobre os coeficientes de regressão, facilitando a derivação de atualizações de forma fechada para os parâmetros variacionais.
2. Priors de Esparsidade: Três priors distintos são implementados para impor esparsidade nos coeficientes de regressão ($\beta$):
   • Prior de Laplace: Implementado via uma representação hierárquica onde $\beta_j$ segue uma distribuição Normal com uma variância $\tau_j$ que segue uma distribuição Exponencial.
   • Continuous Spike and Slab (CS) Prior: Uma mistura de duas distribuições Gaussianas (um "spike" com variância pequena e um "slab" com variância maior) controlada por variáveis binárias latentes.
   • Prior de Bernoulli: Um produto de uma matriz diagonal de variáveis de Bernoulli e o vetor de coeficientes, atuando efetivamente como um mecanismo de seleção de variáveis (relacionado à regularização $\ell_0$).
3. Inferência Variacional: Os autores empregam inferência variacional de campo médio (mean-field), assumindo independência entre partições de parâmetros. Eles derivam as densidades posteriores ótimas para todos os parâmetros do modelo e hiperparâmetros, incluindo o limite inferior de evidência (ELBO) para monitoramento de convergência.
4. Extração de Esparsidade: Como as médias das posteriores variacionais não são inerentemente esparsas, os autores propõem etapas de pós-processamento:
   • Para o método Bernoulli-VB, os coeficientes são definidos como zero se a probabilidade de inclusão posterior for inferior a 0,5.
   • Para Laplace-VB e CS-VB, aplica-se uma estratégia de limiarização rígida (hard-thresholding), onde os coeficientes são zerados se seu valor absoluto cair abaixo de um limiar $\hat{\kappa}$, selecionado via Critério de Informação de Akaike (AIC).
5. Predição: Uma função de massa preditiva posterior é derivada usando integração numérica (quadratura Gaussiana) sobre a distribuição log-normal do preditor linear, evitando a necessidade de intervalos de predição baseados em amostragem.

Principais Contribuições

• Desenvolvimento Algorítmico: A derivação de algoritmos VB específicos (Laplace-VB, CS-VB e Bernoulli-VB) para regressão de Poisson esparsa, incluindo regras de atualização explícitas para todos os parâmetros e o ELBO.
• Validação da Aproximação: Um estudo de simulação demonstrando que a aproximação quadrática da log-verossimilhança de Poisson introduz erro mínimo para intervalos práticos do parâmetro de taxa $\lambda$.
• Benchmarking de Desempenho: Uma comparação abrangente dos métodos VB propostos contra:
  • Benchmarks MCMC correspondentes (usando OpenBUGS e JAGS).
  • Métodos esparsos frequentistas (regressão de Poisson penalizada com LASSO e SCAD).
• Aplicação no Mundo Real: Avaliação do desempenho de predição em seis conjuntos de dados de resposta de contagem de referência (incluindo "affairs", "bike sharing" e dados de hospitais do Arizona), reconhecendo que esses conjuntos de dados exibem sobredispersão, mas testando a robustez da estrutura de Poisson.

Resultos

• Eficiência Computacional: Os métodos VB propostos alcançam tempos de computação significativamente mais rápidos em comparação aos benchmarks MCMC. Em cenários de baixa dimensionalidade, os métodos VB são ordens de magnitude mais rápidos (tempos relativos na ordem de $10^{-3}$ em relação ao CS-MCMC). Em cenários de alta dimensionalidade, os métodos VB permanecem abaixo de 10 segundos, enquanto o MCMC é computacionalmente proibitivo.
• Precisão de Estimativa: Os métodos VB aproximam de perto as distribuições de parâmetros posteriores encontradas pelo MCMC. Em termos de Erro Relativo de Coeficiente (CRE), os métodos VB (particularmente Bernoulli-VB e Laplace-VB) competem com o MCMC e frequentemente superam ou igualam o LASSO e o SCAD.
• Desempenho de Predição: Os métodos VB alcançam erros relativos de conjunto de teste comparáveis aos métodos frequentistas (LASSO e SCAD) e contrapartes MCMC em ambos os conjuntos de dados simulados e reais.
• Desempenho de Esparsidade: Os métodos controlam efetivamente as Taxas de Falsos Positivos (FPR) e alcançam baixas Taxas de Falsos Negativos (FNR), com o Bernoulli-VB mostrando capacidades de detecção particularmente fortes.
• Cobertura: Os intervalos de Densidade Posterior Mais Alta (HPD) gerados pelos métodos VB replicam de perto as probabilidades de cobertura dos benchmarks MCMC, validando sua utilidade para quantificação de incerteza.

Significância e Alegações
O artigo alega que os métodos VB propostos fornecem uma alternativa rápida, escalável e precisa ao MCMC para regressão de Poisson esparsa Bayesiana. Os autores enfatizam que sua abordagem permite a estimativa e seleção de variáveis simultâneas, ao mesmo tempo em que fornece distribuições posteriores completas e intervalos preditivos, que são frequentemente difíceis de obter eficientemente com métodos frequentistas.

Os autores afirmam explicitamente que seus métodos são "substancialmente mais rápidos" que o MCMC, mantendo uma "aproximação próxima" à distribuição posterior. Eles observam que a abordagem Bayesiana oferece vantagens distintas sobre os métodos penalizados frequentistas ao fornecer acesso direto a medidas de incerteza (intervalos HPD) e à distribuição preditiva posterior completa.

Limitações e Direções Futuras
O artigo reconhece modestamente limitações específicas:

• Suposição Distribucional: Os modelos assumem uma distribuição de Poisson para a resposta. O desempenho pode degradar se os dados exibirem sobredispersão ou sobdispersão significativa, condições onde um modelo Binomial Negativa seria mais apropriado.
• Qualidade da Aproximação: A dependência da aproximação quadrática (Jaakkola e Jordan, 2000) resulta em uma aproximação Gaussiana para a posterior variacional de $\beta$, o que pode não capturar perfeitamente formas posteriores complexas.
• Trabalhos Futuros: Os autores identificam o desenvolvimento de modelos VB para regressão de Binomial Negativa esparsa como uma direção necessária para abordar a limitação de sobredispersão.