Revisiting Bayesian Variable Selection via Optimization

Resumo Técnico: Seleção de Variáveis Bayesiana via Otimização

1. O Problema

A seleção de variáveis em regressão linear é um tópico central na pesquisa estatística, especialmente quando o número de preditores ($p$) é comparável ou excede o tamanho da amostra ($n$). Métodos bayesianos tradicionais utilizam priores de contração (como spike-and-slab ou priores de contração global-local) e algoritmos de Monte Carlo via Cadeias de Markov (MCMC), como o amostrador de Gibbs colapsado, para inferência.

No entanto, um enigma persiste na literatura: a verossimilhança marginal (obtida integrando os coeficientes de regressão e a variância do ruído) não é log-côncava. Isso significa que não há garantia teórica de que os algoritmos de otimização padrão encontrarão o ótimo global (o modo da distribuição posterior ou a estimativa de máxima verossimilhança marginal). A falta de convexidade levanta dúvidas sobre a confiabilidade de encontrar o modo global, sugerindo que o problema pode estar preso em ótimos locais.

2. Metodologia

O autor aborda o problema sob a ótica da otimização não convexa, reformulando a busca pelo modo da distribuição posterior como um problema de minimização de uma função de perda.

• Formulação do Problema:
  Considera-se um modelo hierárquico normal com prioris conjugadas. Ao integrar $\theta$ e $\sigma^2$, obtém-se uma verossimilhança marginal dependente dos parâmetros de precisão $D = \text{diag}(d_1, \dots, d_p)$. O objetivo é minimizar o logaritmo negativo da verossimilhança marginal (ou da posterior marginal).

• Estrutura Diferença de Funções Convexas (DC):
  A principal inovação é a reescrita da função de perda como uma Diferença de Funções Convexas (DC):
  $$\text{Loss}(D) = g(D) - h(D)$$
  Onde:

  • $g(D)$ é uma função convexa (envolvendo $-\log|D|$).
  • $h(D)$ é uma função convexa (envolvendo termos logarítmicos da matriz de covariância e resíduos).
  • Embora a diferença não seja convexa, a estrutura DC permite o uso de algoritmos específicos.

• Algoritmo Proposto (DC Algorithm):
  O autor propõe um algoritmo iterativo simples e livre de ajuste (tuning-free):

  1. Inicia-se com um $D^{(0)}$.
  2. Na iteração $t$, aproxima-se a função convexa $h(D)$ por sua expansão de Taylor de primeira ordem (aproximação afim) em $D^{(t)}$.
  3. Resolve-se o subproblema de minimização convexa resultante para obter $D^{(t+1)}$.
  4. Para problemas de alta dimensão, utiliza-se a fórmula de Woodbury para reduzir a complexidade computacional de $O(p^3)$ para $O(\min(n, p)^3)$.

• Convergência e Ótimo Global:
  Sob condições de conjuntos compactos e fechados, o algoritmo é provado para:

  • Convergir monotonicamente para um ponto estacionário.
  • Alcançar o ótimo global com taxa linear, desde que certas condições geométricas locais (crescimento quadrático e limites de erro residual) sejam satisfeitas. O autor demonstra que pontos estacionários não ótimos (que não correspondem ao modo global) são raros ou estão localizados nas fronteiras do espaço de parâmetros, sendo facilmente evitados ou identificados.

• Esparsidade Estruturada:
  O método é extensível para impor restrições de esparsidade estruturada (grupos, sobreposições, monotonicidade radial) através de projeções em conjuntos convexos, utilizando algoritmos como regressão isotônica generalizada.

3. Contribuições Principais

1. Resolução Teórica do Enigma: Demonstra que, apesar da falta de log-concavidade, o problema de encontrar o modo na seleção de variáveis bayesiana é "mais benigno" do que se pensava, permitindo a garantia de convergência para o ótimo global.
2. Algoritmo Eficiente e Simples: Apresenta um algoritmo iterativo de fácil implementação, sem necessidade de ajuste de hiperparâmetros (como taxas de aprendizado), que é significativamente mais rápido que métodos MCMC ou outros otimizadores baseados em gradiente.
3. Generalização: A teoria e o algoritmo estendem-se da máxima verossimilhança marginal (Type-II ML) para o modo da posterior marginal sob priores adequados.
4. Aplicabilidade Prática: O método serve como uma alternativa eficiente ou como um "warm-start" (ponto de partida quente) para algoritmos MCMC, reduzindo o período de burn-in.

4. Resultados Experimentais

O artigo valida o método através de estudos de simulação e aplicações em dados reais:

• Simulações (Dados Sintéticos):

  • Comparado com o algoritmo EM (ARD) e Descida de Gradiente Projetada (PGD).
  • O algoritmo DC alcançou seleção de variáveis perfeita (Taxa Verdadeira Positiva = 1, Falsa Positiva = 0) em todos os cenários, confirmando a garantia de ótimo global.
  • Velocidade: O algoritmo DC convergiu em menos iterações e em menos tempo de relógio (menos de 2.3 segundos por replicata em CPUs comuns) comparado aos concorrentes, com variância de convergência quase nula.

• Dados de Alto Dimensionalidade (Dorothea):

  • Aplicado a um conjunto de dados de descoberta de fármacos com $n=1.150$ e $p=91.598$.
  • O algoritmo convergiu rapidamente, identificando 26 características relevantes (com $d_j$ longe da fronteira superior) enquanto empurrava 99.97% das características para a fronteira (indicando coeficientes zero).
  • O desempenho foi comparável ao Lasso e Group Lasso, mas com a vantagem de quantificar a incerteza dos coeficientes e da variância do ruído.

• Aplicação em Dados Espaciais (Ridgecrest Earthquake):

  • Utilizado para quantificar o risco de réplicas sísmicas após o terremoto de Ridgecrest (2019).
  • Foi aplicada uma restrição de monotonicidade radial (a esparsidade aumenta com a distância da falha).
  • O algoritmo convergiu em apenas 35 iterações (0.20 segundos), produzindo um mapa de suavização espacial que capturou a concentração de atividade sísmica ao longo da falha e o decaimento com a distância.

5. Significado e Conclusão

Este trabalho redefine a compreensão da otimização em seleção de variáveis bayesiana. Ao provar que o problema de otimização da verossimilhança marginal possui propriedades de convergência global robustas sob condições moderadas, o autor elimina a necessidade de depender exclusivamente de métodos estocásticos (MCMC) para encontrar modos.

O algoritmo proposto oferece uma ferramenta computacionalmente eficiente, escalável e teoricamente fundamentada para inferência bayesiana em modelos lineares, com potencial para ser adaptado a modelos generalizados (GLMs) e para acelerar significativamente a inferência em grandes conjuntos de dados. A disponibilidade do código fonte facilita a adoção pela comunidade estatística.