Constrained Weighted Bayesian Bootstrap

Resumo Técnico: Bootstrap Bayesiano Ponderado com Restrições (CWBB)

Definição do Problema
Tarefas de aprendizado estatístico frequentemente envolvem a maximização de uma medida de ajuste sujeita a restrições (ex.: esparsidade, restrições de ordem, restrições de forma ou limites físicos). Embora a literatura clássica de otimização forneça algoritmos eficientes para obter estimativas pontuais sob tais restrições, a construção de quantificação de incerteza válida (ex.: intervalos de confiança) permanece um desafio. A teoria assintótica padrão muitas vezes falha ou exige procedimentos complexos de inferência pós-seleção quando as restrições estão ativas.

Métodos bayesianos oferecem um framework natural para a quantificação de incerteza via distribuição posterior. No entanto, amostrar de uma posterior com suporte restrito a um conjunto restrito geral $\tilde{\Theta} \subset \Theta$ é computacionalmente difícil. Amostradores genéricos populares como o Hamiltonian Monte Carlo (HMC) têm dificuldade com restrições não suaves, e a amostragem por rejeição post-hoc é frequentemente ineficiente se o conjunto restrito possui baixa massa de probabilidade sob a posterior não restrita. Abordagens de amostragem restrita existentes, como a relaxação de restrições (adição de termos de penalidade) ou métodos baseados em projeção, sofrem de trade-offs: métodos de relaxação podem gerar amostras fora do conjunto de restrição ou falhar em capturar a covariância assintótica correta, enquanto métodos de projeção podem ignorar a geometria da posterior ou exigir mapeamentos proximais caros.

A metodologia proposta é o Bootstrap Bayesiano Ponderado com Restrições (CWBB), uma adaptação do bootstrap de verossimilhança ponderada (Newton e Raftery, 1994) e do bootstrap bayesiano ponderado (Newton et al., 2021). A ideia central transforma o problema de amostrar de uma posterior restrita em uma sequência de problemas de otimização restritos.

Dados os dados $x$ gerados de $f_\theta$ e uma priori $\pi(\theta)$, a posterior restrita é $\tilde{\pi}(\theta | x) \propto f_\theta(x)\pi(\theta) \mathbb{1}(\theta \in \tilde{\Theta})$. O CWBB gera amostras $\theta^{(t)}$ através de:

1. Desenho de pesos aleatórios $w_n \sim n \times \text{Dirichlet}(1, \dots, 1)$.
2. Resolução do seguinte problema de otimização restrita:
   $$\theta^{(t)} = \arg \max_{\theta \in \Theta} \sum_{i=1}^n w_{n,i} \ell(x_i | \theta) + \log \pi(\theta) \quad \text{sujeito a} \quad h(\theta) = 0$$
   onde $h(\theta) = 0$ define o conjunto de restrição $\tilde{\Theta}$.

Esta abordagem aproveita solvers de otimização convexa rápidos e prontos para uso (ex.: OSQP, descida de coordenadas) para lidar com as restrições. Diferente dos métodos de relaxação que modificam a função objetivo com um parâmetro de penalidade $\rho$, o CWBB impõe as restrições diretamente via restrições de igualdade no passo de otimização.

Contribuições Teóricas
O artigo estabelece dois resultados teóricos primários sob condições de regularidade padrão (incluindo identificabilidade, suavidade da log-verossimilhança e restrições, e Jacobiana de posto completo das restrições no verdadeiro $\theta_0$):

1. Consistência (Teorema 1): As amostras do CWBB são condicionalmente consistentes para o verdadeiro parâmetro $\theta_0$. À medida que o tamanho da amostra $n \to \infty$, a probabilidade de a solução do CWBB residir dentro de uma vizinhança $\delta$ de $\theta_0$ converge para 1 quase certamente.
2. Distribuição Assintótica (Teorema 2): A distribuição assintótica das amostras escalonadas do CWBB, $\sqrt{n}(\check{\theta}_n - \hat{\theta}_n)$, converge para uma distribuição normal multivariada centrada no Estimador de Máxima Verossimilhança Restrito (RMLE) $\hat{\theta}_n$. A matriz de covariância assintótica é:
   $$\Sigma_{CWBB} = J(\theta_0)^{-1} \{ I - U(\theta_0) \}$$
   onde $J(\theta_0)$ é a informação de Fisher e $U(\theta_0)$ é uma matriz de projeção derivada da Jacobiana das restrições. Esta covariância coincide com a do RMLE eficiente, implicando que o CWBB fornece intervalos de confiança frequentistas válidos e captura corretamente a redução na variância devido às restrições.

Os autores contrastam isso com métodos de relaxação de restrição (ex.: $\pi_\rho(\theta) \propto \exp(\sum \log f - \rho q(\theta))$). Eles demonstram (Proposição 1) que, para uma penalidade fixa $\rho$, métodos de relaxação podem falhar em atingir a covariância assintótica restrita correta conforme $n \to \infty$, efetivamente ignorando as restrições no limite, a menos que a penalidade escale com $n$.

Resultados Empíricos
O método é avaliado em três problemas bayesianos restritos distintos:

1. Regressão de Ordem Não Negativa: Em um cenário onde os coeficientes devem ser não negativos e não decrescentes, o CWBB demonstra probabilidades de cobertura comparáveis a um amostrador Gibbs não restrito (que ignora as restrições), mas com intervalos significativamente mais estreitos que respeitam as restrições. Crucialmente, o CWBB alcança isso com tempos de execução ordens de magnitude mais rápidos que métodos concorrentes como ProxMCMC ou relaxação de restrição, que lutam com mistura ou exigem ajustes extensos.
2. Estimativa de Matriz de Precisão Esparsa: Aplicando o CWBB à Lasso de Precisão Bayesiana (e variantes com penalidades SCAD/MCP), os autores mostram que usar a distribuição posterior completa do CWBB para classificar entradas não nulas (via intervalos de credibilidade) produz desempenho de classificação superior (F1-score, precisão, recall) em comparação com estimativas pontuais únicas. O método é competitivo com amostradores bayesianos específicos (ex.: BDGraph, ssgraph), mas requer menos hiperparâmetros e evita o ajuste complexo de burn-in.
3. Superfícies de Preços de Opções: Um estudo de caso sobre opções de compra (call) do tipo europeu requer satisfazer restrições de convexidade, monotonicidade e bid-ask spread. Métodos de amostragem padrão falham em produzir amostras viáveis ou misturam mal devido à geometria complexa do conjunto de restrição. O CWBB gera com sucesso 1.000 amostras viáveis independentes em menos de 10 minutos, fornecendo estimativas de incerteza válidas para a superfície de preços de opções que respeitam as restrições de mercado.

Significância e Alegações
O artigo afirma que o CWBB oferece uma ponte "simples e eficaz" entre a conveniência computacional da otimização restrita e a quantificação de incerteza da inferência bayesiana. Sua significância reside em:

• Generalidade: Aplica-se a uma ampla classe de restrições (igualdade e desigualdade) sem exigir maquinaria de amostragem especializada como mapeamentos proximais ou HMC de variedade.
• Eficiência: Aproveita ferramentas de otimização convexa rápidas, resultando em tempos de execução significativamente mais rápidos que métodos de amostragem restrita existentes.
• Validade Teórica: Fornece amostras cuja distribuição assintótica coincide com o RMLE eficiente, garantindo uma quantificação de incerteza válida que reflete corretamente a informação ganha pelas restrições.
• Utilidade Prática: Resolve problemas do mundo real difíceis (como precificação de opções) onde outros métodos falham em produzir amostras viáveis ou sofrem com tempos de execução intratáveis.

Os autores observam que, embora a teoria atual foque em restrições de igualdade e assintóticas de primeira ordem, a facilidade de implementação do método o torna uma solução prática de plug-in para qualquer tarefa estatística formulável como um problema de otimização restrita. Eles sugerem que trabalhos futuros possam estender a teoria para cenários mais amplos e aproximações de ordem superior.