Nested Sampling with Slice-within-Gibbs: Efficient Evidence Calculation for Hierarchical Bayesian Models

---

1. O Problema

O artigo aborda um desafio fundamental na inferência bayesiana de alta dimensão: a estimativa eficiente da evidência bayesiana (ou verossimilhança marginal, $Z$) em modelos hierárquicos.

• Contexto: A Amostragem Aninhada (Nested Sampling - NS) é o padrão-ouro para calcular $Z$, permitindo comparação rigorosa de modelos. No entanto, em modelos hierárquicos com $J$ grupos de dados e parâmetros locais $\theta_j$ compartilhando hiperparâmetros $\psi$, a complexidade computacional torna-se proibitiva.
• O Gargalo: Em implementações tradicionais de NS, para substituir um ponto vivo (live point) na nuvem de partículas, é necessário amostrar da distribuição a priori truncada por uma restrição de verossimilhança ($\mathcal{L} > \mathcal{L}^*$).
  • Em modelos fatorizados onde a log-verossimilhança é uma soma $\ell = \sum \ell_j$, uma abordagem ingênua recalcula a soma global a cada proposta de atualização de um bloco local.
  • Isso resulta em um custo de $O(J)$ por verificação de restrição. Como são necessárias $O(J)$ atualizações para cobrir todos os parâmetros em uma varredura (sweep), o custo total por substituição torna-se $O(J^2)$.
  • Considerando o número de iterações externas necessárias para comprimir o volume da priori, a complexidade total escala como $O(J^3)$, tornando o método inviável para catálogos com milhares de objetos (comum em astrofísica e cosmologia).
• Limitações de Alternativas: Métodos baseados em gradiente (como HMC/NUTS) são escaláveis para a amostragem da posterior, mas lutam com a estimativa direta da evidência e frequentemente falham em geometrias complexas (como o "funil" de Neal) sem reparametrização cuidadosa.

2. Metodologia: NS-SwiG

O autor propõe o algoritmo NS-SwiG (Nested Sampling with Slice-within-Gibbs), que combina o loop externo de Amostragem Aninhada com um kernel interno de Slice-within-Gibbs otimizado para a estrutura do modelo.

A. Decomposição de Orçamento de Verossimilhança (Likelihood-Budget Decomposition)

A contribuição central é a transformação da restrição global em orçamentos locais:

• Em vez de verificar $\sum_{j=1}^J \ell_j > \ell^*$ a cada passo, o algoritmo mantém um cache do total atual $S = \sum \ell_j$.
• Ao propor uma atualização para o bloco $k$, a restrição global é reescrita como uma restrição local:
  $$\ell_k(\theta'_k, \psi) > B_k$$
  onde $B_k = \ell^* - (S - \ell_k)$ é o "orçamento" restante.
• Isso permite que a verificação de viabilidade seja feita em $O(1)$ (tempo constante), pois apenas o termo local $\ell_k$ precisa ser recalculado e o total $S$ atualizado incrementalmente.

B. Kernel Slice-within-Gibbs Constrained

O algoritmo executa um loop interno de Gibbs alternando entre:

1. Atualização de Hiperparâmetros ($\psi$): Uma amostragem por slice que considera todos os grupos (custo $O(J)$).
2. Varredura de Blocos Locais ($\theta_j$): Para cada grupo $j$, amostra-se $\theta_j$ condicionado aos outros, respeitando o orçamento local $B_j$. Como cada verificação é $O(1)$, uma varredura completa sobre $J$ grupos custa $O(J)$.

C. Complexidade e Escalabilidade

• Custo por Substituição: Reduzido de $O(J^2)$ para $O(J)$.
• Complexidade Total: Sob suposições padrão (onde o número de iterações externas escala linearmente com $J$), a complexidade total cai de $O(J^3)$ para $O(J^2)$.
• Extensão: O método lida naturalmente com variáveis latentes estruturadas como cadeias de Markov (ex: modelos de volatilidade estocástica), mantendo a verificação $O(1)$ ao atualizar orçamentos de vizinhança.

3. Principais Contribuições

1. Decomposição de Orçamento: Demonstração de que a restrição global de NS pode ser decomposta em orçamentos locais atualizáveis em tempo constante via cache de contribuições de verossimilhança.
2. Kernel Constrained Slice-within-Gibbs: Construção de um kernel de MCMC que explora a independência condicional de modelos hierárquicos, reduzindo o custo de varredura de $O(J^2)$ para $O(J)$.
3. Implementação e Validação: Implementação vetorializada em JAX (BlackJAX) e validação em benchmarks desafiadores, demonstrando escalabilidade até dimensões de ~2500 parâmetros e precisão na estimativa de evidência onde métodos baseados em gradiente falham.

4. Resultados Experimentais

Os experimentos foram realizados em quatro benchmarks, comparando NS-SwiG com NSS (Amostragem Aninhada padrão), NUTS e SMC-HMC:

• Modelo Gaussiano Hierárquico:
  • Escalabilidade confirmada: NS-SwiG manteve o custo de avaliação de verossimilhança em $O(J)$, enquanto o método padrão (NSS) escalou quadraticamente ($O(J^2)$).
  • Precisão: Estimativas de evidência ($\log Z$) precisas e consistentes até $J=1000$ grupos.
• Distribuição Funnel (Neal):
  • Cenário de teste para geometrias patológicas (acoplamento forte entre hiper e parâmetros locais).
  • Resultado: NUTS sofreu com transições divergentes na parametrização centralizada. NS-SwiG capturou a geometria completa do funil sem necessidade de reparametrização, fornecendo estimativas de evidência não viciadas.
• Modelo de Efeitos Contextuais (Radon):
  • Regressão hierárquica com 85 condados.
  • NS-SwiG superou o SMC-HMC em estimativa de evidência (SMC-HMC mostrou degeneração de partículas e viés na parametrização centralizada).
• Volatilidade Estocástica (S&P 500):
  • Teste com estrutura de Markov (dependência temporal).
  • NS-SwiG demonstrou escalabilidade para $J=2516$ (dimensão total ~2519), recuperando posteriors precisas e fornecendo evidência, enquanto NUTS exigiu mais tempo computacional e mostrou divergências em dimensões menores.

5. Significado e Conclusão

O artigo estabelece o NS-SwiG como uma solução prática para a inferência bayesiana em larga escala em domínios como astrofísica e cosmologia, onde catálogos de objetos crescem rapidamente.

• Vantagem Chave: Permite a estimativa direta e robusta da evidência bayesiana (crucial para seleção de modelos) em problemas de alta dimensão, sem depender de gradientes ou reparametrizações manuais complexas.
• Impacto: Reduz a barreira computacional para aplicar Amostragem Aninhada a problemas hierárquicos massivos, transformando uma complexidade cúbica em quadrática.
• Limitações: Requer que a verossimilhança admita uma estrutura fatorizada (ou de Markov) para que a decomposição de orçamento funcione. Em casos onde não há estrutura de fatorização, o método recua para o custo padrão de NS. Além disso, o custo de memória para cachear contribuições de verossimilhança pode ser um fator limitante em dimensões extremas.

Em suma, o trabalho revitaliza o uso de kernels de Gibbs dentro da Amostragem Aninhada, oferecendo uma via eficiente para a comparação de modelos em cenários onde métodos baseados em gradiente são instáveis ou incapazes de calcular a evidência.