Mode Collapse in Nested Sampling

Resumo Técnico: Colapso de Modos em Amostragem Aninhada

Enunciado do Problema
A amostragem aninhada (nested sampling) é um algoritmo de Monte Carlo amplamente utilizado para comparação de modelos Bayesianos e inferência de posteriors, sendo particularmente valorizado por sua robustez no tratamento de posteriors multimodais. O algoritmo mantém uma população de $K$ "pontos vivos" (live points) amostrados a partir da prior. Em cada iteração, o ponto com a menor verossimilhança é descartado e substituído por uma nova amostra extraída da prior, condicionada a possuir uma verossimilhança superior à do ponto descartado.

Embora o algoritmo seja projetado para eliminar naturalmente modos que são refutados pelos dados, este artigo identifica um modo de falha específico: o colapso de modo acidental (ou morte de modo). Isso ocorre quando a natureza estocástica da reposição de pontos causa o abandono não intencional de um modo válido, mesmo que os dados o sustentem. Esse risco é particularmente agudo em configurações de alta dimensionalidade e multimodais, onde as cadeias de Markov usadas para a reposição (por exemplo, slice sampling, hit-and-run) têm dificuldade em atravessar modos desconectados. Se um modo perde todos os seus pontos vivos, o amostrador não consegue redescobri-lo, levando a um posterior enviesado e a uma estimativa incorreta da evidência.

Metodologia
O autor desenvolve um modelo probabilístico para quantificar a probabilidade de colapso acidental, traçando uma analogia com o processo de Moran neutro na genética de populações.

1. Premissas e Modelo de Estado:

   • O sistema é modelado com dois modos (0 e 1) possuindo massas de prior restritas fracionárias $p$ e $1-p$.
   • A população consiste de $K$ pontos vivos. O estado é definido por $i$, o número de pontos vivos no modo 1.
   • A análise assume que o amostrador de prior com verossimilhança restrita (LRPS) é fiel (amostra proporcional à massa restante) e que a redescoberta de modos é negligenciável uma vez que um modo esteja vazio.
   • Para fornecer uma estimativa conservadora, o modelo assume gradientes de verossimilhança iguais em ambos os modos. Isso simplifica a probabilidade de remoção para ser proporcional à ocupação atual ($i/K$), ignorando o fato de que gradientes mais íngremes poderiam, de fato, proteger um modo da remoção.

2. Dinâmica de Transição:

   • Em cada iteração, um ponto é removido e uma reposição é gerada com base em uma semente extraída uniformemente dos $K$ pontos vivos atuais.
   • Sob a premissa de gradientes iguais, a probabilidade do estado $i$ mudar para $i+1$, $i-1$, ou permanecer em $i$ segue um passeio aleatório simétrico no conjunto $\{0, 1, \dots, K\}$.
   • Os estados $0$e$K$ são absorventes (uma vez que um modo esteja vazio ou totalmente ocupado, ele permanece assim).

3. Avaliação Numérica:

   • A distribuição de probabilidade dos estados ao longo do tempo é computada multiplicando iterativamente a distribuição binomial inicial (Eq. 1) pela matriz de transição definida pelas probabilidades de passeio aleatório (Eqs. 2–4).
   • A "probabilidade de colapso evoluído" $P_{evol}(t)$ é calculada como a probabilidade condicional de atingir um estado absorvente até a iteração $t$, dado que ambos os modos foram inicialmente povoados.

Resultos Principais
A avaliação numérica revela que a probabilidade de colapso de modo segue uma curva sigmoide quando plotada contra o número de iterações. Crucialmente, as curvas para diferentes valores de $K$ e $p$ alinham-se quando a contagem de iterações é normalizada pelo fator $K^2 \times \min(p, 1-p)$.

• Lei de Escala: A probabilidade de colapso de modo evoluído permanece abaixo de 50% enquanto o número de iterações $t$ satisfizer $t \lesssim K^2 \times \min(p, 1-p)$.
• Regra Heurística: Como o número total de iterações necessário para atualizar da prior para o posterior é aproximadamente $K \times H$ (onde $H$ é o ganho de informação ou divergência KL), o artigo deriva uma regra prática para o número mínimo de pontos vivos necessários para tornar o colapso acidental improvável:
  $$K \gtrsim \frac{H}{\min(p, 1-p)}$$
  Para que a probabilidade de colapso seja bem abaixo de 50%, $K$ deve exceder confortavelmente este limite inferior por um fator de alguns múltiplos.

Significância e Alegações
O artigo afirma fornecer um arcabouço geral e independente de dimensão para compreender o risco de colapso de modo em amostragem aninhada. Sua principal contribuição é a derivação de uma heurística simples (Eq. 10) que vincula o tamanho populacional necessário $K$ ao ganho de informação $H$ e à massa fracionária do menor modo $p$.

O autor observa que, para ganhos de informação típicos ($H \sim 10\text{--}1000$ nats) e uma fração de menor modo modesta ($p=0.1$), a regra sugere valores de $K$ na faixa de 100–10.000. No entanto, o artigo conclui modestamente que, sob as configurações comumente utilizadas na literatura, o colapso de modo acidental é provavelmente "extremamente raro". A análise serve como uma ferramenta de diagnóstico: após uma execução inicial, a Eq. 10 pode ser usada para estimar a probabilidade de que tenha ocorrido um colapso de modo não intencional.

O artigo também contextualiza suas descobertas frente aos métodos existentes de prevenção dinâmica (por exemplo, o agrupamento do MultiNest ou a amostragem aninhada reativa do UltraNest), observando que, enquanto esses métodos dependem da detecção de modos para alocar recursos, a lei de escala derivada oferece uma linha de base fundamental para definir $K$ a fim de garantir a retenção sem a necessidade de agrupamento explícito.