Efficient prior sensitivity analysis for Bayesian model comparison

Resumo Técnico: Análise Eficiente de Sensibilidade de Priors para Comparação de Modelos Bayesianos

Definição do Problema
A comparação de modelos bayesianos baseia-se no cálculo da verossimilhança marginal (evidência bayesiana), que incorpora intrinsecamente a navalha de Occam ao penalizar modelos com espaço de parâmetros excessivo ou desperdiçado. No entanto, esse mecanismo torna a evidência diretamente sensível à especificação do volume da prior. Embora as boas práticas ditem que as priors devem ser motivadas fisicamente ou informadas pelos dados, a comparação de modelos resultante pode ser arbitrária se as priors não forem escolhidas cuidadosamente. Consequentemente, avaliar a sensibilidade da evidência a priors alternativas plausíveis é crítico para uma inferência científica robusta.

Atualmente, tais análises de sensibilidade são computacionalmente proibitivas. Avaliar a influência de priors alternativas normalmente exige o ajuste repetido e custoso de modelos (executando MCMC completo ou nested sampling do zero) ou esquemas de amostragem especializados. Os métodos existentes de análise de sensibilidade formal para inferência posterior não se estendem aos fatores de Bayes, e verificações "informais" são frequentemente tratáveis apenas em casos limites simples. Este trabalho aborda a necessidade de um método eficiente para avaliar a dependência da prior sem incorrer no custo computacional de reexecutar procedimentos inteiros de amostragem.

Metodologia
Os autores propõem uma abordagem que desacopla o processo de amostragem do cálculo da evidência, permitindo o reuso das amostras posteriores existentes para a análise de sensibilidade da prior. O método consiste em dois componentes primários:

1. Reamostragem por Importância (SIR):
   Dada um conjunto de amostras posteriores $\{\theta_i\}$ extraídas de um modelo original $M_0$ (definido pela verossimilhança $L$ e pela prior $p(\theta|M_0)$), o método aproxima a posterior para um modelo alternativo $M_1$ (com a mesma verossimilhança, mas uma prior diferente $p(\theta|M_1)$) usando a Reamostragem por Importância de Amostras (SIR).

   • Pesos de importância não normalizados são calculados como a razão entre a nova prior e a antiga prior: $w_i = p(\theta_i|M_1) / p(\theta_i|M_0)$.
   • Um novo conjunto de amostras não ponderadas $\{\theta^*_i\}$ é gerado reamostrando o conjunto original com reposição de acordo com esses pesos.
   • Esta etapa evita qualquer nova avaliação de verossimilhança, pois os termos de verossimilhança se cancelam no cálculo do peso.

2. Estimador de Média Harmônica Aprendido (LHME):
   Para calcular a evidência para o modelo alternativo usando as amostras reamostradas, os autores empregam o Estimador de Média Harmônica Aprendido.

   • O LHME introduz uma distribuição alvo aprendida $\phi(\theta)$ (tipicamente um normalizing flow treinado nas amostras posteriores) para estabilizar o estimador padrão de média harmônica.
   • A evidência para o modelo alternativo é estimada usando as amostras reamostradas e a nova prior, sem reavaliar a verossimilhança.
   • Se a posterior for insensível à mudança da prior, a $\phi_0(\theta)$ aprendida originalmente é reutilizada. Se a posterior mudar significativamente, $\phi(\theta)$ é retreinada sobre as amostras reamostradas (um processo significativamente mais rápido do que um ajuste completo de modelo).

Verificações Diagnósticas
Para garantir a confiabilidade da amostragem por importância, os autores implementam um fluxo de trabalho diagnóstico de duas etapas:

• Diagnóstico Pareto-$\hat{k}$: Estima o parâmetro de forma da distribuição de Pareto generalizada ajustada à cauda superior dos pesos de importância. Se $\hat{k} > 0,7$, a amostragem por importância é considerada não confiável, indicando que um ajuste completo do modelo é necessário.
• Tamanho Efetivo de Amostra (ESS): Calcula o ESS fracionário dos pesos de importância. Se o ESS cair abaixo de um limite conservador (ex: 0,95), isso indica baixa sobreposição entre as posteriors original e nova, disparando o retreinamento da densidade alvo $\phi(\theta)$ para manter a baixa variância na estimativa da evidência.

Principais Contribuições

• Desacoplamento de Amostragem e Evidência: O trabalho demonstra que, ao aproveitar o LHME, é possível desacoplar a geração de amostras posteriores do cálculo da evidência. Isso permite que as amostras posteriores de qualquer método de amostragem (MCMC, nested sampling, estimadores de densidade neural) sejam reutilizadas para priors alternativas.
• Eficiência Computacional: O método elimina a necessidade de avaliações repetidas de verossimilhança durante a análise de sensibilidade. Ele fornece um caminho para avaliar a dependência da prior que é agnóstico à estratégia de amostragem original.
• Diagnósticos Robustos: A integração dos diagnósticos Pareto-$\hat{k}$ e ESS fornece uma maneira sistemática de sinalizar quando a amostragem por importância falha e quando um ajuste completo é inevitável, evitando o relato de estimativas de evidência errôneas.

Resultos
O método foi validado em dois problemas de teste (toy problems) e um estudo de caso cosmológico:

1. Problema de Teste Gaussiano: Em um cenário Gaussiano de 10 dimensões, o método reproduziu com precisão os valores analíticos de evidência através de diferentes larguras de prior. Os diagnósticos identificaram corretamente quando a posterior era insensível (alto ESS, nenhum retreinamento necessário) versus quando a prior tornou-se tão informativa que a posterior mudou drasticamente (baixo ESS, alto $\hat{k}$, exigindo retreinamento ou ajuste completo).
2. Problema de Teste Rosenbrock: Usando uma verossimilhança não linear de Rosenbrock, o método estimou com sucesso a evidência para priors informativas deslocadas do modo da verossimilhança. Ele sinalizou corretamente a prior mais deslocada como não confiável via diagnóstico Pareto-$\hat{k}$.
3. Estudo de Caso Cosmológico: Aplicado à razão tensor-escalar ($r$) em cosmologia, o método comparou priors logarítmicas e uniformes. Ele reproduziu estimativas de evidência consistentes com ajustes completos de nested sampling e reexecuções de MCMC.
   • Aceleração: Para o exemplo cosmológico, a abordagem de reamostragem alcançou acelerações computacionais de aproximadamente 3000× a 6000× em comparação com ajustes completos de modelos.
   • Precisão: Os valores de log-evidência estimados coincidiram com aqueles dos ajustes completos dentro das incertezas declaradas, mesmo quando a posterior mudou moderada ou significativamente.

Significância e Alegações
Os autores afirmam que esta abordagem oferece uma solução prática para um gargalo de longa data na comparação de modelos Bayesianos: o alto custo da análise de sensibilidade de priors. Ao permitir o cálculo direto da evidência a partir de amostras posteriores reamostradas, o método reduz drasticamente os custos computacionais enquanto permanece agnóstico à técnica de amostragem usada para gerar as amostras originais.

O artigo enfatiza que, embora a fragilidade da evidência Bayesiana à escolha da prior seja um problema conhecido, a incapacidade de testar eficientemente priors alternativas tem dificultado a transparência nos relatos. Este método facilita tal transparência, permitindo que pesquisadores explorem a sensibilidade de suas conclusões a escolhas de priors alternativas razoáveis sem despesas computacionais proibitivas. Os autores observam que o estimador de média harmônica aprendido é o facilitador chave desta eficiência post-hoc e que o método é aplicável a qualquer cenário onde amostras posteriores estejam disponíveis, potencialmente estendendo-se para a combinação de evidências entre conjuntos de dados.