Amortised and provably-robust simulation-based inference

1. O Problema

A Inferência Baseada em Simulação (SBI) é uma estrutura poderosa para realizar inferência bayesiana em modelos complexos onde a função de verossimilhança é intratável, mas a simulação de dados é viável. Embora amplamente utilizada em áreas como física de partículas, epidemiologia e cosmologia, os métodos existentes enfrentam dois desafios principais:

1. Falta de Robustez: A maioria dos métodos de SBI (como a Estimativa de Verossimilhança Neural - NLE) é altamente sensível a outliers e erros de medição. Quando os dados observados contêm valores extremos (devido a falhas instrumentais ou erros humanos), a distribuição posterior estimada torna-se severamente enviesada, levando a conclusões científicas incorretas.
2. Compromisso entre Amortização e Robustez: Métodos robustos existentes (baseados em bootstrap ou distâncias de máxima média) geralmente não são amortizados, exigindo que todo o processo de inferência seja reexecutado para cada novo conjunto de dados, o que é computacionalmente proibitivo. Por outro lado, métodos amortizados rápidos (como NLE e NPE) carecem de garantias teóricas de robustez.

O objetivo deste trabalho é preencher essa lacuna, propondo um método que seja simultaneamente amortizado (rápido para novas observações) e comprovadamente robusto a outliers.

2. Metodologia

Os autores propõem o Neural Score-Matching Bayes (NSM-Bayes), um método fundamentado na inferência bayesiana generalizada (GBI) e na aproximação neural de uma perda de score matching ponderada.

A. Abordagem Geral (NSM-Bayes)

O método segue uma abordagem de dois passos:

1. Treinamento do Surrogato: Um modelo de densidade condicional neural (como Normalizing Flows ou Mixture Density Networks) é treinado para aproximar a distribuição do simulador $p(x|\theta)$ usando dados simulados.
2. Atualização da Posteriori: Em vez de usar a verossimilhança padrão, o método utiliza a Inferência Bayesiana Generalizada com uma função de perda baseada em Score Matching (SM) ponderada.
   • A perda SM mede a divergência entre a densidade do modelo e os dados observados sem exigir a normalização da densidade.
   • Uma função de peso $w(x)$ (especificamente a função Inverse Multi-Quadratic - IMQ) é aplicada para reduzir o impacto de pontos de dados que se desviam significativamente da média robusta dos dados observados.

A posteriori é dada por:
$$\pi_{NSM}(\theta | x_{1:n}^o) \propto \exp\left(-\beta n L_{NSM}(\theta; x_{1:n}^o, \hat{\phi}_m)\right) \pi(\theta)$$
Onde $L_{NSM}$ é a perda de score matching ponderada e $\beta$ é uma taxa de aprendizado (temperatura) calibrada para garantir a cobertura correta dos intervalos de credibilidade.

B. Caso Conjugado (NSM-Bayes-conj)

Para reduzir ainda mais o custo computacional, os autores derivam uma versão conjugada do método:

• Assume-se um prior Gaussiano e um modelo de densidade condicional na forma de uma família exponencial natural (baseada em modelos energy-based).
• Isso permite uma atualização analítica da posteriori, eliminando a necessidade de amostragem MCMC (Monte Carlo via Cadeias de Markov) durante a fase de inferência.
• O resultado é um método totalmente amortizado, onde a inferência para novos dados é instantânea após o treinamento do modelo.

3. Contribuições Principais

1. Primeiras Garantias Teóricas de Robustez para SBI Amortizada:

   • Os autores provam teoreaticamente que a posteriori NLE padrão não é robusta a outliers (sua função de influência é ilimitada).
   • Demonstram que o NSM-Bayes e o NSM-Bayes-conj são globalmente robustos a viés (globally-bias robust), desde que certas condições de crescimento dos gradientes do modelo neural e do peso sejam atendidas.
   • Fornecem condições específicas para arquiteturas comuns como Mixture Density Networks (MDN) e Masked Autoregressive Flows (MAF), garantindo robustez para implementações práticas.

2. Eficiência Computacional e Amortização:

   • O método permite reutilizar o modelo treinado para múltiplas observações sem re-treinamento.
   • A versão conjugada (NSM-Bayes-conj) elimina a etapa de MCMC na inferência, oferecendo vantagens computacionais significativas (inferência em segundos vs. minutos/horas).

3. Calibração de Hiperparâmetros:

   • Apresentam um procedimento para calibrar a taxa de aprendizado $\beta$ usando bootstrap, garantindo que os intervalos de credibilidade da posteriori generalizada tenham cobertura frequentista correta, mesmo na presença de outliers.

4. Resultados Experimentais

Os métodos foram testados em três cenários com dados contaminados por outliers (10% de contaminação):

1. Distribuição g-and-k:

   • A NLE padrão falhou completamente (0% de cobertura empírica), produzindo estimativas enviesadas.
   • O NSM-Bayes e o NSM-Bayes-conj alcançaram 100% de cobertura e os menores erros quadráticos médios (MSE) e distâncias MMD em comparação com o estado da arte (RSNLE, NPE-RS, ACE, GBI-SR).
   • O NSM-Bayes-conj foi o mais rápido na inferência.

2. Modelo SIR (Epidemiologia) com Subnotificação:

   • Simula cenários de subnotificação de casos (outliers de um lado).
   • A NLE produziu posteriors altamente confiantes, mas catastróficamente enviesadas.
   • Os métodos propostos recuperaram os parâmetros verdadeiros com alta precisão. O NSM-Bayes-conj foi novamente o mais eficiente em tempo de inferência.

3. Modelo de Propagação de Rádio:

   • Simula sinais com ruído e interferência destrutiva.
   • Mesmo com simuladores não diferenciáveis (onde métodos baseados em gradiente falham), o NSM-Bayes e sua versão conjugada produziram posteriors centradas nos valores verdadeiros, enquanto a NLE falhou severamente.

Comparação com Baselines:

• Métodos robustos existentes (como NPL-MMD) eram lentos e não amortizados.
• Métodos amortizados existentes (como ACE e NPE-RS) não eram robustos teoricamente e falharam em cenários com poucos dados de simulação.
• O NSM-Bayes-conj ofereceu o melhor equilíbrio entre robustez, precisão e velocidade.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na inferência baseada em simulação ao resolver o dilema entre velocidade (amortização) e confiabilidade (robustez).

• Impacto Prático: Permite que cientistas utilizem modelos complexos de simulação em cenários do mundo real onde a qualidade dos dados é imperfeita, sem sacrificar a velocidade de análise necessária para grandes volumes de dados.
• Contribuição Teórica: Estabelece as primeiras garantias formais de robustez para métodos de inferência amortizada, validando o uso de score matching ponderado como uma ferramenta segura contra outliers.
• Acessibilidade: Ao eliminar a necessidade de MCMC na fase de inferência (na versão conjugada), o método torna a inferência robusta acessível para aplicações em tempo real ou em sistemas com recursos computacionais limitados.

Em resumo, o NSM-Bayes oferece uma nova ferramenta padrão para inferência bayesiana em simulações, garantindo que conclusões científicas não sejam distorcidas por erros de medição ou dados corrompidos.