Amortised and provably-robust simulation-based inference

1. Introducción y Problema

La Inferencia Basada en Simulación (SBI, por sus siglas en inglés) es un marco fundamental para realizar inferencia bayesiana en modelos complejos donde la función de verosimilitud es intratable, pero la simulación de datos es factible. Se utiliza ampliamente en física de partículas, epidemiología y cosmología.

Sin embargo, los métodos SBI existentes enfrentan un desafío crítico: la falta de robustez ante la mala especificación del modelo, particularmente ante la presencia de valores atípicos (outliers) o datos corruptos (debido a errores de medición o humanos).

• Los métodos tradicionales como la Estimación de Verosimilitud Neuronal (NLE) suelen producir posteriors sesgados y poco confiables cuando los datos contienen outliers.
• Las soluciones robustas existentes a menudo carecen de garantías teóricas formales, no son amortizadas (requieren reentrenamiento para cada nuevo conjunto de datos) o requieren información adicional (datos extra) para lograr robustez.

El objetivo de este trabajo es desarrollar un método que sea simultáneamente amortizado (eficiente computacionalmente para múltiples observaciones) y demostrablemente robusto a outliers, sin sacrificar la flexibilidad del modelo.

2. Metodología Propuesta

Los autores proponen NSM-Bayes (Neural Score-Matching Bayes), un enfoque novedoso basado en la inferencia bayesiana generalizada (GBI) y una aproximación neuronal de una pérdida de score-matching ponderada.

A. Fundamentos Teóricos

El método se basa en minimizar una divergencia de Score-Matching (SM) ponderada. En lugar de usar la verosimilitud directa (que es intratable), se utiliza un modelo neuronal condicional $q_\phi(x|\theta)$ para aproximar la densidad. La actualización de la creencia se realiza mediante una pérdida generalizada:
$$\pi_{NSM}(\theta | x_{1:n}) \propto \exp\left(-\beta n L_{NSM}(\theta; x_{1:n}, \hat{\phi}_m)\right) \pi(\theta)$$
Donde $L_{NSM}$ es una estimación de la divergencia de SM ponderada por una función $w(x)$.

B. Mecanismo de Robustez

La clave de la robustez reside en la función de peso $w(x)$, elegida como una función Inverso Multi-Cuadrática (IMQ):
$$w_\zeta(x) = \left(1 + \|x - \hat{\nu}_n\|^2_{\hat{\Xi}_n^{-1}}\right)^{-1/\zeta}$$

• Esta función asigna pesos menores a los puntos de datos que se desvían significativamente de la distribución central (estimada robustamente mediante $\hat{\nu}_n$ y $\hat{\Xi}_n$).
• El parámetro $\zeta$ controla la fuerza de la penalización. El papel demuestra que valores específicos de $\zeta$ garantizan la robustez teórica.

C. Dos Variantes del Método

1. NSM-Bayes (General): Utiliza cualquier modelo de densidad condicional flexible (como Flujos Normalizadores o Redes de Densidad de Mezcla) entrenado mediante score-matching. Es parcialmente amortizado: el modelo se entrena una vez, y la inferencia para nuevos datos solo requiere optimizar la posterior (usualmente con MCMC).
2. NSM-Bayes-conj (Conjugado): Una versión especializada que asume:
   • Un prior Gaussiano.
   • Un modelo de densidad condicional de la familia exponencial natural (basado en modelos de energía).
   • Resultado: Esto permite una actualización conjugada cerrada, eliminando la necesidad de MCMC en la fase de inferencia. Es totalmente amortizado y computacionalmente mucho más eficiente.

3. Contribuciones Clave

1. Garantías Teóricas de Robustez: Los autores proporcionan las primeras pruebas formales de que los métodos SBI amortizados pueden ser robustos a outliers. Demuestran que el posterior de NLE no es robusto (su función de influencia de sesgo global es infinita), mientras que NSM-Bayes y NSM-Bayes-conj tienen una función de influencia acotada bajo condiciones razonables sobre la arquitectura neuronal y los priores.
2. Eficiencia Computacional (Amortización Total): Mediante la versión conjugada (NSM-Bayes-conj), logran inferencia sin MCMC, reduciendo drásticamente el tiempo de inferencia en comparación con métodos que requieren cadenas de Markov para cada nuevo conjunto de datos.
3. Calibración del Parámetro de Aprendizaje ($\beta$): Proponen un procedimiento basado en bootstrap para calibrar el parámetro de temperatura $\beta$ en la inferencia generalizada, asegurando que las regiones creíbles tengan una cobertura frecuentista correcta (95%).

4. Resultados Experimentales

Los métodos se evaluaron en tres escenarios con datos contaminados (outliers):

1. Distribución g-and-k: Un modelo flexible sin forma cerrada de verosimilitud.
   • Resultado: NLE falló estrepitosamente (0% de cobertura, posterior sesgada). NSM-Bayes y NSM-Bayes-conj lograron 100% de cobertura y los errores cuadráticos medios (MSE) más bajos entre los métodos robustos. NSM-Bayes-conj fue extremadamente rápido en la fase de inferencia.
2. Modelo SIR (Epidemiología): Simulación de brotes con subregistro de casos (un tipo de contaminación unidireccional).
   • Resultado: NLE produjo posteriors muy seguros pero incorrectos. NSM-Bayes-conj superó a todos los competidores (incluyendo ACE y GBI-SR) en precisión y tiempo de inferencia, demostrando alta eficiencia de muestra.
3. Modelo de Propagación de Radio: Datos de señales con ruido destructivo y fallos en antenas.
   • Resultado: Incluso con simuladores no diferenciables, NSM-Bayes y NSM-Bayes-conj recuperaron los parámetros verdaderos, mientras que NLE y otros métodos mostraron sesgos significativos.

Comparación con Baselines:

• NLE: Rápido pero no robusto.
• RSNLE, NPE-RS: Rápidos pero sin garantías de robustez y con bajo rendimiento en cobertura.
• NPL-MMD, GBI-SR: Robustos pero computacionalmente costosos (requieren MCMC o simulaciones masivas) y no totalmente amortizados.
• ACE: Parcialmente amortizado y robusto, pero con tiempos de inferencia altos y menor eficiencia de muestra.

5. Significado y Conclusión

Este trabajo cierra una brecha importante en la inferencia basada en simulación al ofrecer un método que no sacrifica la eficiencia computacional por la robustez.

• Impacto Práctico: Permite a los investigadores utilizar inferencia bayesiana en entornos del mundo real donde los datos son ruidosos o imperfectos, sin necesidad de reentrenar modelos costosos cada vez que llegan nuevos datos.
• Avance Teórico: Establece un nuevo estándar al proporcionar garantías matemáticas de robustez para métodos amortizados, algo que anteriormente solo existía para métodos no amortizados o sin garantías formales.
• Versatilidad: La capacidad de funcionar con simuladores no diferenciables y la opción conjugada para una inferencia instantánea lo hacen aplicable en campos críticos como la epidemiología, la ingeniería de telecomunicaciones y la física.

En resumen, NSM-Bayes representa un avance significativo hacia la creación de sistemas de inferencia automatizados que son a la vez rápidos, escalables y confiables frente a datos imperfectos.