Robust Simulation Based Inference Through Robust Optimal Transport

Resumen Técnico: Inferencia Basada en Simulación Robusta mediante Transporte Óptimo Robusto

Enunciado del Problema
La Inferencia Basada en Simulación (SBI) es un marco para la inferencia estadística cuando la función de verosimilitud de un modelo paramétrico $\{P_\theta : \theta \in \Theta\}$ es analíticamente intratable, pero las simulaciones desde el modelo son posibles. Los métodos estándar de SBI a menudo asumen que la distribución generadora de datos $P$ es exactamente un miembro del modelo ($P = P_{\theta^*}$). Sin embargo, en la práctica, los modelos rara vez son exactos y los datos pueden estar sujetos a contaminación. Los métodos robustos existentes abordan típicamente ya sea la "contaminación de Huber" (contaminación de masa donde una fracción $\epsilon$ de los datos es reemplazada por ruido arbitrario) o perturbaciones geométricas (donde los puntos de datos se desplazan por una pequeña distancia). Existe una brecha significativa en los métodos que pueden manejar simultáneamente ambos tipos de contaminación, particularmente dentro del contexto de SBI donde las verosimilitudes no están disponibles. Además, muchos enfoques robustos de SBI dependen de la Discrepancia de Máxima Media (MMD) o la distancia de Wasserstein, los cuales sufren de sensibilidad a la selección de hiperparámetros (por ejemplo, ancho de banda del kernel) o carecen de robustez frente a la contaminación de masa, respectivamente.

Metodología
Los autores proponen Mínimo Robusto Semi-construido de Wasserstein-2 con Bootstrap (B-MRSW), un marco que integra una nueva medida de divergencia con el bootstrap regular para la cuantificación de la incertidumbre.

1. La Divergencia ($\ell_\lambda$): El núcleo del método es la divergencia de Wasserstein-2 Semi-construido Robusto $\lambda$ ($\lambda$-RSW). Para medidas de probabilidad $P_1, P_2$, se define como:
   $$\ell_\lambda(P_1, P_2) := \inf_{Q \ll P_1} \left[ \frac{1}{\lambda} KL(Q, P_1) + W_2^2(P_2, Q) \right]$$
   donde $KL$ es la divergencia de Kullback-Leibler y $W_2$ es la distancia de Wasserstein-2. Esta formulación relaja la restricción marginal dura del transporte óptimo estándar permitiendo que la primera marginal sea reponderada (vía $Q$) a un costo penalizado por $KL$. Esto se motiva por la Verosimilitud Empírica con restricciones distribucionales.

   • Robustez: Los autores demuestran que para valores intermedios de $\lambda$ (por ejemplo, $\lambda=1$), minimizar $\ell_\lambda(P, P_\theta)$ produce una estimación de parámetro robusta al modelo de contaminación Geométrica+Huber (G+H), donde $P = (1-\epsilon)Q + \epsilon F$ y $W_2(Q, P_{\theta^*}) \le \rho$.
   • Límites: A medida que $\lambda \to 0$, $\ell_\lambda$ converge a $W_2^2$ (sensible a la contaminación de Huber). A medida que $\lambda \to \infty$, converge a la distancia promedio al vecino más cercano (poco informativa para la estimación de la varianza).

2. Algoritmo para Aproximación Semi-discreta:
   Dado que $P_n$ (los datos empíricos) es discreto y $P_\theta$ es a menudo continuo, el problema es semi-discreto. Los autores derivan una formulación dual (Teorema 3.1) que convierte el problema min-min en un problema de maximización cóncava sobre un vector $g \in \mathbb{R}^n$:
   $$\ell_\lambda(P_n, P_\theta) = \sup_{g \in \mathbb{R}^n} \mathbb{E}_{X \sim P_\theta} \left[ \min_{j \in [n]} (\|X - Y_j\|^2 - g_j) - \frac{1}{\lambda} \log \left( \frac{1}{n} \sum_{t=1}^n e^{-\lambda g_t} \right) \right]$$
   Proponen el Algoritmo 1, un algoritmo de ascenso de subgradiente estocástico (SGA) para aproximar este valor, proporcionando una garantía de convergencia de error absoluto esperado de $O(\epsilon)$ en un tiempo de $O(n^2/\epsilon^2)$.

3. Pipeline de Inferencia:

   • Selección de $\lambda$: Una heurística basada en datos selecciona $\lambda$ observando un "codo" en la gráfica de la distancia de Wasserstein-2 entre el modelo ajustado y la medida empírica reponderada a través de un rango de valores de $\lambda$.
   • Estimación de Parámetros: El estimador de mínima divergencia $\hat{\theta}_\lambda$ se encuentra utilizando la Estrategia de Evolución Adaptativa de la Matriz de Covarianza (CMA-ES) para optimizar el objetivo no convexo $\ell_\lambda(P_n, P_\theta)$, evaluado mediante el Algoritmo 1.
   • Cuantificación de la Incertidumbre: Se aplica el bootstrap regular sobre el estimador mínimo $\lambda$-RSW. Se generan $M$ conjuntos de datos de bootstrap, y se ejecuta el pipeline CMA-ES/SGA para cada uno para producir una distribución de estimaciones, formando intervalos de confianza.

Contribuciones Clave

1. Robustez Teórica: El artículo establece que la divergencia $\lambda$-RSW proporciona robustez teórica bajo el modelo de contaminación conjunta Geométrica+Huber, un escenario no abordado previamente por un único método unificado en SBI.
2. Desarrollo Algorítmico: Los autores proporcionan el primer algoritmo con una garantía de convergencia para calcular el Transporte Óptimo Robusto Semi-construido semi-discreto, utilizando un enfoque de ascenso de subgradiente estocástico.
3. Ajuste Basado en Datos: Se introduce una heurística principada y basada en datos para seleccionar el parámetro de robustez $\lambda$, eliminando la necesidad de una especificación arbitraria por parte del usuario.
4. Cuantificación de la Incertidumbre: El marco integra el bootstrap regular para proporcionar conjuntos de confianza con cobertura asintótica adecuada, abordando un modo de fallo común en la inferencia bayesiana y frecuentista robusta.

Resultados
El método se evalúa en dos puntos de referencia:

1. Distribución Normal Univariable: Bajo contaminación G+H (mezclando una distribución $t$ de Student o Normal discretizada con una masa de Dirac), B-MRSW recupera con éxito la media y la varianza. Por el contrario, la estimación estándar de Mínimo Wasserstein-2 falla bajo contaminación de Huber.
2. Distribución G-and-K: Una distribución compleja de cuatro parámetros utilizada como punto de referencia estándar de SBI. Los autores comparan B-MRSW con el método NPL-MMD (Dellaporta et al., 2022).
   • Sensibilidad: El rendimiento de NPL-MMD es altamente sensible al ancho de banda del kernel gaussiano; pequeños cambios conducen a errores masivos en la estimación de la asimetría y a una cobertura deficiente.
   • Robustez: B-MRSW mantiene un Error Cuadrático Medio (MSE) bajo y altas tasas de cobertura en un amplio rango de valores de $\lambda$ seleccionados por la heurística.
   • Eficiencia: Aunque B-MRSW requiere más llamadas al simulador que NPL-MMD debido al uso de CMA-ES para la optimización global (frente al descenso de gradiente local de NPL-MMD), los autores argumentan que esto es necesario para evitar mínimos locales y garantizar la robustez.

Significado y Afirmaciones
El artículo afirma que B-MRSW ofrece una alternativa robusta para SBI en escenarios donde los modelos están mal especificados y los datos contienen tanto contaminación geométrica como de masa. Los autores enfatizan que, a diferencia de los métodos existentes que dependen de hiperparámetros cuidadosos, a menudo difíciles de ajustar (como el ancho de banda del kernel en MMD), su enfoque utiliza una estrategia basada en datos para el parámetro de robustez. Señalan que, aunque el método es intensivo computacionalmente debido a los requisitos de bootstrap y optimización global, es paralelizable. El trabajo no afirma resolver todos los problemas de SBI, sino que se dirige específicamente a la brecha entre la robustez geométrica y la robustez de Huber en entornos sin verosimilitud, proporcionando una herramienta que apunta al parámetro verdadero (hasta la identificabilidad) mientras proporciona conjuntos de confianza válidos. Se sugiere trabajo futuro para involucrar el entrenamiento de surrogados no paramétricos para el simulador con el fin de reducir el costo computacional.