Information-Preserving Domain Transfer with Unlabeled Data in Misspecified Simulation-Based Inference

Resumen Técnico: Transferencia de Dominio que Preserva la Información con Datos No Etiquetados en Inferencia Basada en Simulación Mal Especificada

Enunciado del Problema
La inferencia basada en simulación (SBI) permite la inferencia bayesiana amortizada de parámetros a partir de datos generados por simuladores sin requerir una evaluación explícita de la verosimilitud. Sin embargo, la fiabilidad de los métodos de SBI neuronal, como la Estimación de la Posterior Neuronal (NPE), se degrada bajo mala especificación del modelo: situaciones en las que las observaciones del mundo real no están bien representadas por el simulador utilizado para el entrenamiento. En tales casos, la inferencia directa sobre datos del mundo real puede producir posteriors sesgados o excesivamente seguros.

Los enfoques existentes para mitigar la mala especificación a menudo dependen de datos del mundo real no etiquetados para alinear las distribuciones marginales de las observaciones simuladas y reales (por ejemplo, mediante la Discrepancia Media Máxima o el entrenamiento adversarial de dominio). No obstante, los autores argumentan que la alineación marginal por sí sola es insuficiente. No garantiza la preservación de la estructura condicional que relaciona las observaciones con las variables de la tarea (parámetros), lo que podría descartar información crítica para la inferencia posterior. Además, muchos métodos existentes requieren un pequeño conjunto de calibración de datos del mundo real con parámetros conocidos, lo cual a menudo no está disponible.

Metodología: SPIN
El artículo propone SPIN (Inferencia basada en simulación con transferencia de dominio que preserva la información relevante para el parámetro), un marco diseñado para NPE bajo mala especificación del modelo utilizando únicamente observaciones del mundo real no etiquetadas y no emparejadas.

• Mecanismo Central: SPIN aprende mapas de transporte bidireccionales entre el dominio del simulador ($X_s$) y el dominio del mundo real ($X_r$). Sea $G_{sr}: X_s \to X_r$ el mapa que transforma las observaciones del simulador al dominio del mundo real, y $G_{rs}: X_r \to X_s$ el mapa que transforma las observaciones del mundo real de vuelta al dominio del simulador.
• Protocolo de Inferencia: En el momento de la prueba, una observación del mundo real $x_r$ se mapea al dominio del simulador mediante $x_{rs} = G_{rs}(x_r)$. La posterior se estima entonces utilizando el modelo NPE entrenado con el simulador: $\hat{p}(\theta | x_r) = q_\psi(\theta | x_{rs})$.
• Objetivo que Preserva la Información: La innovación clave es un objetivo de entrenamiento que asegura que el transporte preserve la información relevante para el parámetro. Dado que las etiquetas de parámetros del mundo real no están disponibles, SPIN utiliza las etiquetas del simulador durante el entrenamiento.
  1. Un par etiquetado del simulador $(\theta, x_s)$ se traduce al dominio del mundo real ($x_{sr} = G_{sr}(x_s)$) y luego se mapea de vuelta al dominio del simulador ($x_{srs} = G_{rs}(x_{sr})$).
  2. Dado que $x_{srs}$ se origina en una muestra etiquetada, el parámetro original $\theta$ es conocido.
  3. SPIN optimiza una cota inferior variacional de la información mutua (MI) entre el parámetro $\theta$ y la observación transportada $x_{srs}$. Esto se logra minimizando el log-verosimilitud negativo del parámetro original dada la observación transportada:
     $$\mathcal{L}_{info}(q) = \mathbb{E}_{(\theta, x_s) \sim p_s} [-\log q(\theta | G_{rs}(G_{sr}(x_s)))]$$
  4. Esta pérdida incentiva a los mapas de transporte a retener información sobre el parámetro, en lugar de simplemente igualar las distribuciones marginales.
• Procedimiento de Entrenamiento: El marco entrena conjuntamente las redes de transporte ($G_{sr}, G_{rs}$), los discriminadores (para la alineación adversarial de dominios) y el estimador posterior ($q_\psi$). La pérdida total del generador combina la traducción adversarial, la consistencia cíclica, la regularización de identidad y el término de preservación de la información ($\mathcal{L}_{info}$).

Contribuciones Clave

1. Transferencia de Dominio que Preserva la Información: A diferencia de los métodos anteriores de alineación de dominios que se centran en la coincidencia de distribuciones marginales, SPIN restringe explícitamente la transferencia de dominio para preservar la información mutua entre el parámetro de interés y las observaciones transportadas.
2. Adaptación No Etiquetada y No Emparejada: SPIN requiere únicamente etiquetas del simulador para el entrenamiento. Adapta NPE utilizando observaciones del mundo real no etiquetadas y no emparejadas sin necesidad de un conjunto de calibración de datos del mundo real con parámetros conocidos.
3. Justificación Teórica: Los autores proporcionan una identidad poblacional que muestra que si el transporte aprendido satisface una condición de transporte conjunto que preserva el parámetro, el riesgo en el momento de la prueba en el mundo real es igual al riesgo transportado etiquetado por el simulador minimizado por $\mathcal{L}_{info}$.

Resultados Experimentales
Los autores evaluaron SPIN en cuatro puntos de referencia:

• SIR: Un punto de referencia sintético débilmente mal especificado basado en un modelo epidémico con reporte retrasado.
• Péndulo: Un punto de referencia sintético que introduce amortiguamiento en un modelo de péndulo sin fricción.
• Túnel de Viento: Un punto de referencia físico controlado que utiliza un sistema de cámara eólica donde el modelo mecanicista aproxima las respuestas reales de la cámara.
• Túnel de Luz: Un punto de referencia físico controlado que utiliza un sistema de imagen óptica con una modelización simplificada de las respuestas del túnel de luz.

Hallazgos:

• Rendimiento: En los puntos de referencia sintéticos y físicos, SPIN mejoró consistentemente las métricas principales de calidad de inferencia (Error Cuadrático Medio Raíz, Probabilidad Logarítmica Posterior y ACAUC) en comparación con la NPE estándar y las líneas base de alineación marginal (NPE-MMD, NPE-DANN).
• Impacto de la Mala Especificación: Las mejoras de SPIN se volvieron más pronunciadas a medida que aumentaba el grado de mala especificación del modelo. Por ejemplo, en el punto de referencia del Péndulo, a medida que aumentaba el coeficiente de amortiguamiento (fuerza de mala especificación), SPIN mantuvo una densidad posterior y una precisión superiores en comparación con las líneas base.
• Ablación: Eliminar el término de preservación de la información ($\mathcal{L}_{info}$) resultó en un rendimiento degradado, particularmente en tareas con brechas mayores entre el simulador y la realidad. Esto confirma que las ganancias se deben a la preservación de la información relevante para el parámetro, y no solo a la alineación de dominios.
• Eficiencia de Datos: El rendimiento de SPIN depende de la cantidad de datos del mundo real no etiquetados ($N_r$), donde conjuntos de datos más grandes proporcionan un aprendizaje de transporte más estable, aunque se observaron ganancias incluso con tamaños de datos moderados.

Significado y Afirmaciones
El artículo afirma que para la SBI mal especificada, reducir la discrepancia marginal entre los datos simulados y reales es necesario pero insuficiente. Los autores argumentan que el transporte de dominio debe preservar explícitamente la información relevante para el parámetro de interés. SPIN demuestra que, al aprovechar las etiquetas del simulador para imponer la preservación de la información durante el transporte de datos del mundo real no etiquetados, se puede lograr una inferencia posterior más robusta y precisa. El método es particularmente efectivo cuando la brecha entre el simulador y la realidad es significativa, ofreciendo una solución práctica para configuraciones donde las etiquetas de parámetros del mundo real no están disponibles.