Resumen Técnico: Entrenamiento de Surrogados Bayesianos en Múltiples Fuentes de Datos

Enunciado del Problema

Los modelos sustitutos (surrogate models) se utilizan ampliamente para aproximar modelos de simulación complejos y computacionalmente costosos en tareas como la cuantificación de la incertidumbre, el análisis de sensibilidad y la resolución de problemas inversos. Sin embargo, existe una limitación fundamental: los modelos sustitutos suelen entrenarse exclusivamente con datos de simulación. Dado que el modelo de simulación subyacente es a menudo una simplificación imperfecta de los sistemas del mundo real (con procesos omitidos, que adolecen de mala especificación o que tienen condiciones de frontera incorrectas), el sustituto hereda estas inexactitudes. Por el contrario, los datos de medición del mundo real contienen información valiosa sobre el sistema verdadero, pero a menudo son escasos, ruidosos y carecen de un conocimiento completo de los parámetros de entrada (por ejemplo, variables de forzamiento desconocidas) que requiere el modelo de simulación.

Los métodos existentes para integrar estas fuentes de datos enfrentan varios desafíos:

1. Asimetría: Los datos de simulación tienen entradas completamente especificadas, mientras que los datos del mundo real a menudo tienen entradas desconocidas.
2. Suposiciones de Homogeneidad: Muchos enfoques asumen fuentes de datos homogéneas o dependen de familias específicas de sustitutos (por ejemplo, Procesos Gaussianos) con suposiciones simplificadas.
3. Falta de Estrategias de Ponderación: Existe literatura limitada sobre cómo ponderar adecuadamente las fuentes de datos heterogéneas durante el entrenamiento para reflejar niveles variables de confianza o fiabilidad.
4. Integración Indirecta: Algunos métodos no utilizan los datos del mundo real directamente para el entrenamiento del sustituto, sino para la calibración post-hoc o el modelado de discrepancias.

El artículo propone un marco general para abordar estos problemas entrenando modelos sustitutos bayesianos en múltiples fuentes de datos (simulación y mundo real) utilizando estrategias de ponderación novedosas que operan independientemente de la familia de sustitutos elegida.

Metodología

Los autores proponen un marco que combina dos fuentes de datos distintas:

• Datos de Simulación ($D_S$): Generados a partir de un modelo basado en física $M$ con entradas conocidas $x_S$ y parámetros inciertos $\omega_S$.
• Datos del Mundo Real ($D_R$): Generados a partir de un proceso desconocido $G$ con entradas conocidas $x_R$ pero parámetros desconocidos $\omega_R$ y ruido de medición.

El marco introduce dos enfoques probabilísticos para la integración ponderada, controlados por un factor de ponderación $\beta \in [0, 1]$:

1. Ponderación Predictiva Posterior (PW)

Este método entrena dos modelos sustitutos separados de forma independiente:

• Un sustituto basado en simulación ($f_{M_S}$) entrenado en $D_S$ y utilizado para inferir parámetros desconocidos a partir de $D_R$.
• Un sustituto basado en datos ($f_{M_R}$) entrenado únicamente en $D_R$.

La predicción final es una suma ponderada de sus distribuciones predictivas posteriores:
$$p_{pw, \beta}(\hat{y}_R | \hat{x}_R, D_S, D_R) = \beta \cdot p(\hat{y}_R | \hat{x}_R, D_S, D_R, f_{M_S}) + (1 - \beta) \cdot p(\hat{y}_R | \hat{x}_R, D_R, f_{M_R})$$
Aquí, $\beta$ controla la influencia relativa del modelo basado en simulación. Este enfoque permite visualizar la discrepancia entre las dos fuentes observando la superposición de sus distribuciones predictivas.

2. Escalamiento de Potencia de Verosimilitudes (PS)

Este método entrena un único modelo sustituto integrando directamente ambas fuentes de datos en la función de verosimilitud mediante escalamiento de potencia. La distribución posterior conjunta se define como:
$$p_{ps}^\beta(\omega'_R, \sigma', c | D_S, D_R) \propto p(y_R | x_R, \omega'_R, \sigma', c)^{\alpha_R} \cdot p(y_S | x_S, \omega_S, \sigma', c)^{\alpha_S} \cdot p(\omega'_R, \sigma') p(c)$$
Los factores de escala $\alpha_R$ y $\alpha_S$ se derivan de $\beta$ para asegurar que, a medida que $\beta$ se acerca a 0 o 1, la influencia de una fuente de datos disminuya mientras la otra se utiliza plenamente. El método emplea un procedimiento MCMC de dos pasos:

1. Entrenamiento Conjunto: Estimación de los coeficientes del sustituto $c$ y parámetros intermedios utilizando la verosimilitud escalada por potencia.
2. Inferencia Refinada: Reestimación de los parámetros del mundo real desconocidos $(\omega_R, \sigma_R)$ utilizando únicamente la verosimilitud completa de los datos del mundo real $D_R$, condicionada a la posterior de $c$ del paso 1. Esto evita la "doble utilización" de los datos reales y asegura que los parámetros se infieran basándose en la evidencia del mundo real.

Implementación

El marco está diseñado para ser agnóstico al sustituto, aplicable a cualquier sustituto probabilístico (por ejemplo, Expansiones de Caos Polinómico, Procesos Gaussianos, Redes Neuronales) implementable en lenguajes de programación probabilística como Stan o PyMC. Los autores utilizan el Muestreo de Monte Carlo Hamiltoniano (HMC) para la generación de muestras.

Contribuciones Clave

1. Estrategias de Ponderación Novedosas: Introducción de dos métodos distintos (PW y PS) para combinar fuentes de datos heterogéneas durante el entrenamiento de sustitutos, ofreciendo un continuo entre modelos puramente basados en datos y puramente basados en simulación.
2. Manejo de la Asimetría: El método PS aborda específicamente la asimetría de las fuentes de datos (entradas conocidas frente a desconocidas) mediante un procedimiento de inferencia de dos pasos que separa el entrenamiento de coeficientes de la refinación de parámetros.
3. Agnosticismo del Sustituto: Las estrategias de ponderación propuestas son independientes de la familia específica de sustitutos, permitiendo una amplia aplicabilidad en diferentes contextos de modelado.
4. Capacidad Diagnóstica: El marco proporciona un mecanismo para diagnosticar limitaciones estructurales en los modelos de simulación visualizando la información competitiva de los datos de simulación y del mundo real.

Resultados

Los autores evalúan los métodos utilizando dos estudios de caso:

Estudio de Caso 1: Ejemplo Sintético

• Configuración: Un modelo de simulación captura una tendencia global, mientras que los datos "reales" incluyen un término periódico adicional no presente en la simulación.
• Hallazgos:
  • Fuera de Muestra (OOS): El sustituto basado en datos ($\beta=0$) tiene el mejor rendimiento, ya que ajusta perfectamente los datos locales.
  • Fuera de Distribución (OOD): El sustituto basado en simulación ($\beta=1$) tiene el mejor rendimiento debido a su capacidad para extrapolar basándose en leyes físicas.
  • Rendimiento Híbrido: Para $\beta$ intermedios, el método de Escalamiento de Potencia (PS) generalmente logró un RMSE más bajo (más cercano a la verdad sintética), mientras que la Ponderación Predictiva Posterior (PW) proporcionó un mejor ELPD (mejor modelado de la incertidumbre).
  • Comparación con KOH: El método PS superó al marco de calibración estándar de Kennedy-O'Hagan (KOH) en la recuperación de la función media para ciertos valores de $\beta$, aunque KOH destacó en la cuantificación de la incertidumbre.

Estudio de Caso 2: Modelado Epidemiológico (Modelo SIR)

• Configuración Sintética: Un modelo SIR mal especificado (tasa de recuperación fija) frente a datos reales con una tasa de recuperación diferente.
  • Resultados: PS mostró un rendimiento superior en regiones OOD al aprovechar los datos de simulación como regularizador para prevenir predicciones extremas del modelo basado en datos. PW proporcionó una superposición visual de las tendencias conflictivas (declive más pronunciado en los datos frente a declive más lento en la simulación).
• Configuración del Mundo Real: Datos de COVID-19 de Italia (primera ola).
  • Resultados: El modelo basado en datos falló al extrapolar (prediciendo aumentos de infección), mientras que el modelo basado en simulación mostró alta incertidumbre y predijo un declive demasiado fuerte. El enfoque de Escalamiento de Potencia logró un ELPD óptimo en $\beta \approx 0.45$, equilibrando las dos fuentes. El método PW mostró una mejora monótona con $\beta$ pero no alcanzó el rendimiento máximo de PS.

Significado y Afirmaciones

El artículo afirma que estos enfoques de modelado híbrido ofrecen una manera flexible de mejorar la precisión predictiva y la cobertura, particularmente en regímenes desafiantes fuera de distribución donde el entrenamiento de una sola fuente falla.

• Insights Diagnósticos: Los autores enfatizan que visualizar las distribuciones predictivas posteriores (especialmente a través de PW) sirve como una herramienta de diagnóstico. Permite a los modeladores identificar procesos faltantes o mala especificación en el modelo de simulación observando dónde divergen la simulación y los datos reales.
• Compensaciones: El artículo nota modestamente que el método óptimo y el factor de ponderación dependen del escenario específico y la métrica de evaluación.
  • Se recomienda Escalamiento de Potencia para recuperar la verdad subyacente y lograr predicciones medias robustas, ya que utiliza los datos de simulación como regularizador durante el entrenamiento.
  • Se recomienda la Ponderación Predictiva Posterior para fines diagnósticos e interpretación intuitiva de fuentes de información competitivas, aunque puede ser menos robusta si el componente basado en datos está mal restringido.
• Direcciones Futuras: Los autores sugieren que, aunque se centraron en dos fuentes, el marco puede extenderse a múltiples fuentes. También señalan que encontrar el $\beta$ óptimo mediante búsqueda lineal puede ser computacionalmente costoso para PS, sugiriendo trabajo futuro sobre muestreo de importancia o ajuste de momentos para reducir los costos de reajuste.

En resumen, el artículo presenta un marco que traslada el modelado de sustitutos de ser un mero "reemplazo" para simulaciones costosas a convertirse en un componente de una herramienta de diagnóstico para el modelado híbrido, capaz de aprovechar tanto el conocimiento mecanicista como la evidencia empírica.