Resumen Técnico: MAST – Un Modelo Sustituto Aumentado Multi-fidelidad mediante Ponderación de Confianza Espacial

Enunciado del Problema

En el diseño de ingeniería y la computación científica, existe un compromiso fundamental entre la precisión predictiva y el costo computacional. Las simulaciones de alta fidelidad (HF) proporcionan predicciones precisas, pero a menudo son demasiado costosas para muestrearlas densamente, mientras que las aproximaciones de baja fidelidad (LF) son abundantes y baratas, pero adolecen de errores sistemáticos. Los modelos de Procesos Gaussianos Multi-fidelidad (MFGP) intentan cerrar esta brecha explotando las correlaciones estadísticas entre los niveles de fidelidad.

Sin embargo, los métodos multi-fidelidad existentes suelen depender de suposiciones de correlación global (por ejemplo, relaciones autorregresivas lineales o estructuras de covarianza global compartidas). Estas suposiciones a menudo fallan en la práctica cuando las relaciones inter-fidelidad varían espacialmente a través del dominio de entrada. Cuando la relación entre fidelidades es no estacionaria, los modelos globales pueden sufrir de especificación incorrecta del modelo, lo que conduce a un rendimiento predictivo deficiente y un comportamiento inestable, particularmente bajo presupuestos computacionales ajustados donde los datos son escasos. Además, muchos enfoques avanzados no lineales o de aprendizaje profundo multi-fidelidad requieren un ajuste extenso de hiperparámetros y grandes conjuntos de datos, que a menudo no están disponibles en escenarios con restricciones presupuestarias.

Metodología: El Marco MAST

Los autores introducen MAST (Modelo Sustituto Aumentado Multi-fidelidad con Ponderación de Confianza Espacial), un método que reemplaza el aprendizaje de correlación global clásico con un sesgo inductivo geométrico. La idea central es que la fiabilidad de la información corregida de baja fidelidad debe depender de su proximidad espacial a los datos de calibración de alta fidelidad.

El marco opera en tres etapas:

1. Modelado Independiente de la Línea Base:
   Se entrenan Procesos Gaussianos (GP) independientes en el conjunto de datos de cada nivel de fidelidad para capturar las características intrínsecas y estimar los niveles de ruido de observación.

2. Modelado de Discrepancia y Aumento Ponderado Espacialmente:
   Para cada nivel de fidelidad inferior $m < M$, el método construye un conjunto de datos aumentado $\tilde{D}_m$ corrigiendo las observaciones LF y mezclándolas con las predicciones HF:

   • Modelado de Discrepancia: Un GP de discrepancia ($GP_{\delta_m}$) se entrena sobre los residuos entre las observaciones HF y las predicciones LF en las ubicaciones HF. Crucialmente, este GP de discrepancia se condiciona sobre entradas aumentadas $z = [x, \mu_m(x), \sigma^2_m(x)]$, incorporando la media y la varianza posteriores LF para informar la predicción de la discrepancia.
   • Ponderación de Confianza Espacial: Para cada punto LF, se define una región de confianza basada en la distancia a la muestra HF más cercana. Se calcula un peso $W^{(i)}_m$ basado en la proximidad del punto LF a las muestras HF dentro de esta región. El peso decae con la distancia y se modula mediante la relación de costo de fidelidad ($\alpha_m = \log_{10}(C_M/C_m)/2$), estableciendo una jerarquía económica donde los datos HF costosos ejercen una mayor influencia espacial.
   • Mezcla: El valor LF corregido se mezcla con la predicción posterior HF:
     $$\tilde{y}^{(m)}_i = W^{(i)}_m (y^{(m)}_i + \mu_{\delta_m}(z^{(m)}_i)) + (1 - W^{(i)}_m) \mu_M(x^{(m)}_i)$$
   • Propagación de Varianza: La incertidumbre del punto mezclado se deriva analíticamente propagando las varianzas de la observación LF cruda, el GP de discrepancia y el GP HF, ponderadas por los pesos de confianza. Esto resulta en un término de ruido fijo y heterocedástico para cada punto aumentado.

3. Fusión de GP Heterocedástica:
   Se entrena un único GP final sobre el conjunto de datos combinado de las observaciones HF originales y las observaciones LF aumentadas. Las varianzas de ruido por punto se fijan a los valores calculados en la Etapa 2, en lugar de aprenderse como hiperparámetros. Esto permite que el sustituto final reduzca naturalmente el peso de los datos aumentados inciertos mientras confía en las observaciones HF fiables. Para manejar la no estacionariedad, las entradas se distorsionan utilizando una CDF de Kumaraswamy por dimensión antes de la evaluación del kernel.

Contribuciones Clave

1. Sesgo Inductivo Geométrico: Un esquema de fusión que adapta las relaciones inter-fidelidad localmente basándose en la proximidad espacial a los datos HF, eliminando la necesidad de suposiciones paramétricas de correlación global.
2. Ponderación de Confianza Consciente del Costo: Incorporación explícita de los costos de evaluación en el mecanismo de ponderación, creando una jerarquía económica que gobierna la fusión de información.
3. Propagación de Varianza en Forma Cerrada: Una derivación analítica de la incertidumbre que permite un entrenamiento eficiente de un único GP con ruido heterocedástico fijo, evitando las inestabilidades de optimización comunes en los modelos heterocedásticos aprendidos.
4. Rendimiento Robusto: Precisión de vanguardia y calibración de incertidumbre demostradas a través de asignaciones presupuestarias variables, escalas de presupuesto total y niveles de correlación inter-fidelidad.

Resultados Experimentales

Los autores evaluaron MAST frente a una suite completa de líneas base, incluyendo co-kriging autorregresivo (AR1), co-kriging recursivo, métodos basados en fusión, GPs No Lineales Autorregresivos (NARGP), GPs Multi-fidelidad Profundos (MF-DGP) y métodos de kernel especializados.

• Benchmarks Sintéticos: En 10 funciones de prueba sintéticas (que van desde 2D hasta 20D) y 3 conjuntos de datos de ingeniería del mundo real (Concrete, DrivAerNet, HOIP), MAST logró el mejor Error Cuadrático Medio (RMSE) en 6 de 12 benchmarks de dos fidelidades y la mejor Densidad Predictiva Media (Mean PDF) en 7 de 12.
• Robustez: MAST mantuvo un rendimiento robusto a través de asignaciones presupuestarias variables (fracción HF de 0.1 a 1.0) y escalas de presupuesto total (0.25x a 3.0x). En contraste, métodos competidores como AR1 exhibieron un comportamiento errático, y los métodos de aprendizaje profundo (NARGP, MF-DGP) rindieron consistentemente menos, particularmente en regímenes con escasez de datos.
• Sensibilidad a la Discrepancia: MAST permaneció robusto a medida que aumentaba la discrepancia inter-fidelidad (simulando una correlación más baja), mientras que los métodos que dependen de suposiciones lineales globales se degradaron significativamente.
• Extensión a Tres Fidelidades: El método se extendió efectivamente a tres niveles de fidelidad sin acumular errores, superando a las líneas base jerárquicas que luchan con niveles de fidelidad intermedios.

Significado y Afirmaciones

El artículo afirma que MAST proporciona un marco adaptativo espacialmente para el modelado multi-fidelidad que es particularmente efectivo cuando los datos de alta fidelidad son escasos y las relaciones inter-fidelidad varían a través del espacio de entrada. Al depender de la proximidad geométrica en lugar de correlaciones globales aprendidas, MAST reduce la dependencia de la extrapolación a larga distancia desde observaciones HF escasas.

Los autores posicionan a MAST como una ruta práctica para la construcción de sustitutos fiables en entornos con restricciones presupuestarias. Señalan que el mecanismo subyacente de confianza espacial es agnóstico al sustituto, y demuestran una extensión preliminar (MAST-ICL) utilizando TabPFN (un modelo de aprendizaje en contexto basado en transformadores) como el aprendiz base, sugiriendo que el marco puede escalar a conjuntos de datos más grandes donde el entrenamiento estándar de GP se vuelve computacionalmente prohibitivo.

El artículo concluye que la ponderación de confianza espacial es un principio de diseño útil para el modelado de sustitutos multi-fidelidad, ofreciendo una alternativa estable a las estructuras de correlación global que pueden ser engañosas en regímenes de datos escasos.