Active Learning with Adaptive Non-Stationary Kernel for Continuous-Fidelity Surrogate Models

Resumen Técnico: Aprendizaje Activo con Núcleo No Estacionario Adaptativo para Modelos Sustitutos de Fidelidad Continua

Planteamiento del Problema
Las simulaciones computacionales de procesos físicos complejos, particularmente aquellas que utilizan el Método de Elementos Finitos (FEM), suelen ser computacionalmente prohibitivas. Las simulaciones de alta fidelidad ofrecen precisión pero requieren recursos sustanciales, mientras que las de baja fidelidad son más económicas pero menos precisas. El modelado de sustitutos multifidelidad tradicionales suele depender de niveles de fidelidad discretos o de supuestos de Procesos Gaussianos (GP) estacionarios. Sin embargo, en muchas aplicaciones de FEM, la fidelidad está determinada por parámetros de continuidad (por ejemplo, la densidad de la malla o el tamaño del paso de tiempo) que controlan la precisión numérica. Los métodos existentes tienen dificultades para integrar eficientemente estos parámetros de fidelidad continua en un marco estadístico que dé cuenta del comportamiento de convergencia específico de los errores numéricos (donde el error desaparece a medida que el parámetro de fidelidad tiende a cero) y de las estructuras de correlación variables de los incrementos de simulación a través del espacio de fidelidad. Además, los diseños experimentales estáticos de "un solo paso" (one-shot) a menudo no logran optimizar la relación entre la ganancia de información y el costo computacional en comparación con las estrategias secuenciales.

Metodología
Los autores proponen un marco que combina un nuevo modelo sustituto con una estrategia de aprendizaje activo (diseño secuencial).

1. Modelo Sustituto GP No Estacionario:
   El marco modela la salida computacional $y(x, t)$ como la suma de una solución exacta $\phi(x)$ y una función de error $\delta(x, t)$, donde $x$ representa los parámetros de entrada físicos y $t$ representa un vector de parámetro de fidelidad continua. Ambos componentes se modelan como Procesos Gaussianos.

• Núcleo Adaptativo: La innovación central es una nueva función de núcleo no estacionaria adaptativa, $K_\gamma(t_1, t_2)$, inspirada en el movimiento Browniano fraccionario y el modelo de kriging de Brownian Levantado (LB). Este núcleo está diseñado para capturar la tasa de convergencia de la función de error cuando $t \to 0$. Introduce un parámetro $\gamma \in (0, 1)$ para controlar el comportamiento de corto alcance y la correlación de los incrementos a lo largo del espacio del parámetro de fidelidad. Esto permite que el modelo se adapte a diversos comportamientos de trayectoria de muestra (por ejemplo, incrementos positivamente correlacionados, negativamente correlacionados o no correlacionados) observados en diferentes simulaciones de FEM.
• Inferencia: Los hiperparámetros se estiman mediante la Estimación de Máxima Verosimilitud (MLE) con un enfoque de plug-in, ofreciendo una alternativa computacionalmente eficiente a los métodos plenamente Bayesianos. El modelo soporta la extrapolación a la solución exacta en $t=0$.

2. Estrategia de Aprendizaje Activo:
   Los autores desarrollan una estrategia de diseño secuencial basada en el Error de Predicción Cuadrático Medio Integrado (IMSPE).

• Criterio Ajustado por Costo: Para gestionar los presupuestos computacionales, la selección del siguiente punto de diseño $(x_{n+1}, t_{n+1})$ maximiza la relación entre la reducción del IMSPE y el costo computacional $C(t)$.
• Optimización de Forma Cerrada: Una contribución técnica clave es la derivación de una expresión de forma cerrada para la reducción del IMSPE y sus derivadas. Esto permite la optimización numérica eficiente (usando descenso de gradiente con múltiples inicios) sobre el espacio de fidelidad continua, evitando la necesidad de aproximaciones costosas de Monte Carlo o de las rejillas discretas predefinidas utilizadas en trabajos anteriores.
• Diseños Iniciales: El estudio investiga el impacto de los diseños iniciales (por ejemplo, MaxPro, Diseño Experimental de Multi-Malla) en la estimación de hiperparámetros y el desempeño subsecuente del aprendizaje activo.

Contribuciones Clave

• Nueva Función de Núcleo: Introducción de un núcleo no estacionario adaptativo que generaliza modelos previos (incluyendo el modelo de Tuo et al., 2014) y refleja mejor el comportamiento de las salidas de simulación computacional a través de parámetros de fidelidad continua, específicamente acomodando diversas estructuras de correlación de incrementos.
• Diseño Secuencial Eficiente: Desarrollo de un marco de aprendizaje activo que utiliza un criterio de IMSPE de forma cerrada. Esto permite la optimización de los puntos de diseño sobre un dominio de fidelidad continua, una capacidad que no está presente en los métodos de aprendizaje activo por lotes (batch) o de niveles discretos existentes.
• Evaluación Exhaustiva: La metodología se valida mediante experimentos numéricos y tres casos de estudio reales de FEM: la ecuación de Poisson, el análisis de esfuerzo de un álabe de turbina de motor a reacción y la ecuación de onda dependiente del tiempo.

Resultados

• Estudios Numéricos: El método de Aprendizaje Activo (AL) propuesto con el núcleo de Brownian Levantado (LBM) superó consistentemente a los modelos de fidelidad única y a los diseños de un solo paso (OS) en varios ajustes de parámetros. El núcleo LBM mostró una superioridad particular cuando los incrementos de la simulación estaban positivamente correlacionados ($\gamma = 0.95$).
• Casos de Estudio:
  • Ecuación de Poisson: El núcleo LBM superó significativamente a otros métodos para la respuesta "Promedio" (donde los incrementos están positivamente correlacionados) y se mantuvo altamente competitivo para la respuesta "Máxima". Los métodos de AL produjeron consistentemente un RMSE menor que los diseños de un solo paso.
  • Álabe de Turbina de Motor a Reacción: El enfoque de multifidelidad con AL y el núcleo LBM proporcionó un rendimiento predictivo robusto sin requerir la selección de un único tamaño de malla fina, que podría ser subóptimo. Superó tanto a los modelos de fidelidad única como a los métodos de diseño de apilamiento (stacking).
  • Ecuación de Onda: El método de AL demostró una ventaja pronunciada sobre los diseños de un solo paso al seleccionar estratégicamente puntos de fidelidad de bajo costo que maximizaban la mejora predictiva, logrando un RMSE menor dentro del mismo presupuesto computacional.
• Sensibilidad del Diseño Inicial: Si bien la elección del diseño inicial afectó significativamente la robustez de la estimación de hiperparámetros, se encontró que el rendimiento predictivo final del método de aprendizaje activo es relativamente insensible a la elección específica del diseño inicial, siempre que se asigne un presupuesto razonable.

Significancia
El artículo afirma que este marco aborda brechas críticas en el diseño experimental de multifidelidad para parámetros de fidelidad continua. Al integrar un núcleo adaptativo que se alinea con las tasas de convergencia del análisis numérico y un criterio de aprendizaje activo eficiente, el método ofrece una alternativa computacionalmente económica a las costosas simulaciones de FEM. La capacidad de extrapolar a la solución exacta ($t=0$) mientras proporciona cuantificación de la incertidumbre lo distingue de los modelos multifidelidad autorregresivos. Los autores posicionan su trabajo como un paso hacia una cuantificación de la incertidumbre más eficiente en simulaciones complejas, señalando que, si bien su método mejora el rendimiento predictivo, se necesita trabajo futuro para abordar salidas multidimensionales y costos de transición entre configuraciones de malla. Se proporciona un paquete de R (MuFiMeshGP) que implementa la metodología para facilitar la reproducibilidad.