Enhancing neural network extrapolation in thermo-fluid systems using steady-state solutions

Resumen Técnico: Mejora de la Extrapolación de Redes Neuronales en Sistemas Termofluidos mediante Soluciones de Estado Estacionario

Planteamiento del Problema
Las ecuaciones diferenciales parciales (EDP) dependientes del tiempo que gobiernan los sistemas termofluidos, como los que se encuentran en transformadores de potencia y turbinas de gas, a menudo requieren simulaciones de largo plazo computacionalmente costosas. Los métodos numéricos clásicos (diferencias finitas, volúmenes finitos o elementos finitos) dependen de pasos temporales secuenciales limitados por la estabilidad y la precisión, lo que hace que la resolución de la dinámica de largo plazo sea prohibitiva cuando la escala de tiempo de relajación del sistema excede significativamente el paso de tiempo permitido. Aunque las Redes Neuronales Informadas por la Física (PINN) ofrecen una alternativa libre de malla, las arquitecturas estándar fallan frecuentemente al generalizar más allá de su intervalo de tiempo de entrenamiento. Carecen del sesgo inductivo necesario para representar el decaimiento asintótico, lo que conduce a una rápida degradación de la precisión durante la extrapolación temporal. Esta limitación es crítica en aplicaciones de ingeniería donde capturar la evolución completa desde las condiciones iniciales hasta un equilibrio estacionario es necesario pero costoso.

Metodología
Los autores proponen una representación de red neuronal "informada por el estado estacionario" diseñada para sistemas de EDP disipativos que se relajan hacia un equilibrio estacionario. La innovación central es un ansatz de solución que descompone la solución predicha $u(x, t)$ en dos componentes:
$$u(x, t) = u_s(x) + f(t)g(x, t)$$
donde:

• $u_s(x)$ es el componente de estado estacionario, que representa el equilibrio asintótico.
• $f(t)$ es un perfil de decaimiento dependiente del tiempo (por ejemplo, exponencial, algebraico o de oscilación amortiguada) que cumple que $\lim_{t\to\infty} f(t) = 0$.
• $g(x, t)$ es un término de corrección transitorio, acotado en espacio y tiempo.

Esta descomposición integra la convergencia al estado estacionario directamente en la arquitectura de la red en lugar de imponerla mediante un término de penalización en la función de pérdida. El componente de estado estacionario $u_s(x)$ puede ser suministrado desde resolvedores clásicos, datos experimentales o una subred dedicada. El perfil de decaimiento $f(t)$ puede ser fijo o aprenderse como un parámetro entrenable (por ejemplo, la tasa de decaimiento $\lambda$).

La implementación utiliza un marco de Red Neuronal Informada por la Física (PINN) entrenado con el optimizador SOAP (Shampoo con Adam en el Autovector del Precondicionador). Se selecciona SOAP para abordar la naturaleza mal condicionada y multiobjetivo de los paisajes de pérdida de las PINN, mejorando el condicionamiento del gradiente y reduciendo los conflictos direccionales entre los términos de pérdida. El entrenamiento sigue una estrategia de dos fases:

1. Fase 1 (Estado Estacionario): Entrenar las subredes para aproximar $u_s(x)$ utilizando datos o residuales de la física de estado estacionario.
2. Fase 2 (Transitorio): Congelar los pesos del estado estacionario y entrenar las subredes restantes para aprender la corrección transitoria $g(x, t)$ utilizando pérdidas de física dependientes del tiempo.

Contribuciones Clave

• Sesgo Inductivo Arquitectónico: El artículo introduce una arquitectura modular que impone la convergencia asintótica estructuralmente, permitiendo que la red aprenda la dinámica transitoria mientras garantiza un comportamiento de largo plazo correcto.
• Estrategia de Optimización: La aplicación del optimizador SOAP a las PINN para problemas termofluidos, demostrando una mejora en la convergencia respecto a los métodos de primer orden estándar como Adam.
• Análisis de Perfil Temporal: Una evaluación sistemática de diferentes perfiles de decaimiento temporal (constante, exponencial, algebraico, oscilación amortiguada) para determinar su impacto en la precisión de la extrapolación a través de diversos regímenes físicos.

Resultados
El método fue evaluado en una secuencia de problemas con complejidad creciente:

1. Ecuación de Calor 1D: El método propuesto superó significativamente a las PINN estándar en extrapolación. Un perfil de decaimiento exponencial ($f(t) = e^{-\lambda t}$) produjo el error más bajo, alineándose con la estructura de automodelos de la ecuación de calor. Las PINN estándar y el modelo base de perfil constante mostraron errores que aumentaban monotonicamente durante la extrapolación.
2. Cavidad Impulsada por Tapa 2D (Navier-Stokes): El enfoque extrapoló con éxito los campos de velocidad más allá del horizonte de entrenamiento. Los perfiles exponencial y de oscilación amortiguada funcionaron mejor, manteniendo errores acotados y físicamente consistentes incluso en tiempos tres veces superiores a la duración del entrenamiento.
3. Convección Natural 2D (Boussinesq): En un régimen dominado por la advección, el perfil de oscilación amortiguada ($f(t) = e^{-\lambda t}(a + \cos(\omega t))$) superó al exponencial puro. El parámetro de amplitud adicional $a$ permitió al modelo desacoplar la magnitud del transitorio inicial de la tasa de decaimiento, acomodando las rápidas fluctuaciones iniciales antes de estabilizarse.
4. Transferencia de Calor Conjugada 3D: El método se aplicó a un sistema 3D complejo con interfaces fluido-sólido. Se probaron dos escenarios de entrenamiento:
   • PINN Pura: Entrenar todos los componentes con pérdidas informadas por la física resultó en la convergencia a un estado estacionario erróneo debido a las imprecisiones en el componente de estado estacionario aprendido.
   • Enfoque Híbrido: Entrenar las subredes de estado estacionario ($FNN_1, FNN_3$) utilizando datos de alta fidelidad del Método de Elementos Finitos (FEM), mientras se entrenan los componentes transitorios con pérdidas de PINN, redujo drásticamente el error de extrapolación. Esto confirmó que la precisión de la solución final está limitada por la precisión del componente de estado estacionario suministrado.

Significancia y Reivindicaciones
El artículo sostiene que la contribución principal no es una nueva función de pérdida o término de penalización, sino una representación informada por el estado estacionario que integra el comportamiento asintótico directamente en la arquitectura de la red neuronal. Los autores afirman que este enfoque mejora sustancialmente la extrapolación temporal en comparación con arquitecturas que no imponen explícitamente la condición asintótica.

El trabajo destaca que, mientras que las PINN estándar tienen dificultades con la dinámica de largo plazo, explotar la propiedad estructural conocida de los sistemas disipativos (convergencia al equilibrio) permite la creación de sustitutos robustos. Los autores señalan que este método es particularmente efectivo cuando la solución de estado estacionario es conocida o puede computarse de forma económica, sirviendo como un ancla para predecir la evolución transitoria. El estudio concluye que la selección de un perfil temporal adecuado es crítica y dependiente del problema, siendo los perfiles exponenciales y de oscilación amortiguada los que generalmente proporcionan el rendimiento más robusto para aplicaciones termofluidas.