Stochastic and Non-local Closure Modeling for Nonlinear Dynamical Systems via Latent Score-based Generative Models

Resumen Técnico: Modelado de Cierre Estocástico y No Local mediante Modelos Generativos de Puntuación en el Espacio Latente

Planteamiento del Problema
La mecánica computacional trata a menudo con sistemas dinámicos no lineales complejos, como los flujos turbulentos, donde resolver explícitamente todas las escalas relevantes resulta computacionalmente prohibitivo. Los enfoques clásicos de modelado de cierre (por ejemplo, RANS, LES) dependen de supuestos deterministas y locales para aproximar los fenómenos de subescala. Sin embargo, estos supuestos suelen ser demasiado restrictivos para sistemas que carecen de una separación clara de escalas, fallando al capturar incertidumbres, transiciones de régimen y correlaciones espaciales no locales. Si bien los avances recientes en IA generativa, específicamente los modelos de difusión, ofrecen un marco prometedor para el modelado de cierre estocástico y no local al tratar los términos de cierre como objetos aleatorios, su aplicación práctica se ve limitada por los prohibitivos costos de inferencia computacional. Los modelos de difusión estándar requieren cientos o miles de evaluaciones de red por paso de tiempo, lo que los hace inviables para la integración en simulaciones numéricas donde los términos de cierre deben evaluarse en cada paso.

Metodología
Los autores proponen un marco de Modelo de Difusión Condicional Latente (L-CDM) para abordar el compromiso entre la eficiencia computacional y la precisión generativa. La metodología consta de tres componentes principales:

1. Formulación en el Espacio Latente: El marco emplea autoencoders convolucionales para comprimir campos físicos de alta dimensión (el estado del sistema $V$ y el término de cierre $U$) en representaciones latentes de baja dimensión ($z_V$ y $z_U$). Esta reducción de dimensionalidad es crítica para reducir el costo computacional del proceso de muestreo inverso.
2. Modelado No Local: Para capturar las dependencias espaciales de largo alcance inherentes a los sistemas complejos, la función de puntuación $s_\theta$ dentro del espacio latente se construye utilizando un Operador Neuronal de Fourier (FNO). El FNO realiza convoluciones aprendidas en el dominio de Fourier, asegurando campos receptivos globales. Además, la arquitectura del autoencoder incorpora capas jerárquicas profundas y módulos de autoatención explícitos para modelar aún más las interacciones no locales.
3. Estrategia de Entrenamiento Conjunto: Una innovación metodológica clave es el cambio de la convencional etapa de entrenamiento de dos fases (entrenar autoencoders y modelos de difusión por separado) hacia un esquema de optimización conjunta de extremo a extremo.
   • Enfoque Convencional: Los autoencoders se entrenan únicamente para minimizar el error de reconstrucción, lo que a menudo resulta en un espacio latente que es difícil de muestrear eficazmente para los modelos de difusión.
   • Enfoque Propuesto: El autoencoder y el modelo de difusión latente se entrenan simultáneamente utilizando una función de pérdida compuesta: $L_{joint} = L_{AE} + \lambda_{score} L_{score} + \lambda_{KL} L_{KL}$.
     • $L_{AE}$ asegura una reconstrucción fiel de los campos físicos.
     • $L_{score}$ entrena al modelo de difusión para coincidir con la distribución condicional $p(z_U | z_V)$.
     • $L_{KL}$ (divergencia de Kullback-Leibler) actúa como un regularizador para prevenir el colapso del espacio latente, asegurando que la distribución latente sea suficientemente estocástica y no degenerada.

El proceso de muestreo utiliza un esquema de pasos de tiempo adaptativo (integración Euler-Maruyama) para acelerar aún más el proceso de difusión inversa dentro del espacio latente.

Contribuciones Clave

• Marco de Difusión Latente: El artículo introduce un marco de modelado de cierre estocástico que mapea campos de alta dimensión a una variedad latente, realizando un muestreo de Langevin condicional allí para lograr una inferencia órdenes de magnitud más rápida que los modelos de difusión en el espacio físico.
• Optimización Conjunta: Los autores demuestran que el pipeline de entrenamiento de dos fases convencional compromete la precisión de la generación del término de cierre. Proponen un esquema de entrenamiento conjunto que armoniza los objetivos de reconstrucción y de coincidencia de puntuación (score-matching), mejorando significativamente la precisión generativa mientras se mantiene la eficiencia del muestreo en el espacio latente.
• Modelado Estocástico No Local: Al integrar FNOs y mecanismos de atención dentro de una arquitectura de difusión latente, el marco captura eficazmente las dependencias espaciales no locales y los comportamientos estocásticos que los modelos locales deterministas omiten.

Resultados Numéricos
El marco fue evaluado en un flujo de Kolmogorov bidimensional gobernado por las ecuaciones de Navier-Stokes estocásticas, donde el objetivo era modelar el término de convección no lineal estocástico desconocido.

• Precisión vs. Eficiencia:
  • Línea Base en el Espacio Físico (P-CDM): Logró una alta precisión pero requirió ~2.64 segundos para generar 1,000 muestras.
  • Modelo Latente de Dos Fases: Logró una aceleración de 5.5× (~0.48 segundos) pero sufrió una degradación significativa de la precisión (errores de MSE y de norma de Frobenius relativo más altos) en comparación con la línea base en el espacio físico.
  • Modelo Latente Entrenado Conjuntamente (Joint L-CDM): Logró una aceleración de 5.4× (0.49 segundos) mientras mantenía una precisión predictiva comparable a la de la línea base en el espacio físico. El entrenamiento conjunto corrigió la divergencia de distribución observada en el enfoque de dos fases.
• Simulaciones de Conjunto (Ensemble): Al integrarse en resolvedores numéricos para simulaciones de 20 segundos, el Joint L-CDM permitió la generación de conjuntos con una aceleración computacional de ~10× en comparación con el P-CDM (1,236s frente a 8,652s) manteniendo errores relativos por debajo del 10% para las simulaciones de conjunto.
• Cuantificación de la Incertidumbre: El modelo reprodujo con éxito no solo la dinámica media resuelta, sino también la estructura espacial y la magnitud de la incertidumbre intrínseca (desviación estándar) del término de cierre, superando a los enfoques deterministas y al modelo latente de dos fases en la captura de la varianza física.
• Análisis Espectral: El análisis del espectro de energía mostró que el Joint L-CDM coincidió estrechamente con la verdad de campo (ground truth) hasta números de onda de orden $10^2$, preservando la característica de cascada de enstrofía hacia adelante de la turbulencia 2D.

Significancia y Reivindicaciones
El artículo afirma que este trabajo cierra la brecha entre la expresividad representacional de la IA generativa y la viabilidad computacional requerida para la computación científica práctica. Al optimizar conjuntamente la representación latente y el modelo generativo, los autores demuestran que es posible lograr una aceleración computacional de órdenes de magnitud en el modelado de cierre estocástico sin sacrificar la precisión predictiva. Esto hace que la cuantificación de la incertidumbre basada en conjuntos a gran escala sea factible para sistemas dinámicos complejos donde antes era prohibitivamente costoso. Los autores señalan que, si bien el marco es arquitectónicamente extensible a sistemas 3D, el desafío principal sigue siendo el costo computacional de los datos de alta fidelidad, lo que subraya la necesidad del enfoque en el espacio latente. También reconocen que la sensibilidad a los datos fuera de la distribución (por ejemplo, eventos extremos) sigue siendo un área para futuras investigaciones.