The finite expression method for turbulent dynamics with high-order moment recovery

Resumen Técnico: El Método de Expresión Finita para la Dinámica Turbulenta con Recuperación de Momentos de Orden Superior

Enunciado del Problema
Los sistemas dinámicos turbulentos se caracterizan por fuertes interacciones no lineales, inestabilidades intrínsecas y efectos estocásticos que generan cantidades estadísticas acopladas, particularmente momentos de orden superior no nulos. La modelización de estos sistemas es un desafío debido a errores imperfectos del modelo, escalas no resueltas y datos observacionales limitados. Si bien los métodos recientes basados en datos han demostrado éxito en el aprendizaje de dinámicas locales o a corto plazo, a menudo dependen de representaciones estadísticas de bajo orden (por ejemplo, media y varianza) que son insuficientes para capturar los comportamientos esenciales de la dinámica turbulenta. Además, los métodos existentes de descubrimiento simbólico, como la Identificación Escasa de Sistemas Dinámicos No Lineales (SINDy) y sus variantes, dependen de bibliotecas de funciones predefinidas. Esta limitación restringe su capacidad para representar expresiones de forzamiento complejas que quedan fuera de la base elegida y a menudo conduce a violaciones de las leyes de conservación subyacentes (por ejemplo, intercambios que conservan la energía) al estimar coeficientes en entornos altamente estocásticos. El problema central abordado es la recuperación precisa tanto de las dinámicas gobernantes deterministas (incluyendo interacciones no lineales y forzamiento externo) como de los componentes estocásticos necesarios para reproducir momentos estadísticos de orden superior hasta el orden cinco.

Metodología
Los autores proponen un marco de modelado basado en datos de dos etapas que integra la regresión simbólica con modelos generativos para identificar conjuntamente las dinámicas gobernantes y predecir cantidades estadísticas clave.

• Etapa I: Descubrimiento de Dinámicas Deterministas mediante el Método de Expresión Finita (FEX)
  La primera etapa emplea el Método de Expresión Finita (FEX) para descubrir expresiones en forma cerrada para el componente determinista de la dinámica, denotado como $C(u, t)$. A diferencia de los métodos basados en bibliotecas, FEX representa las expresiones candidatas como árboles binarios construidos a partir de un conjunto finito de operadores unarios y binarios elementales (por ejemplo, $\sin, \exp, +, \times$). Esto permite composiciones jerárquicas que capturan formas funcionales anidadas más allá del rango lineal de las funciones base predefinidas.

  • Mecanismo de Búsqueda: El método utiliza un marco de optimización mixto discreto-continuo. Un controlador de red neuronal genera secuencias candidatas de operadores (búsqueda discreta), mientras que un optimizador basado en gradientes refina los parámetros continuos (escala y sesgo) para una secuencia fija.
  • Objetivo: El objetivo es minimizar la pérdida empírica entre los incrementos de tiempo predichos y los datos observados, recuperando efectivamente términos de interacción no lineal y forzamiento externo sin bibliotecas predefinidas.
  • Aprendizaje por Componente: Para mejorar la escalabilidad, el marco aprende la representación simbólica para cada componente del estado por separado antes de ensamblar el modelo completo de valor vectorial.

• Etapa II: Corrección de Errores Estocásticos mediante Modelos Generativos
  Dado que los modelos FEX solo modelan el componente determinista, se introduce una segunda etapa para modelar los componentes estocásticos residuales, que incluyen incrementos estocásticos no modelados y errores de modelo derivados de la estimación de coeficientes.

  • Definición del Residual: El residual $R_n$ se define como la diferencia entre la evolución del estado observada y la predicción del modelo FEX de la Etapa I: $R_n = u(t_{n+1}) - u(t_n) - h C^*(u(t_n))$.
  • Modelos Generativos: Se emplean tres modelos generativos representativos para aprender la distribución de estos residuos:
    1. Modelo de Difusión sin Entrenamiento (TFDM): Formula el proceso estocástico mediante ecuaciones diferenciales estocásticas (SDE) hacia adelante y hacia atrás, aproximando numéricamente la función de puntuación sin un entrenamiento explícito de una red de puntuación en el sentido tradicional, aunque se entrena una red para mapear el ruido gaussiano a la distribución de residuos.
    2. Red de Activación de Residuos Estocásticos (SRAN): Una red ligera que mapea el ruido gaussiano a residuos estocásticos, regularizada para coincidir con las estadísticas de segundo orden (covarianza) de los residuos.
    3. Autoencoder Variacional (VAE): Utiliza un marco de variables latentes con codificación y decodificación probabilística para capturar la estructura estocástica.
  • Inferencia: Durante la inferencia, las dinámicas simbólicas aprendidas (Etapa I) y el modelo generativo (Etapa II) se combinan para producir trayectorias estimadas completas, permitiendo la recuperación fiel de momentos de orden superior que involucran distribuciones altamente no gaussianas.

Contribuciones Clave

1. Descubrimiento Simbólico Preciso con Datos Limitados: El marco demuestra una habilidad uniformemente alta en la recuperación de fórmulas de expresión deterministas correctas y la identificación de coeficientes de interacción no lineal en regímenes que van desde lo determinista hasta lo fuertemente estocástico. Los coeficientes aprendidos respetan las restricciones físicas intrínsecas, como las transferencias que conservan la energía, mediante el proceso de ajuste fino de FEX.
2. Recuperación de Momentos de Orden Superior: Al desacoplar el descubrimiento determinista del modelado estocástico, el marco predice con éxito momentos estadísticos hasta el orden cinco, capturando comportamientos turbulentos esenciales que los métodos de bajo orden pasan por alto.
3. Generalización Fuera del Dominio de Entrenamiento: Bajo suposiciones de ruido constante, los modelos generativos de la Etapa II aprenden la distribución de residuos, permitiendo el re-muestreo de trayectorias más allá del régimen de entrenamiento y mejorando la estimación a largo plazo de momentos de orden superior.
4. Consistencia Teórica: El artículo proporciona un análisis teórico que establece la consistencia del estimador simbólico y cuantifica los errores de estimación en términos de tamaño de datos y discretización numérica, basándose en suposiciones de ergodicidad y expansiones de Itô–Taylor.

Resultados Numéricos
El marco se evaluó en el modelo estocástico de trío, un sistema tridimensional que representa una truncación de Galerkin de sistemas no lineales, en cinco regímenes distintos:

• Regímenes Probados: Equipartición (casi gaussiano), Cascada de Energía Directa, Cascada de Energía Dual, Forzamiento Periódico y Forzamiento Aleatorio.
• Descubrimiento Simbólico: FEX recuperó con precisión las ecuaciones gobernantes, incluidos los términos de interacción no lineal y expresiones de forzamiento complejas (por ejemplo, formas sinusoidales y exponenciales), en todos los regímenes. En contraste, Weak SINDy a menudo aproximaba los términos de forzamiento de forma polinómica y fallaba en identificar correctamente los términos de interacción bajo una fuerte influencia estocástica.
• Tolerancia al Ruido: FEX mantuvo una recuperación precisa de coeficientes (errores entre $10^{-6}$ y $10^{-2}$) incluso a medida que los niveles de ruido aumentaban desde regímenes deterministas hasta fuertemente estocásticos.
• Eficiencia de Datos: El aumento del tamaño de la muestra mejoró la estimación de coeficientes, con ganancias significativas observadas entre 1.000 y 4.000 muestras, aunque se produjeron rendimientos decrecientes más allá de este umbral debido a la variabilidad estocástica inherente.
• Predicción de Momentos: Los tres modelos generativos (TFDM, SRAN, VAE) capturaron comportamientos cualitativos. SRAN mostró el acuerdo más cercano con la verdad fundamental para momentos de orden inferior, mientras que TFDM mostró solo desviaciones menores. El marco predijo con éxito momentos de cuarto y quinto orden, aunque la precisión disminuyó en el régimen de cascada aleatoria donde un forzamiento estocástico dependiente del tiempo fuerte hizo más difícil la recuperación.
• Dependencia Temporal: Una comparación entre estrategias de modelado independiente y dependiente del tiempo para TFDM reveló una compensación: el modelado dependiente del tiempo capturó mejor la covarianza oscilatoria a corto plazo pero se volvió inestable para horizontes a largo plazo ($T > 10$), mientras que el modelado independiente del tiempo ofreció trayectorias a largo plazo más suaves y estables a costa de un sesgo sistemático.

Significado y Afirmaciones
El artículo afirma que integrar el descubrimiento simbólico interpretable (FEX) con el modelado estocástico basado en datos (modelos generativos) ofrece una solución robusta para sistemas turbulentos complejos. El significado radica en la capacidad para:

• Recuperar expresiones en forma cerrada para interacciones no lineales y forzamiento externo sin bibliotecas predefinidas, preservando las leyes de conservación físicas.
• Caracterizar con precisión cantidades estadísticas de orden superior (hasta el orden cinco) que son críticas para comprender los comportamientos turbulentos pero difíciles de capturar con métodos estándar basados en datos.
• Proporcionar un marco teórico consistente donde se demuestra que el estimador simbólico es consistente bajo suposiciones de ergodicidad.
• Demostrar que este enfoque de dos etapas sigue siendo efectivo incluso en configuraciones desafiantes con múltiples fuentes de estocasticidad, como regímenes de cascada aleatoria, destacando su aplicabilidad potencial a sistemas estocásticos complejos donde los métodos tradicionales fallan en capturar dinámicas de orden superior esenciales.

Los autores señalan que, si bien el marco es efectivo, el costo computacional de TFDM escala con el número de pasos de tiempo y el volumen de datos, y se necesita trabajo futuro para desarrollar implementaciones más escalables y extender el método a efectos estocásticos acoplados multiescala y EDP estocásticas.