The finite expression method for turbulent dynamics with high-order moment recovery

Résumé Technique : La Méthode d'Expression Finie pour la Dynamique Turbulente avec Récupération des Moments d'Ordre Supérieur

Énoncé du Problème
Les systèmes dynamiques turbulents se caractérisent par des interactions non linéaires fortes, des instabilités intrinsèques et des effets stochastiques générant des grandeurs statistiques couplées, notamment des moments d'ordre supérieur non nuls. La modélisation de ces systèmes est difficile en raison d'erreurs de modèle imparfaites, d'échelles non résolues et de données d'observation limitées. Bien que des méthodes récentes basées sur les données aient montré leur succès dans l'apprentissage de dynamiques locales ou à court terme, elles reposent souvent sur des représentations statistiques d'ordre faible (par exemple, moyenne et variance) qui sont insuffisantes pour capturer les comportements essentiels de la dynamique turbulente. De plus, les méthodes existantes de découverte symbolique, telles que l'Identification Sparse des Systèmes Dynamiques Non Linéaires (SINDy) et ses variantes, dépendent de bibliothèques de fonctions prédéfinies. Cette limitation restreint leur capacité à représenter des expressions de forçage complexes qui tombent en dehors de la base choisie et conduit souvent à des violations des lois de conservation sous-jacentes (par exemple, les échanges conservant l'énergie) lors de l'estimation des coefficients dans des environnements hautement stochastiques. Le problème central abordé est la récupération précise à la fois des dynamiques gouvernantes déterministes (incluant les interactions non linéaires et le forçage externe) et des composantes stochastiques nécessaires pour reproduire les moments statistiques d'ordre supérieur jusqu'à l'ordre cinq.

Méthodologie
Les auteurs proposent un cadre de modélisation piloté par les données en deux étapes qui intègre la régression symbolique avec des modèles génératifs pour identifier conjointement les dynamiques gouvernantes et prédire des grandeurs statistiques clés.

• Étape I : Découverte des Dynamiques Déterministes via la Méthode d'Expression Finie (FEX)
  La première étape utilise la Méthode d'Expression Finie (FEX) pour découvrir des expressions sous forme fermée de la composante déterministe de la dynamique, notée $C(u, t)$. Contrairement aux méthodes basées sur des bibliothèques, la FEX représente les expressions candidates comme des arbres binaires construits à partir d'un ensemble fini d'opérateurs unaires et binaires élémentaires (par exemple, $\sin, \exp, +, \times$). Cela permet des compositions hiérarchiques qui capturent des formes fonctionnelles imbriquées au-delà de l'enveloppe linéaire des fonctions de base prédéfinies.

  • Mécanisme de Recherche : La méthode utilise un cadre d'optimisation mixte discrète–continue. Un réseau de neurones contrôleur génère des séquences d'opérateurs candidates (recherche discrète), tandis qu'un optimiseur basé sur le gradient affine les paramètres continus (mise à l'échelle et biais) pour une séquence fixe.
  • Objectif : Le but est de minimiser la perte empirique entre les incréments de temps prédits et les données observées, récupérant ainsi efficacement les termes d'interaction non linéaires et le forçage externe sans bibliothèques prédéfinies.
  • Apprentissage Composant par Composant : Pour améliorer l'évolutivité, le cadre apprend la représentation symbolique pour chaque composante d'état séparément avant d'assembler le modèle complet à valeurs vectorielles.

• Étape II : Correction d'Erreur Stochastique via des Modèles Génératifs
  Puisque la FEX modélise uniquement la composante déterministe, une deuxième étape est introduite pour modéliser les composantes résiduelles stochastiques, qui incluent les incréments stochastiques non modélisés et les erreurs de modèle résultant de l'estimation des coefficients.

  • Définition du Résidu : Le résidu $R_n$ est défini comme la différence entre l'évolution de l'état observée et la prédiction du modèle FEX de l'Étape I : $R_n = u(t_{n+1}) - u(t_n) - h C^*(u(t_n))$.
  • Modèles Génératifs : Trois modèles génératifs représentatifs sont utilisés pour apprendre la distribution de ces résidus :
    1. Modèle de Diffusion Sans Entraînement (TFDM) : Formule le processus stochastique via des équations différentielles stochastiques (EDS) forward et reverse, approxime la fonction de score numériquement sans entraînement explicite d'un réseau de score au sens traditionnel, bien qu'un réseau soit entraîné pour mapper le bruit gaussien vers la distribution des résidus.
    2. Réseau d'Activation de Résidu Stochastique (SRAN) : Un réseau léger mappant le bruit gaussien vers des résidus stochastiques, régularisé pour correspondre aux statistiques d'ordre deux (covariance) des résidus.
    3. Autoencodeur Variationnel (VAE) : Utilise un cadre à variables latentes avec encodage et décodage probabilistes pour capturer la structure stochastique.
  • Inférence : Lors de l'inférence, les dynamiques symboliques apprises (Étape I) et le modèle génératif (Étape II) sont combinés pour produire des trajectoires estimées complètes, permettant la récupération fidèle des moments d'ordre supérieur impliquant des distributions hautement non gaussiennes.

Contributions Clés

1. Découverte Symbolique Précise avec Données Limitées : Le cadre démontre une compétence uniformément élevée dans la récupération de formules d'expression déterministes correctes et l'identification des coefficients d'interaction non linéaires à travers des régimes allant du déterministe au fortement stochastique. Les coefficients appris respectent les contraintes physiques intrinsèques, telles que les transferts conservant l'énergie, grâce au processus d'affinement de la FEX.
2. Récupération des Moments d'Ordre Supérieur : En découplant la découverte déterministe de la modélisation stochastique, le cadre prédit avec succès les moments statistiques jusqu'à l'ordre cinq, capturant les comportements turbulents essentiels que les méthodes d'ordre faible manquent.
3. Généralisation Hors Domaine d'Entraînement : Sous des hypothèses de bruit constant, les modèles génératifs de l'Étape II apprennent la distribution des résidus, permettant le rééchantillonnage de trajectoires au-delà du régime d'entraînement et améliorant l'estimation à long terme des moments d'ordre supérieur.
4. Cohérence Théorique : L'article fournit une analyse théorique établissant la cohérence de l'estimateur symbolique et quantifiant les erreurs d'estimation en termes de taille des données et de discrétisation numérique, en s'appuyant sur des hypothèses d'ergodicité et des développements d'Itô–Taylor.

Résultats Numériques
Le cadre a été évalué sur le modèle stochastique de triade, un système tridimensionnel représentant une troncature de Galerkin de systèmes non linéaires, à travers cinq régimes distincts :

• Régimes Testés : Équipartition (près du gaussien), Cascade d'Énergie Directe, Cascade d'Énergie Double, Forçage Périodique et Forçage Aléatoire.
• Découverte Symbolique : La FEX a récupéré avec précision les équations gouvernantes, y compris les termes d'interaction non linéaires et des expressions de forçage complexes (par exemple, formes sinusoïdales et exponentielles), à travers tous les régimes. En revanche, le SINDy faible approxima souvent les termes de forçage de manière polynomiale et échoua à identifier correctement les termes d'interaction sous une forte influence stochastique.
• Tolérance au Bruit : La FEX a maintenu une récupération précise des coefficients (erreurs comprises entre $10^{-6}$ et $10^{-2}$) même lorsque les niveaux de bruit augmentaient des régimes déterministes aux régimes fortement stochastiques.
• Efficacité des Données : L'augmentation de la taille de l'échantillon a amélioré l'estimation des coefficients, avec des gains significatifs observés entre 1 000 et 4 000 échantillons, bien que des rendements décroissants se soient produits au-delà de ce seuil en raison de la variabilité stochastique inhérente.
• Prédiction des Moments : Les trois modèles génératifs (TFDM, SRAN, VAE) ont capturé les comportements qualitatifs. Le SRAN a montré l'accord le plus proche avec la vérité terrain pour les moments d'ordre inférieur, tandis que le TFDM n'a montré que de légères déviations. Le cadre a prédit avec succès les moments d'ordre quatre et cinq, bien que la précision ait diminué dans le régime de cascade aléatoire où un forçage stochastique dépendant du temps fort rendait la récupération plus difficile.
• Dépendance Temporelle : Une comparaison entre les stratégies de modélisation indépendante et dépendante du temps pour le TFDM a révélé un compromis : la modélisation dépendante du temps capturait mieux la covariance oscillatoire à court terme mais devenait instable pour des horizons à long terme ($T > 10$), tandis que la modélisation indépendante du temps offrait des trajectoires à long terme plus lisses et plus stables au prix d'un biais systématique.

Signification et Revendications
L'article revendique que l'intégration de la découverte symbolique interprétable (FEX) avec la modélisation stochastique pilotée par les données (modèles génératifs) offre une solution robuste pour les systèmes turbulents complexes. La signification réside dans la capacité à :

• Récupérer des expressions sous forme fermée pour les interactions non linéaires et le forçage externe sans bibliothèques prédéfinies, préservant les lois de conservation physiques.
• Caractériser avec précision des grandeurs statistiques d'ordre supérieur (jusqu'à l'ordre cinq) qui sont critiques pour la compréhension des comportements turbulents mais difficiles à capturer avec des méthodes standard basées sur les données.
• Fournir un cadre théorique cohérent où l'estimateur symbolique est prouvé cohérent sous des hypothèses d'ergodicité.
• Démontrer que cette approche en deux étapes reste efficace même dans des contextes difficiles avec plusieurs sources de stochasticité, tels que les régimes de cascade aléatoire, soulignant son applicabilité potentielle à des systèmes stochastiques complexes où les méthodes traditionnelles échouent à capturer les dynamiques d'ordre supérieur essentielles.

Les auteurs notent que bien que le cadre soit efficace, le coût computationnel du TFDM évolue avec le nombre d'étapes de temps et le volume de données, et qu'un travail futur est nécessaire pour développer des implémentations plus évolutives et étendre la méthode aux effets stochastiques couplés multi-échelles et aux EDP stochastiques.