The finite expression method for turbulent dynamics with high-order moment recovery

Technische Samenvatting: De Finite Expression Method voor Turbulente Dynamica met Herstel van Hogere Orde Momenten

Probleemstelling
Turbulente dynamische systemen worden gekenmerkt door sterke niet-lineaire interacties, intrinsieke instabiliteiten en stochastische effecten die gekoppelde statistische grootheden genereren, met name niet-nul momenten van hogere orde. Het modelleren van deze systemen is uitdagend vanwege imperfecte modelfouten, niet-opgeloste schalen en beperkte observationele data. Hoewel recente datagedreven methoden succes hebben getoond in het leren van lokale of korte-termijn dynamica, vertrouwen ze vaak op statistische representaties van lage orde (bijvoorbeeld gemiddelde en variantie), die ontoereikend zijn om de essentiële gedragingen van turbulente dynamica vast te leggen. Bovendien vertrouwen bestaande methoden voor symbolische ontdekking, zoals Sparse Identification of Nonlinear Dynamical Systems (SINDy) en diens varianten, op vooraf gedefinieerde functielibraries. Deze beperking beperkt hun vermogen om complexe forceringsuitdrukkingen weer te geven die buiten de gekozen basis vallen, en leidt vaak tot schendingen van onderliggende behoudswetten (bijvoorbeeld energiebehoudende uitwisselingen) bij het schatten van coëfficiënten in sterk stochastische omgevingen. Het kernprobleem dat wordt aangepakt, is de accurate herwinning van zowel de deterministische regerende dynamica (inclusief niet-lineaire interacties en externe forcering) als de stochastische componenten die nodig zijn om statistische momenten van hogere orde tot en met orde vijf te reproduceren.

Methodologie
De auteurs stellen een tweestaps datagedreven modelleringkader voor dat symbolische regressie integreert met generatieve modellen om gezamenlijk regerende dynamica te identificeren en sleutelstatistische grootheden te voorspellen.

• Stap I: Ontdekking van Deterministische Dynamica via de Finite Expression Method (FEX)
  De eerste stap maakt gebruik van de Finite Expression Method (FEX) om gesloten-vorm uitdrukkingen te ontdekken voor de deterministische component van de dynamica, aangeduid als $C(u, t)$. In tegenstelling tot library-gebaseerde methoden, stelt FEX kandidaat-uitdrukkingen voor als binaire bomen die zijn opgebouwd uit een eindige verzameling elementaire unaire en binaire operatoren (bijvoorbeeld $\sin, \exp, +, \times$). Dit maakt hiërarchische composities mogelijk die geneste functionele vormen vastleggen die verder gaan dan de lineaire span van vooraf gedefinieerde basisfuncties.

  • Zoekmechanisme: De methode maakt gebruik van een gemengd discreet-continu optimalisatiekader. Een neurale netwerkcontroller genereert kandidaat-operatierijen (discrete zoektocht), terwijl een op gradiënten gebaseerde optimizer de continue parameters (schaling en bias) verfijnt voor een vaste rij.
  • Doel: Het doel is om de empirische verliezen tussen de voorspelde tijdsincrementen en de waargenomen data te minimaliseren, waardoor effectief niet-lineaire interactietermen en externe forcering worden hersteld zonder vooraf gedefinieerde libraries.
  • Componentgewijs Leren: Om de schaalbaarheid te verbeteren, leert het kader de symbolische representatie voor elke toestandscomponent afzonderlijk voordat het het volledige vectorwaardige model assembleert.

• Stap II: Stochastische Correctie van Fouten via Generatieve Modellen
  Aangezien FEX-modellen alleen de deterministische component modelleren, wordt een tweede stap geïntroduceerd om de resterende stochastische componenten te modelleren, waaronder niet-gemodelleerde stochastische incrementen en modelfouten die voortvloeien uit coëfficiëntschattings.

  • Definitie van Residu: Het residu $R_n$ wordt gedefinieerd als het verschil tussen de waargenomen toestandsontwikkeling en de voorspelling van het FEX-model uit Stap I: $R_n = u(t_{n+1}) - u(t_n) - h C^*(u(t_n))$.
  • Generatieve Modellen: Drie representatieve generatieve modellen worden ingezet om de verdeling van deze residuen te leren:
    1. Trainingsvrij Diffusiemodel (TFDM): Formuleert het stochastische proces via voorwaartse en omgekeerde stochastische differentiaalvergelijkingen (SDE's), waarbij de scorefunctie numeriek wordt benaderd zonder expliciete training van een score-netwerk in de traditionele zin, hoewel een netwerk wordt getraind om Gaussisch ruis af te beelden op de residuverdeling.
    2. Stochastisch Residu Activeringsnetwerk (SRAN): Een lichtgewicht netwerk dat Gaussische ruis afbeeldt op stochastische residuen, geregulariseerd om overeen te komen met de statistieken van de tweede orde (covariantie) van de residuen.
    3. Variational Autoencoder (VAE): Gebruikt een raamwerk met latent variabelen met probabilistische codering en decodering om stochastische structuur vast te leggen.
  • Inferentie: Tijdens inferentie worden de geleerde symbolische dynamica (Stap I) en het generatieve model (Stap II) gecombineerd om volledige geschatte trajecten te produceren, waardoor de trouwe herwinning van momenten van hogere orde mogelijk wordt die sterk niet-Gaussische verdelingen omvatten.

Belangrijkste Bijdragen

1. Accurate Symbolische Ontdekking met Beperkte Data: Het kader toont uniform hoge vaardigheid in het herstellen van correcte deterministische uitdrukkingsformules en het identificeren van coëfficiënten voor niet-lineaire interacties over regimes die variëren van deterministisch tot sterk stochastisch. De geleerde coëfficiënten respecteren intrinsieke fysieke beperkingen, zoals energiebehoudende overdrachten, via het FEX-finetuningproces.
2. Herstel van Momenten van Hogere Orde: Door de deterministische ontdekking te ontkoppelen van stochastische modellering, voorspelt het kader succesvol statistische momenten tot en met orde vijf, waardoor essentiële turbulente gedragingen worden vastgelegd die door methoden van lage orde worden gemist.
3. Generalisatie Buiten het Trainingsdomein: Onder de aanname van constante ruis leren de generatieve modellen van Stap II de verdeling van residuen, waardoor hersampling van trajecten mogelijk wordt buiten het trainingsregime en de lange-termijn schatting van momenten van hogere orde wordt verbeterd.
4. Theoretische Consistentie: Het artikel biedt theoretische analyse die de consistentie van de symbolische schatter vaststelt en schattingsfouten kwantificeert in termen van dataomvang en numerieke discretisatie, waarbij wordt vertrouwd op ergoditeitsaannames en Itô–Taylor-uitbreidingen.

Numerieke Resultaten
Het kader werd geëvalueerd op het stochastische triade-model, een driedimensionaal systeem dat een Galerkin-truncatie van niet-lineaire systemen vertegenwoordigt, over vijf distincte regimes:

• Geteste Regimes: Equipartitie (bijna-Gaussisch), Forward Energy Cascade, Dual Energy Cascade, Periodieke Forcering en Willekeurige Forcering.
• Symbolische Ontdekking: FEX herstelde nauwkeurig regerende vergelijkingen, inclusief niet-lineaire interactietermen en complexe forceringsuitdrukkingen (bijvoorbeeld sinusvormige en exponentiële vormen), over alle regimes. In tegenstelling hiermee benaderde Weak SINDy forceringstermen vaak polynomiaal en faalde het bij het correct identificeren van interactietermen onder sterke stochastische invloed.
• Ruis tolerantie: FEX behield een accurate herwinning van coëfficiënten (fouten binnen $10^{-6}$ tot $10^{-2}$) zelfs naarmate het ruisniveau toenam van deterministisch naar sterk stochastische regimes.
• Data-efficiëntie: Het vergroten van de steekproefgrootte verbeterde de coëfficiëntschatting, met aanzienlijke winsten waargenomen tussen 1.000 en 4.000 steekproeven, hoewel er afnemende meeropbrengsten optreden boven deze drempel vanwege inherente stochastische variabiliteit.
• Momentvoorspelling: Alle drie de generatieve modellen (TFDM, SRAN, VAE) legden kwalitatieve gedragingen vast. SRAN toonde de dichtste overeenkomst met de grondwaarheid voor momenten van lagere orde, terwijl TFDM slechts geringe afwijkingen vertoonde. Het kader voorspelde succesvol momenten van de vierde en vijfde orde, hoewel de nauwkeurigheid afnam in het regime van willekeurige cascade, waar sterke tijdafhankelijke stochastische forcering de herwinning moeilijker maakte.
• Tijdafhankelijkheid: Een vergelijking tussen tijdsonafhankelijke en tijdafhankelijke modelleringstrategieën voor TFDM onthulde een afweging: tijdafhankelijke modellering legde kortetermijn-oscillerende covariantie beter vast, maar werd instabiel voor lange-termijnhorizons ($T > 10$), terwijl tijdsonafhankelijke modellering gladdere, stabielere lange-termijntrajecten bood ten koste van systematische bias.

Betekenis en Claims
Het artikel claimt dat het integreren van interpreteerbare symbolische ontdekking (FEX) met datagedreven stochastische modellering (generatieve modellen) een robuuste oplossing biedt voor complexe turbulente systemen. De betekenis ligt in het vermogen om:

• Gesloten-vorm uitdrukkingen te herstellen voor niet-lineaire interacties en externe forcering zonder vooraf gedefinieerde libraries, waarbij fysieke behoudswetten worden behouden.
• Statistische grootheden van hoge orde (tot en met orde vijf) nauwkeurig te karakteriseren die cruciaal zijn voor het begrijpen van turbulent gedrag, maar moeilijk vast te leggen zijn met standaard datagedreven methoden.
• Een consistent theoretisch kader te bieden waarin de symbolische schatter bewezen consistent is onder ergoditeitsaannames.
• Aan te tonen dat deze tweestapsaanpak effectief blijft zelfs in uitdagende omgevingen met meerdere bronnen van stochastiek, zoals regimes van willekeurige cascade, waarbij de potentiële toepasbaarheid op complexe stochastische systemen wordt benadrukt waar traditionele methoden falen in het vastleggen van essentiële dynamica van hoge orde.

De auteurs merken op dat hoewel het kader effectief is, de computerkosten van TFDM schalen met het aantal tijdstappen en de datavolume, en dat toekomstig werk nodig is om schaalbaardere implementaties te ontwikkelen en de methode uit te breiden tot multischaal gekoppelde stochastische effecten en stochastische partiële differentiaalvergelijkingen.