Stochastic and Non-local Closure Modeling for Nonlinear Dynamical Systems via Latent Score-based Generative Models

Technische Samenvatting: Stochastische en niet-lokale afsluitingsmodellering via Latente Score-gebaseerde Generatieve Modellen

Probleemstelling
Computationele mechanica heeft vaak te maken met complexe nietlineaire dynamische systemen, zoals turbulente stromingen, waarbij het expliciet oplossen van alle relevante schalen computationeel onhaalbaar is. Klassieke methoden voor afsluitingsmodellering (bijv. RANS, LES) vertrouwen op deterministische en lokale aannames om subgrid-schaal verschijnselen te benaderen. Deze aannames zijn echter vaak te restrictief voor systemen die geen duidelijke schaalseparatie vertonen, waardoor ze ongeschikt zijn voor het vastleggen van onzekerheden, regimeovergangen en niet-lokale ruimtelijke correlaties. Hoewel recente ontwikkelingen in generatieve AI, specifiek diffusiemodellen, een veelbelovend kader bieden voor stochastische en niet-lokale afsluitingsmodellering door afsluitingstermen als stochastische objecten te behandelen, wordt hun praktische toepassing beperkt door prohibitieve computationele inferentiekosten. Standaard diffusiemodellen vereisen honderden tot duizenden netwerkevaluaties per tijdstap, wat onhaalbaar is voor integratie in numerieke simulaties waar afsluitingstermen bij elke stap geëvalueerd moeten worden.

Methodologie
De auteurs stellen een Latent Conditional Diffusion Model (L-CDM) framework voor om de afruil tussen computationele efficiëntie en generatieve nauwkeurigheid aan te pakken. De methodologie bestaat uit drie kerncomponenten:

1. Latente Ruimte Formulering: Het framework maakt gebruik van convolutionele autoencoders om hoogdimensionale fysieke velden (de systeemtoestand $V$ en de afsluitingsterm $U$) te comprimeren naar laagdimensionale latente representaties ($z_V$ en $z_U$). Deze dimensionaliteitsreductie is cruciaal voor het verminderen van de computationele kosten van het reverse samplingproces.
2. Niet-lokale Modellering: Om de langetermijn ruimtelijke afhankelijkheden te vangen die inherent zijn aan complexe systemen, wordt de scorefunctie $s_\theta$ binnen de latente ruimte geconstrueerd met behulp van een Fourier Neural Operator (FNO). De FNO voert geleerde convoluties uit in het Fourier-domein, wat zorgt voor globale receptieve velden. Daarnaast incorporeert de autoencoderarchitectuur diepe hiërarchische lagen en expliciete self-attention modules om niet-lokale interacties verder te modelleren.
3. Joint Training Strategie: Een belangrijke methodologische innovatie is de verschuiving van de conventionele twee-fasen trainingspipeline (het apart trainen van autoencoders en diffusiemodellen) naar een end-to-end gezamenlijke optimalisatie (joint optimization) procedure.
   • Conventionele Aanpak: Autoencoders worden uitsluitend getraind om de reconstructiefout te minimaliseren, wat vaak resulteert in een latente ruimte die moeilijk effectief gesampled kan worden door diffusiemodellen.
   • Voorgestelde Aanpak: De autoencoder en het latente diffusiemodel worden gelijktijdig getraind met een samengestelde verliesfunctie: $L_{joint} = L_{AE} + \lambda_{score} L_{score} + \lambda_{KL} L_{KL}$.
     • $L_{AE}$ zorgt voor een getrouwe reconstructie van de fysieke velden.
     • $L_{score}$ traint het diffusiemodel om de conditionele distributie $p(z_U | z_V)$ te matchen.
     • $L_{KL}$ (Kullback-Leibler divergentie) fungeert als een regularisator om latente ruimte-instorting (latent space collapse) te voorkomen, waardoor de latente distributie voldoende stochastisch en niet-degenerat blijft.

Het samplingproces maakt gebruik van een adaptief tijdstap-schema (Euler-Maruyama integratie) om het reverse diffusieproces binnen de latente ruimte verder te versnellen.

Belangrijkste Bijdragen

• Latent Diffusion Framework: Het artikel introduceert een stochastisch afsluitingsmodellering framework dat hoogdimensionale velden naar een latente manifold mapt, waarbij conditionele Langevin-sampling wordt uitgevoerd om een orders van grootte snellere inferentie te bereiken vergeleken met fysische-ruimte diffusiemodellen.
• Gezamenlijke Optimalisatie: De auteurs demonstreren dat de standaard twee-fasen trainingspipeline de nauwkeurigheid van de generatie van afsluitingstermen compromitteert. Ze stellen een gezamenlijk trainingsschema voor dat reconstructie- en score-matching doelstellingen harmoniseert, wat de generatieve nauwkeurigheid aanzienlijk verbetert terwijl de efficiëntie van latente-ruimte sampling behouden blijft.
• Niet-lokale Stochastische Modellering: Door FNO's en attention-mechanismen te integreren binnen een latente diffusiearchitectuur, vangt het framework effectief niet-lokale ruimtelijke afhankelijkheden en stochastisch gedrag dat deterministische lokale modellen missen.

Numerieke Resultaten
Het framework werd geëvalueerd op een twee-dimensionale Kolmogorov-flow die wordt beheerst door de stochastische Navier-Stokes vergelijkingen, waarbij het doel was om de onbekende stochastische nietlineaire convectieterm te modelleren.

• Nauwkeurigheid vs. Efficiëntie:
  • Fysische-Ruimte Baseline (P-CDM): Bereikte een hoge nauwkeurigheid maar vereiste ~2,64 seconden om 1.000 samples te genereren.
  • Twee-fasen Latent Model: Bereikte een 5,5× versnelling (~0,48 seconden) maar leed aan aanzienlijke degradatie in nauwkeurigheid (hogere MSE en relatieve Frobenius-norm fouten) vergeleken met de fysische-ruimte baseline.
  • Gezamenlijk Getraind Latent Model (Joint L-CDM): Bereikte een 5,4× versnelling (0,49 seconden) terwijl het een voorspellende nauwkeurigheid behield die vergelijkbaar is met de fysische-ruimte baseline. De gezamenlijke training corrigeerde de distributionele divergentie waargenomen in de twee-fasen aanpak.
• Ensemble Simulaties: Bij integratie in numerieke solvers voor 20-seconden simulaties maakte de Joint L-CDM ensemble-generatie mogelijk met een ~10× computationele versnelling vergeleken met de P-CDM (1.236s vs. 8.652s) terwijl de relatieve fouten onder de 10% bleven voor ensemble-simulaties.
• Onzekerheidskwantificering: Het model slaagde erin niet alleen de gemiddelde opgeloste dynamica te reproduceren, maar ook de ruimtelijke structuur en de magnitude van de intrinsieke onzekerheid (standaarddeviatie) van de afsluitingsterm, waarbij het deterministische benaderingen en het twee-fasen latente model overtrof in het vastleggen van fysieke variantie.
• Spectrale Analyse: De energie-spectrum analyse toonde aan dat de Joint L-CDM nauw aansluit bij de grondwaarheid tot golfgetallen van de orde $10^2$, waardoor de kenmerkende forward enstrophy cascade van 2D turbulentie behouden blijft.

Betekenis en Claims
Het artikel claimt dat dit werk de kloof overbrugt tussen de representatieve expressiviteit van generatieve AI en de computationele haalbaarheid die vereist is voor praktische wetenschappelijke berekeningen. Door de latente representatie en het generatieve model gezamenlijk te optimaliseren, demonstreren de auteurs dat het mogelijk is om orders van grootte aan computationele versnelling te bereiken in stochastische afsluitingsmodellering zonder de voorspellende nauwkeurigheid op te offeren. Dit maakt praktische, grootschalige ensemble-gebaseerde onzekerheidskwantificering haalbaar voor complexe dynamische systemen waar dit voorheen prohibitief duur was. De auteurs merken op dat hoewel het framework architecturaal uitbreidbaar is naar 3D-systemen, de primaire uitdaging de computationele kosten van hoogwaardige 3D-data blijft, wat de noodzaak van de latente-ruimte aanpak verder onderstreept. Ze erkennen ook dat de gevoeligheid voor out-of-distribution data (bijv. extreme gebeurtenissen) een gebied blijft voor toekomstig onderzoek.