Comparison of data-driven symmetry-preserving closure models for large-eddy simulation

Deze studie vergelijkt symmetriebehoudende data-gedreven sluitingsmodellen voor grote-ewervel-simulatie (LES) met onbeperkte modellen en klassieke benaderingen, en concludeert dat hoewel alle data-gedreven modellen nauwkeuriger zijn, het handhaven van symmetrieën leidt tot fysiek consistenter gedrag dat niet volledig door traditionele foutmetingen wordt vastgelegd.

De kern

Stel je voor dat je een enorme, chaotische storm wilt voorspellen. De lucht zit vol met wervelingen: grote, duidelijke draaikolken en talloze, onzichtbare kleine trillingen. Om dit op een computer te simuleren, zou je elke individuele moleculaire beweging moeten berekenen. Dat is echter net zo onmogelijk als het proberen te tellen van elk zandkorreltje op een strand terwijl je een storm bestudeert. Het kost te veel rekenkracht.

Daarom gebruiken wetenschappers een slimme truc: Large-Eddy Simulation (LES). Ze kijken alleen naar de grote wervelingen (de "grote eddy's") en proberen de invloed van de kleine, onzichtbare wervelingen te schatten. Dit noemen we een "sluiting" (closure). Het is alsof je een film van een storm bekijkt, maar de kleine ruis eruit filtert en een slimme gok doet over wat die ruis voor de grote beelden doet.

Het probleem is: als je die gok verkeerd doet, wordt je simulatie onstabiel of geeft hij fysisch onmogelijke resultaten. De natuur heeft namelijk vaste regels, zoals symmetrie. Als je de storm draait, spiegelt of verplaatst, moet de fysica hetzelfde blijven. Een goede voorspelling mag niet veranderen als je je hoofd kantelt.

De auteurs van dit papier, Syver en Benjamin, hebben gekeken hoe we Kunstmatige Intelligentie (AI) kunnen gebruiken om die "gok" over de kleine wervelingen beter te maken. Ze hebben drie verschillende soorten AI-modellen getest en vergeleken met de oude, klassieke methoden.

Hier is hoe hun onderzoek werkt, vertaald in alledaagse termen:

1. De drie kandidaten voor de job

Stel je voor dat je drie verschillende kunstenaars hebt die een schilderij van de storm moeten maken, gebaseerd op een foto.

• De "Vrije Kunstenaar" (Unconstrained Neural Network):
  Deze AI heeft geen regels. Hij mag alles tekenen wat hij wil. Hij is heel flexibel en kan misschien wel een heel realistisch schilderij maken. Maar omdat hij geen regels volgt, kan hij per ongeluk iets tekenen dat in de echte natuur onmogelijk is (bijvoorbeeld een wervel die alleen naar links draait, maar nooit naar rechts).
• De "Basis-Constructeur" (Tensor-Basis Neural Network - TBNN):
  Deze kunstenaar werkt met een vooraf gedefinieerde set bouwstenen (een "basis"). Hij mag alleen deze specifieke vormen gebruiken, maar hij mag ze wel in elke combinatie en grootte zetten. Omdat de bouwstenen zelf al de regels van de natuur volgen (symmetrie), kan het eindresultaat nooit fout zijn. Het is alsof hij alleen Legoblokken gebruikt die perfect in elkaar passen.
• De "Spiegel-Netwerker" (Group-Convolutional Neural Network - G-conv):
  Deze kunstenaar heeft een heel speciale bril op. Wat hij ook tekent, zijn bril zorgt ervoor dat als je het schilderij draait of spiegelt, het resultaat automatisch ook correct gedraaid of gespiegeld wordt. Hij is "symmetrie-bewust" door zijn hele architectuur. Hij is echter wel wat zwaarder en trager om te gebruiken.

2. Wat hebben ze ontdekt?

De auteurs hebben deze modellen getest in een virtuele storm. Hier zijn de belangrijkste lessen:

• Alle AI-modellen waren beter dan de oude methoden:
  De klassieke methoden (zoals de "Smagorinsky"-methode) waren als een ouderwetse schatting: ze deden het werk, maar waren niet erg nauwkeurig. Alle drie de AI-modellen voorspelden de krachten van de kleine wervelingen veel beter.
• De "Vrije Kunstenaar" deed het goed, maar niet perfect:
  De AI zonder regels kon de krachten heel nauwkeurig voorspellen. Maar als je keek naar hoe de storm zich gedroeg op de lange termijn, zag je dat hij soms "raar" deed. De verdeling van de snelheid en draaiing van de lucht (de statistieken) was niet helemaal natuurgetrouw. Hij miste de diepere fysieke regels.
• Symmetrie is de sleutel tot kwaliteit:
  De modellen die de regels van symmetrie (TBNN en G-conv) in hun systeem hadden ingebouwd, produceerden resultaten die fysisch consistenter waren. Ze voorspelden niet alleen de juiste getallen, maar ook het juiste gedrag van de storm. Ze hielden de "teardrop-vorm" van de turbulentie vast, een universeel patroon in de natuur dat de vrije kunstenaar een beetje verdraaide.
• Het prijskaartje:
  De "Spiegel-Netwerker" (G-conv) was het meest nauwkeurig in het behouden van symmetrie, maar hij was ook 7 keer trager dan de andere AI-modellen. De "Basis-Constructeur" (TBNN) was bijna even snel als de vrije kunstenaar, maar leverde wel de voordelen van symmetrie op.

3. De grote conclusie

Dit onderzoek laat zien dat je AI niet zomaar los kunt laten op natuurkunde. Als je een AI traint om de natuur na te bootsen, moet je haar de regels van de natuur (symmetrie) als basis geven.

• Als je AI alleen "leert" zonder regels, kan hij slim zijn, maar hij zal soms onnatuurlijke dingen doen.
• Als je AI de regels van symmetrie in zijn "hersenen" (architectuur) bouwt, leert hij sneller, wordt hij stabieler en geeft hij een veel natuurgetrouwer beeld van de wereld, zelfs als de rekenfouten op het eerste gezicht hetzelfde lijken.

Kortom: Om de stormen van morgen te voorspellen, moeten we onze AI niet alleen slim maken, maar ook wijs. We moeten haar de fundamentele wetten van de natuur in het hoofd steken, zodat ze niet alleen goed rekent, maar ook goed denkt. De "Basis-Constructeur" (TBNN) bleek hier de beste balans te zijn: snel, slim en in harmonie met de natuur.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Comparison of data-driven symmetry-preserving closure models for large-eddy simulation" in het Nederlands.

Titel: Vergelijking van datagedreven symmetriebehoudende sluitingsmodellen voor Large-Eddy Simulation (LES)

Auteurs: Syver Døving Agdestein en Benjamin Sanderse
Publicatiedatum: 5 maart 2026 (arXiv)

---

1. Probleemstelling

Directe Numerieke Simulatie (DNS) van turbulente stromingen is computationally te duur voor de meeste praktische toepassingen. Large-Eddy Simulation (LES) biedt een haalbaar alternatief door alleen de grote schalen op te lossen en het effect van de niet-opgeloste schalen te modelleren via een sluitingsmodel (closure model).

Een fundamenteel probleem bij het ontwikkelen van deze modellen, en specifiek bij het gebruik van Machine Learning (ML), is het behoud van de fysieke symmetrieën die inherent zijn aan de Navier-Stokes-vergelijkingen. Deze symmetrieën omvatten:

• Galileïsche invariantie: De wetten zijn hetzelfde in elk inertiaal stelsel.
• Rotatie- en reflectie-invariantie: De fysica verandert niet bij rotatie of spiegeling van het coördinatenstelsel.
• Schalingsinvariantie.

Klassieke modellen (zoals eddy-viscositeit) behouden deze symmetrieën per constructie. Datagedreven neurale netwerken echter, die vaak worden getraind op data, garanderen dit niet automatisch. Als een sluitingsmodel deze symmetrieën schendt, kan dit leiden tot:

• Spurius (onfysisch) gedrag.
• Instabiliteiten in de simulatie.
• Slechte generalisatie naar andere stromingsregimes.

De vraag is of het expliciet afdwingen van deze symmetrieën in de architectuur van neurale netwerken leidt tot betere, fysisch consistenter modellen dan onbeperkte netwerken.

---

2. Methodologie

De auteurs vergelijken drie datagedreven benaderingen voor het voorspellen van de subgrid-schaal (SGS) spannings tensor, naast klassieke referentiemodellen (Smagorinsky en Clark's gradient model). Alle datagedreven modellen worden getraind op data gegenereerd door een DNS van gedwongen homogene isotrope turbulentie.

De drie vergeleken datagedreven architecturen zijn:

1. Tensor-Basis Neurale Netwerken (TBNN):

   • Principe: In plaats van de volledige spannings tensor direct te voorspellen, wordt de tensor uitgedrukt als een lineaire combinatie van een vooraf bepaald basis van tensorvormen (volgens de theorie van Pope en Smith).
   • Symmetrie: De basis-tensors transformeren correct onder rotaties en reflecties. De neurale netwerken voorspellen alleen de scalaire coëfficiënten die afhankelijk zijn van invarianten van de snelheidsgradiënttensor (VGT). Hierdoor is het model per definitie equivariant (symmetriebehoudend).
   • Implementatie: Een feed-forward netwerk dat 5 invarianten als input neemt en 7 coëfficiënten voorspelt.

2. Groep-Convolutionele Neurale Netwerken (G-conv):

   • Principe: Een structuurmodel dat de SGS-spanning direct voorspelt, maar waarbij de symmetrie wordt afgedwongen via de netwerkarchitectuur.
   • Symmetrie: Er wordt gebruikgemaakt van groep-convoluties voor de octaëdrische groep $G$ (48 elementen: rotaties en reflecties in stappen van $\pi/2$). De verborgen lagen gebruiken een "regular representation" van 48 kanalen.
   • Innovatie: De auteurs introduceren een reduced weight-projection operator. In plaats van alle 48x48 gewichten te leren, worden de gewichten geprojecteerd op de equivariante deelruimte via een eigendecompositie. Dit reduceert het aantal leerbare parameters aanzienlijk zonder de symmetrie te verliezen.

3. Onbeperkte Convolutionele Neurale Netwerken (Conv):

   • Principe: Een standaard CNN-architectuur die de SGS-spanning direct voorspelt.
   • Symmetrie: Deze modellen behouden alleen Galileïsche invariantie (door gebruik te maken van de snelheidsgradiënt als input) en schalingsinvariantie, maar niet rotatie- of reflectie-invariantie. Dit dient als baseline.

Training en Evaluatie:

• Data: Pseudo-spectrale DNS-data op een periodiek domein.
• Training: A-priori training (minimiseren van de fout tussen voorspelde en ware SGS-spanning op gefilterde DNS-data).
• Evaluatie: Zowel a-priori (voorspelling op statische data) als a-posteriori (volledige LES-simulaties uitgevoerd met het getrainde model).

---

3. Belangrijkste Bijdragen

• Vergelijkend Onderzoek: Een systematische vergelijking van TBNN, G-conv en onbeperkte CNN's voor LES, waarbij specifiek wordt gekeken naar het effect van symmetriebehoud op zowel voorspellingsnauwkeurigheid als fysieke consistentie.
• Efficiënte G-conv Implementatie: Ontwikkeling van een geoptimaliseerde projectie-operator voor gewichten in octaëdrische groep-convoluties, wat de rekentijd en het geheugenverbruik verlaagt ten opzichte van een naive implementatie.
• Inzicht in Symmetriebehoud: Het aantonen dat hoewel onbeperkte netwerken vergelijkbare voorspellingsfouten kunnen bereiken, symmetriebehoudende modellen superieure statistieken van de snelheidsgradiënt genereren, wat essentieel is voor fysieke consistentie.

---

4. Resultaten

Voorspellingsnauwkeurigheid (A-priori):

• Alle drie de datagedreven modellen presteren aanzienlijk beter dan klassieke modellen (Smagorinsky en Clark) in het voorspellen van de SGS-spanningstensor.
• De directe structurele modellen (Conv en G-conv) hebben de laagste tensorvoorspellingfouten, gevolgd door TBNN.
• Equivariantie: De onbeperkte CNN (Conv) faalt om rotatie- en reflectie-invariantie te leren, met een fout van ~5,8% in de equivariantie-metriek. TBNN en G-conv behouden de symmetrie tot op machineprecisie.

Simulatiekwaliteit (A-posteriori):

• Stabiliteit: Het klassieke Clark-model werd instabiel en divergeerde rond $t=2.1$. Alle datagedreven modellen bleven stabiel.
• Oplossingsfout: De fout in de totale stromingsoplossing was voor alle drie de datagedreven modellen bijna identiek en beter dan de klassieke modellen. Dit suggereert dat een perfecte tensorvoorspelling niet direct vertaalt naar een betere trajectvoorspelling in LES.
• Energie-spectra:
  • TBNN vertoonde een kunstmatige ophoping van energie op hoge golflengtes (onvoldoende dissipatie).
  • Conv en G-conv matchten het referentiespectrum goed, maar waren iets te dissipatief.
• Fysieke Consistentie (Snelheidsgradiënt Statistieken):
  • Dit is het cruciale onderscheid. De verdeling van de invarianten van de snelheidsgradiënt (de $(q, r)$-verdeling, die de lokale stromingstopologie beschrijft) werd het meest nauwkeurig gereproduceerd door de symmetriebehoudende modellen (TBNN en G-conv).
  • Het onbeperkte Conv-model produceerde afwijkende statistieken, vooral in gebieden met hoge rek (strain-dominated), wat wijst op een gebrek aan fysieke consistentie ondanks de lage numerieke fouten.

Rekenkosten:

• G-conv is ongeveer 7 keer trager dan Conv tijdens inferentie vanwege de 48 kanalen in de regular representation.
• TBNN heeft een vergelijkbare inferentietijd als Conv, maar is efficiënter omdat het slechts 7 scalaire coëfficiënten voorspelt in plaats van de volledige tensor.

---

5. Betekenis en Conclusie

Het artikel concludeert dat het afdwingen van symmetrieën in datagedreven LES-modellen essentieel is voor fysieke consistentie, zelfs als dit niet direct leidt tot lagere numerieke fouten in de voorspelde spanningstensor.

• TBNN wordt gepresenteerd als een zeer aantrekkelijke optie: het combineert symmetriebehoud met lage rekenkosten en vereist minder parameters omdat het de tensorstructuur al in de basis heeft ingebouwd.
• G-conv biedt flexibiliteit maar is rekenkundig zwaarder.
• Onbeperkte netwerken kunnen goed presteren in termen van foutmetrieken, maar falen in het reproduceren van de onderliggende fysieke statistieken (zoals de verdeling van wervels en rek), wat op de lange termijn de betrouwbaarheid van de simulatie kan ondermijnen.

De studie benadrukt dat voor betrouwbare toepassing van ML in turbulente stromingen, het integreren van fysieke wetten (symmetrieën) in de modelarchitectuur een noodzakelijke stap is voor generalisatie en stabiliteit. Toekomstig werk richt zich op generalisatie naar verschillende Reynolds-getallen en anisotrope stromingen (zoals wandgebonden stromingen), waarbij de symmetrie-eisen mogelijk aangepast moeten worden.