Physics-Informed Transformer operator for the prediction of three-dimensional turbulence

Deze paper introduceert de physics-informed Transformer-operator (PITO) en zijn impliciete variant (PIITO), die gebaseerd zijn op de Vision Transformer-architectuur en LES-vergelijkingen gebruiken om labelloos drie-dimensionale turbulentie te voorspellen met superieure stabiliteit, nauwkeurigheid en efficiëntie vergeleken met bestaande methoden zoals PIFNO en traditionele LES.

De kern

Titel: De "Visie-Transformer" die Turbulente Waterstromen Voorspelt zonder Te Lezen

Stel je voor dat je probeert te voorspellen hoe een enorme, chaotische storm van waterdeeltjes zich gedraagt. Dit is wat we turbulentie noemen. Het is overal: in de luchtstroming rond een vliegtuig, in de rook van een schoorsteen, of in de rivier die voorbij je huis stroomt.

Vroeger hadden wetenschappers twee manieren om dit te simuleren:

1. De "Super-rekenmachine" methode: Ze berekenden elke kleine waterdruppel. Dit was extreem accuraat, maar kostte zo veel rekenkracht dat het jaren kon duren voor één seconde simulatie.
2. De "Gokker" methode (Machine Learning): Ze lieten een computer leren van eerdere data. Dit was snel, maar de computer was vaak een "zwarte doos" die geen echte natuurwetten begreep. Als je hem iets anders liet voorspellen dan hij had geoefend, gaf hij vaak onzin.

De Nieuwe Oplossing: PITO en PIITO
In dit artikel presenteren onderzoekers van de Southern University of Science and Technology een nieuwe, slimme methode genaamd PITO (en een snellere versie, PIITO).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Puzzel" aanpak (De Vision Transformer)

Stel je voor dat je een enorme foto van een storm hebt. Als je die foto als één groot geheel probeert te analyseren, wordt het voor de computer te zwaar om te verwerken.

• De oude manier: De computer keek naar elke pixel individueel.
• De nieuwe manier (PITO): De onderzoekers knippen de foto in kleine vierkante stukjes, zoals een puzzel of een mozaïek. Ze noemen deze stukjes "patches".
  De computer kijkt niet naar elke pixel, maar naar deze puzzelstukjes. Het is alsof je niet elke druppel regen telt, maar kijkt naar hoe de wolken zich als blokken bewegen. Dit maakt de berekening veel sneller en lichter.

2. De "Fysica-Boer" (Physics-Informed)

Het probleem met veel AI-modellen is dat ze alleen kijken naar de data, niet naar de regels van de natuur.

• De analogie: Stel je voor dat je een kind leert rijden. Als je alleen zegt "kijk naar de weg" (data), kan het kind een auto in een boom rijden als dat in de trainingstijd voorkwam.
• De oplossing: PITO krijgt een regelsboek (de wetten van de natuur, specifiek de Navier-Stokes vergelijkingen) direct in zijn hersenen geprogrammeerd.
  De computer mag niet zomaar gokken; hij moet zijn voorspelling controleren tegen de fysieke wetten. Als zijn voorspelling zegt dat water omhoog stroomt zonder reden, zegt het regelsboek: "Nee, dat mag niet." Dit zorgt ervoor dat de voorspelling altijd logisch en fysiek correct blijft, zelfs als er weinig data is.

3. Waarom is dit zo speciaal?

De onderzoekers hebben hun nieuwe model getest tegen een oude favoriet (PIFNO) en de traditionele methoden. Hier zijn de resultaten, in simpele termen:

• Onverbrekelijke stabiliteit: Als je de oude methoden liet proberen om de storm te voorspellen voor een langere tijd dan ze hadden geoefend, begonnen ze te "dromen" en werd het resultaat onzin. PITO en PIITO bleven 25 keer langer dan de trainingstijd nauwkeurig voorspellen. Het is alsof je een kind leert fietsen en het kan daarna een hele dag doorfietsen zonder te vallen, terwijl andere kinderen na een paar minuten vallen.
• De "Zwarte Doos" opengebroken: PITO kan zelfs de subgrid-schaal coëfficiënt (een soort "geheime instelling" in de wiskunde die bepaalt hoe wrijving werkt) automatisch leren. Het model vindt zelf de perfecte instelling, zonder dat een mens die hoeft in te voeren.
• Efficiëntie: PITO is niet alleen slimmer, maar ook veel zuiniger.
  • Het gebruikt 79% minder geheugen op de computer dan de concurrenten.
  • Het heeft 97% minder "hersencellen" (parameters) nodig.
  • Het is 40 keer sneller dan de traditionele, zware rekenmethoden.

Samenvatting in één zin

PITO is als een slimme, fysica-kennende piloot die een storm voorspelt door de lucht in kleine puzzelstukjes te verdelen; hij is zo snel en zuinig dat hij op een gewone laptop kan draaien, maar zo nauwkeurig dat hij de natuurwetten nooit negeert, zelfs niet als hij langere tijd moet voorspellen dan hij ooit heeft geoefend.

Dit is een enorme stap voorwaarts voor het simuleren van weer, vliegtuigontwerp en andere complexe stromingen, omdat het de dure rekenkracht vervangt door slimme, fysica-gedreven kunstmatige intelligentie.

Technische samenvatting

Titel: Physics-Informed Transformer-operator voor de voorspelling van driedimensionale turbulentie

Auteurs: Zhihong Guo, Sunan Zhao, Huiyu Yang, Yunpeng Wang, en Jianchun Wang.
Tijdschrift: Acta Mechanica Sinica (2022).

---

1. Het Probleem

Turbulentie is een veelvoorkomend fenomeen in natuur en techniek, maar het simuleren ervan is computatief zeer intensief vanwege de complexe multi-schaal aard. Traditionele methoden zoals Direct Numerical Simulation (DNS) zijn te duur voor praktische toepassingen, terwijl Large-Eddy Simulation (LES) nog steeds zware rekentijden vereist.

Data-gedreven machine learning (ML) methoden bieden een alternatief, maar deze lopen vaak tegen twee grote beperkingen aan:

1. Afhankelijkheid van data: Ze vereisen enorme hoeveelheden hoogwaardige gelabelde trainingsdata.
2. Gebrek aan fysieke interpretatie: Ze garanderen niet dat de voorspellingen voldoen aan fundamentele natuurwetten (zoals behoudswetten).

Bestaande "Physics-Informed Neural Operators" (zoals PIFNO - Physics-Informed Fourier Neural Operator) hebben moeite met de schaalbaarheid naar 3D-problemen en vertonen instabiliteit bij lange-termijn extrapolaties, vooral in complexe scenario's zoals gedwongen isotrope turbulentie.

2. Methodologie

De auteurs stellen een nieuwe architectuur voor: de Physics-Informed Transformer Operator (PITO) en zijn impliciete variant PIITO. Deze methoden zijn gebaseerd op de Vision Transformer (ViT) architectuur, aangepast voor vloeistofmechanica.

Kerncomponenten van de methode:

• 3D Patch-partitie: In plaats van het hele 3D-veld als één sequentie te behandelen (wat rekenkundig onhaalbaar is), wordt het stromingsveld opgedeeld in niet-overlappende kubische "patches". Dit reduceert de sequentielengte drastisch en verlaagt de complexiteit van de self-attention mechanismen.
• Physics-Informed Loss Functie: In plaats van te vertrouwen op gelabelde data, worden de vergelijkingen van de Large-Eddy Simulation (LES), inclusief de Smagorinsky subgrid-scale (SGS) stress, direct geïntegreerd in de verliesfunctie.
  • De loss functie bestaat uit de continuïteitsvergelijking ($\nabla \cdot \bar{u} = 0$) en de impulsvergelijking.
  • Dit stelt het model in staat om te leren zonder gelabelde data; het model wordt alleen getraind op de initiële toestand en moet de PDE's minimaliseren.
• Impliciete Variant (PIITO): Om de parameter-efficiëntie te verhogen, deelt PIITO gewichten over de lagen (weight-sharing) in plaats van elke laag met unieke parameters te laten. Dit werkt als een impliciete iteratie, wat de modelgrootte en het geheugengebruik aanzienlijk verkleint.
• Automatische Optimalisatie van SGS-coëfficiënt: Een opvallend kenmerk is de mogelijkheid om de Smagorinsky-coëfficiënt ($C_{smag}$) als een trainbare parameter te behandelen. Het model kan deze coëfficiënt automatisch leren uit één enkele dataset (zowel LES als DNS data), zonder voorafgaande kennis van de optimale waarde.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur: Introductie van PITO en PIITO voor 3D-turbulentie, gebaseerd op ViT, wat een efficiëntere manier biedt om globale afhankelijkheden in stromingsvelden te modelleren dan Fourier-gebaseerde methoden (FNO).
2. Data-efficiëntie: Het vermogen om nauwkeurige voorspellingen te doen zonder gelabelde data, puur door het minimaliseren van de PDE-loss.
3. Automatische SGS-optimatie: Een strategie om de subgrid-scale coëfficiënt automatisch te leren, wat de afhankelijkheid van empirische constanten vermindert.
4. Superieure Stabiliteit: De modellen tonen uitstekende stabiliteit bij lange-termijn extrapolaties (meer dan 25 keer de trainingshorizon), waar andere methoden vaak divergeren.

4. Resultaten

De modellen werden getest op twee scenario's: vervalende homogene isotrope turbulentie (HIT) en gedwongen HIT. De resultaten werden vergeleken met PIFNO, traditionele LES (Smagorinsky) en filtered DNS (fDNS).

• Nauwkeurigheid en Stabiliteit:
  • Zowel PITO als PIITO presteren aanzienlijk beter dan PIFNO in zowel vervalende als gedwongen HIT.
  • Bij gedwongen HIT faalt PIFNO volledig om het correcte energiespectrum te voorspellen, terwijl PITO zeer nauwkeurige statistische eigenschappen en stromingsstructuren levert.
  • De modellen behouden hun nauwkeurigheid over lange tijdsperioden (extrapolatie > 25x de trainingsduur), terwijl PIFNO vaak instabiel wordt.
• Resource-efficiëntie:
  • Geheugen: PITO en PIITO verlagen het GPU-geheugengebruik met respectievelijk 79,5% en 91,3% ten opzichte van PIFNO.
  • Parameters: Ze vereisen slechts 31,5% (PITO) en 3,1% (PIITO) van het aantal parameters van PIFNO.
  • Snelheid: De inferentie is ongeveer 40 keer sneller dan traditionele LES-methoden.
• Automatische Coëfficiënt: Het model slaagde erin om de $C_{smag}$ coëfficiënt automatisch te convergeren naar waarden die zeer dicht bij de grondwaarheid liggen (bijv. ~0,097 voor een theoretische waarde van 0,1), zelfs wanneer getraind op ruwe DNS-data.

5. Betekenis en Conclusie

De studie markeert een belangrijke doorbraak in het toepassen van deep learning op 3D-turbulentie. Door de kracht van Transformers te combineren met fysica-gedreven beperkingen, overwinnen de auteurs de beperkingen van data-honger en fysieke inconsistentie.

De PITO en PIITO modellen bieden een nieuwe standaard voor:

• Efficiëntie: Ze maken 3D-turbulentie-simulaties haalbaar op hardware met beperkt geheugen.
• Robuustheid: Ze zijn superieur in het voorspellen van complexe, niet-lineaire dynamieken over lange tijdsperioden.
• Toepasbaarheid: De methode is veelzijdig en kan worden toegepast op zowel vervalende als gedwongen turbulentie, wat essentieel is voor veel engineering-toepassingen.

De auteurs merken op dat toekomstig werk gericht zal zijn op het uitbreiden van het framework naar onregelmatige roosters (grids) en complexere geometrieën, evenals het integreren van geavanceerdere SGS-modellen. De code en dataset zijn openbaar beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.