A Multimodal Vision Transformer-based Modeling Framework for Prediction of Fluid Flows in Energy Systems

Dit artikel introduceert een multimodaal Vision Transformer-framework dat gebruikmaakt van een hiërarchische SwinV2-UNet-architectuur om complexe stromingen in energiesystemen, zoals hoge-druk gasinjectie, efficiënt te voorspellen en ontbrekende veldinformatie te reconstrueren door te generaliseren over verschillende resoluties en simulatiemodaliteiten.

De kern

Stel je voor dat je een enorme, complexe machine hebt, zoals een motor in een auto of een raket, en je wilt precies weten hoe de brandstof en lucht zich erin bewegen. In de echte wereld is dit heel lastig te voorspellen. De lucht en brandstof gedragen zich als een wild stroompje water dat overal tegelijkertijd verandert, draait en botst.

Om dit op de computer te simuleren, gebruiken wetenschappers een methode genaamd CFD (Computational Fluid Dynamics). Maar hier is het probleem: het is net alsof je probeert het weer van de hele wereld te voorspellen door elke druppel regen en elke windvlaag één voor één te berekenen. Het duurt dagen, weken, of zelfs langer, en kost een fortuin aan computerkracht. Voor ingenieurs die snelle ontwerpen nodig hebben, is dit te traag.

In dit paper presenteren de onderzoekers van Argonne National Laboratory een slimme nieuwe oplossing: een AI-superheld die dit werk veel sneller en slimmer doet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Meester-Student" (Het Model)

Stel je voor dat je een student hebt die niet één ding leert, maar duizenden verschillende situaties tegelijk.

• De Oefeningen: De onderzoekers hebben de computer laten "kijken" naar duizenden simulaties van een gasstraal (argon) die in een stilstaande luchtstroom (stikstof) wordt gespoten.
• De Variatie: Ze hebben de student niet alleen één soort oefening gegeven. Ze hebben de "lucht" veranderd (soms dikker, soms dunner), de "camera's" veranderd (van bovenaf kijken, van opzij, of door de straal heen kijken als een röntgenfoto), en de rekenregels veranderd.
• Het Doel: De AI moet leren dat de essentie van hoe een gasstraal zich gedraagt, hetzelfde blijft, ongeacht hoe je er naar kijkt of hoe precies de berekening is.

2. De "Super-Bril" (De Vision Transformer)

De kern van hun oplossing is een type AI dat een Vision Transformer heet.

• Hoe het werkt: Stel je voor dat je een foto van een storm ziet. Een gewone computer kijkt naar één pixel tegelijk. Deze AI-bril kijkt echter naar het hele plaatje en ziet direct hoe de wolken met elkaar verbonden zijn, hoe de wind van links naar rechts waait, en hoe de storm zich ontwikkelt.
• De "SwinV2" techniek: Omdat de foto's heel groot zijn, kijkt de AI niet naar alles tegelijk (dat zou te veel energie kosten). In plaats daarvan kijkt hij in "vensters" (net als door een raam), maar hij schuift die ramen constant een beetje op. Zo ziet hij zowel de details in het raam als hoe ze zich verhouden tot de rest van het landschap.

3. Twee Superkrachten

Deze AI heeft twee specifieke taken, alsof hij twee verschillende superkrachten heeft:

Kracht 1: De Crystal Ball (Voorspellen)
Stel je voor dat je een video van een gasstraal hebt en je stopt hem bij seconde 10. De AI moet je vertellen hoe de straal eruitziet bij seconde 11, 12 en 13.

• In plaats van de hele zware berekening opnieuw te doen, "voelt" de AI de beweging en tekent hij de volgende frame in een flits. Dit gebeurt in een fractie van de tijd die de oude computers nodig hadden.

Kracht 2: De Magische Telefoon (Infereren)
Stel je voor dat je een röntgenfoto hebt van een gasstraal (je ziet alleen de dichtheid, een soort "schaduw"), maar je wilt weten hoe de wind erin waait (de snelheid). Of je hebt een foto van de voorkant, maar wilt weten hoe het er van opzij uitziet.

• De AI fungeert als een magische vertaler. Hij neemt de "schaduw" (dichtheid) en zegt: "Ah, op basis van wat ik heb geleerd, moet de wind hier zo waaien." Hij vult de gaten in je kennis in.

4. De "Taal" van de AI (Conditioning)

Om de AI niet in de war te brengen, geven ze hem kleine "hulpstickers" (tokens).

• Als je een foto van een "dikke" gasstraal laat zien, plakt de AI een sticker erop die zegt: "Dit is een dikke straal."
• Als je een foto van "van opzij" laat zien, plakt hij een sticker: "Dit is een zij-aanzicht."
  Hierdoor weet de AI precies welke regels hij moet toepassen, zelfs als hij een situatie ziet die hij nog nooit eerder heeft gezien.

Waarom is dit belangrijk?

Vroeger duurde het dagen om te simuleren hoe een motor brandstof verbrandt. Met deze AI kunnen ingenieurs dat in seconden doen.

• Snelheid: Het is duizenden keren sneller.
• Flexibiliteit: Het werkt met verschillende soorten data (van ruwe schetsen tot super-dikke simulaties).
• Toekomst: Dit betekent dat we in de toekomst veel efficiëntere motoren en energie-systemen kunnen ontwerpen, omdat we veel sneller kunnen testen wat wel en niet werkt.

Kortom: De onderzoekers hebben een AI getraind die niet alleen "rekenen" is, maar "begrijpen". Het is alsof ze een jonge ingenieur hebben opgeleid die duizenden jaren aan ervaring in één dag heeft opgedaan, en die nu in een flits kan voorspellen hoe complexe stromingen zich gedragen, zodat we schonere en krachtigere energie-systemen kunnen bouwen.

Technische samenvatting

Probleemstelling

De simulatie van complexe vloeistofstromen in energiesystemen (zoals brandstofinjectoren en verbrandingsmotoren) met behulp van traditionele Computational Fluid Dynamics (CFD) is extreem rekenintensief en kostbaar. Dit komt door sterke niet-lineariteiten en interacties tussen verschillende fysica op meerdere schalen. Traditionele machine learning-methoden voor partiële differentiaalvergelijkingen (PDE's), zoals Neural Operators, zijn vaak specifiek getraind voor één geometrie of stromingsconfiguratie, wat hun generalisatievermogen naar nieuwe condities beperkt. Er is behoefte aan een "foundation model" dat kan leren van heterogene datasets en zich kan aanpassen aan verschillende fysica, resoluties en waarnemingsmodaliteiten binnen realistische engineering-scenario's.

Methodologie

De auteurs presenteren een multimodaal modelleringframework gebaseerd op Vision Transformers (ViT), specifiek een hiërarchische SwinV2-UNet architectuur.

1. Data Curation:

   • De dataset bestaat uit CFD-simulaties van een argonstraal (35 bar) die in een stilstaande stikstofomgeving (5 bar) wordt ingespoten.
   • Er zijn zeven verschillende stromingsgevallen gegenereerd met variaties in:
     • Grid-resolutie: Grof (Coarse) en Fijn (Fine).
     • Turbulentiemodellen: RANS (Reynolds-Averaged Navier-Stokes) en LES (Large-Eddy Simulation).
     • Thermodynamica: Ideale gaswet (IG) en Real-gas wet (RG).
     • Schmidt-getal: Variaties voor diffusie-effecten.
   • Modaliteiten: Uit de 3D-data worden drie soorten 2D-weergaven afgeleid voor training:
     • Longitudinale snede: Horizontale snede door de straal.
     • Longitudinale projectie: Geïntegreerde weergave langs de lijn van zicht (analoog aan röntgenradiografie).
     • Transversale snede: Dichtheidsvelden op specifieke axiale vlakken.

2. Model Architectuur (SwinV2-UNet):

   • Het model gebruikt een encoder-decoder structuur met Shifted Window Attention (SwinV2) om de computationele kosten van globale self-attention te reduceren van kwadratisch naar lineair.
   • Patch Embedding: Invoerdata wordt opgedeeld in patches en omgezet in tokens.
   • Hierarchische structuur: De encoder verlaagt de ruimtelijke resolutie en verhoogt het aantal kanalen (patch merging), terwijl de decoder dit omgekeerd doet (patch expansion).
   • Skip Connections: ConvNeXt-blokken worden gebruikt voor lokale ruimtelijke kenmerken en skip-connections om fijne details te behouden.
   • Conditionering (Auxiliary Embeddings): Het model ontvangt extra tokens die de context coderen:
     • Tijdstap: De fysieke tijdsinterval ($\Delta t$).
     • Data Source Token (DST): Een one-hot vector die de resolutie, modaliteit, turbulentiemodel en simulatiekwaliteit encodeert. Dit stelt het model in staat om zich aan te passen aan verschillende databronnen binnen één architectuur.

3. Taken:

   • Spatiotemporale Voorspelling: Autoregressieve voorspelling van de stromingstoestand op tijdstip $t + \Delta t$ op basis van $t$.
   • Feature Transformatie: Inferentie van niet-geobserveerde velden (bijv. snelheid) of modaliteiten (bijv. transversale snede) op basis van waargenomen velden binnen hetzelfde tijdstip.

Belangrijkste Resultaten

1. Spatiotemporale Voorspelling:

   • Het model kan de evolutie van de stroming accuraat voorspellen, inclusief grote schaalstructuren en randovergangen.
   • Trainingstrategieën: Vergelijking tussen single-step training, multi-step rollout en "pushforward" training toonde aan dat multi-step training (ondanks cumulatieve fouten op lange termijn) beter in staat is om intrinsieke stromingsdetails en fijne schaalstructuren vast te leggen dan single-step training.
   • Het model generaliseert succesvol naar een testcase (F-LES-IG) die niet in de trainingsset zat.

2. Feature Transformatie:

   • Dichtheid naar Snelheid: Het model kan snelheidscomponenten infereren uit dichtheidsverdelingen. De in-vlak componenten ($x$ en $z$) worden goed voorspeld, terwijl de uit-vlak component ($y$) minder accuraat is vanwege de inherente ambiguïteit van 2D-projecties voor 3D-beweging.
   • Cross-Modaliteit: Het model kan succesvol transformaties uitvoeren tussen longitudinale projecties en transversale snedes, en tussen lokale snedes en globale projecties.
   • Ruimtelijke Transfer: Het kan stromingsstructuren op een stroomafwaarts vlak ($z=10$ mm) infereren op basis van metingen stroomopwaarts ($z=2$ mm).
   • Beperking: Er is een merkbare "smoothing"-effect (vervaging) in alle transformatietaken, wat leidt tot verlies van zeer fijne turbulente details, hoewel de globale topologie en timing correct worden vastgelegd.

Bijdragen en Significantie

• Unificatie van Modaliteiten: Het paper demonstreert dat één enkele transformer-architectuur kan worden getraind op een diverse dataset van multi-fidelity simulaties om te generaliseren over verschillende resoluties, turbulentiemodellen en thermodynamische aannames.
• Brug tussen AI en Engineering: Het biedt een proof-of-concept voor het toepassen van vision transformers op praktische energietechnologie-problemen (zoals gasspuiting in motoren), waarbij het model fungeert als een snelle, datagedreven surrogate voor dure CFD-simulaties.
• Multimodale Redenering: Het toont aan dat foundation modellen voor PDE's niet alleen kunnen leren van ideale stromingen, maar ook kunnen redeneren over heterogene observatiemodaliteiten (snedes vs. projecties), wat cruciaal is voor diagnostiek en datafusie in experimentele opstellingen.
• Toekomstperspectief: De auteurs wijzen op de potentie voor schaalvergroting via efficiënte parallelle technieken (zoals SWiPe) en het integreren van probabilistische modellering en grafische representaties voor complexere geometrieën.

Kortom, dit werk levert een robuust raamwerk dat de voorspellende modellering van complexe vloeistofstromen versnelt en generaliseerbaar maakt voor energiesystemen, door moderne transformer-architecturen te koppelen aan fysiek onderbouwde, multimodale simulatiedata.