Technische Samenvatting: Temporele Zelf-aandacht Verbetert Veldgebaseerde Stroomvoorspelling onder Distributieverschuiving en Onvolledige Conditionering

Probleemstelling

Datagestuurde vloeistofmodellering is geëvolueerd van applicatiespecifieke surrogaten naar fundamentele modellen die meerdere fysische systemen beslaan. Echter, er blijft een aanzienlijke kloof bestaan in de generalisatiecapaciteiten van CFD-voorspellers. De meeste bestaande modellen worden geëvalueerd binnen enkelvoudige applicatiefamilies of op canonieke configuraties met vaste geometrieën en randvoorwaarden. Wanneer deze modellen worden geconfronteerd met substantiële verschuivingen in stroomfamilies, fysische regimes of randwaardeproblemen, vereisen ze vaak taakspecifieke hertraining of fijnafstemming.

Bovendien vertrouwen huidige benaderingen vaak op expliciete conditioneringsvariabelen (bijv. Reynoldsgetal) of geometrische beschrijvingen (bijv. signed-distance functions, maskers). De uitdaging die in deze studie wordt aangepakt, is of een model de evolutie van stroming kan voorspellen onder onvolledige conditionering—waarbij noch expliciete fysische parameters, noch geometrische beschrijvingen worden verstrekt—en of temporele zelf-aandacht over semantische veldembeddings toegevoegde waarde biedt boven eenvoudige voorwaartse doorvoering van het vorige frame, zelfs wanneer het inferentie-regime aanzienlijk verschilt van de trainingsdistributie.

Methodologie: GLoOD

De auteurs stellen GLoOD voor (Generating fLOws frOm Data), een proof-of-concept autoregressief model dat is ontworpen om te opereren zonder expliciete geometrische of parametrische inputs.

Architectuur

Het model combineert een visuele encoder-decoder met een autoregressieve transformer-backbone:

1. Input: Het model neemt alleen druk- en snelheidvelden als input. Het ontvangt geen Reynoldsgetallen, geometrische maskers of randbeschrijvingen. De locaties van obstakels en randvoorwaarden zijn impliciet gecodeerd in de persistente ruimtelijke signaturen van de velden.
2. Visuele Encoder-Decoder: Twee varianten worden vergeleken:
   • UNet-gebaseerd: Gebruikt afzonderlijke CNN-paden voor druk en snelheidcomponenten ($u_x, u_y$), waarbij downsampling plaatsvindt via strided convoluties om pad-embeddings te creëren, die vervolgens worden gekoppeld in een gedeelde latente staat.
   • SWIN-gebaseerd: Maakt gebruik van shifted-window zelf-aandacht in plaats van pure convolutie, waarbij velden worden verwerkt via patch-gebaseerde stadia om pad-embeddings te genereren.
   • Beide varianten produceren een 768-dimensionale latente representatie voor elk tijdstip.
3. Temporele Backbone: Een standaard autoregressieve transformer verwerkt sequenties van 19 latente embeddings. Het maakt gebruik van sinusvormige positionele codering, twee encoder/decoder-blokken en vier attention heads.
   • Volledig Model: Past zelf-aandacht toe over de temporele sequentie om informatie te mengen voordat het volgende tijdstip wordt gedecodeerd.
   • Ablatie (Identity-Backbone): Om de bijdrage van temporele modellering te isoleren, voert een ablatie-studie een proces uit waarbij de latente embedding van tijdstip $t-1$ direct naar de decoder voor tijdstip $t$ wordt gestuurd zonder temporele menging.
4. Data en Training:
   • Training: Het model wordt getraind op synthetische 2D Lattice-Boltzmann-simulaties van laminaire obstakelstromingen met circulaire obstakels en variabele inlaat/uitlaat-lay-outs. Reynoldsgetallen worden gesampled uit een lognormale distributie (gemiddelde $Re \approx 90$).
   • Inference: De getrainde modellen worden zonder hertraining geëvalueerd op progressief bredere en meer uitdagende regimes:
     • In-Distribution (ID): Circulaire obstakels (vergelijkbaar met training).
     • Out-of-Distribution (OOD): Vierkante obstakels (geometrische verschuiving).
     • Sterke Verschuivingen: Lid-driven cavities en von Karman vortex shedding (verschillende randwaardeproblemen en temporele organisaties).
   • Loss Functie: Een gewogen combinatie van druk MSE, snelheid magnitude MSE en snelheid richting-cosinus afstand.

Belangrijkste Resultaten

1. Impact van Temporele Zelf-aandacht

Over alle testregimes heen presteerde de volledige transformer-backbone consistent beter dan de identity-backbone ablatie.

• Geaggregeerde Losses: Het verwijderen van temporele aandacht resulteerde in een verslechtering van ongeveer één orde grootte in de geaggregeerde loss voor in-distribution gevallen, en tot wel drie orders van grootte in snelheid MSE voor extreme verschuivingen (bijv. cavity flows).
• Kwalitatieve Reconstructie: Het volledige SWIN-model behield de grootschalige stroomorganisatie en produceerde schone reconstructies. De identity-backbone modellen (ID-SWIN en ID-UNet) vertoonden ernstige ruimtelijke ruis, magnitude-fouten en patch-gewijze artefacten, waardoor ze niet in staat waren betrouwbare stroomreconstructies te leveren in veel gevallen.

2. Robuustheid van Encoder-varianten

De SWIN-gebaseerde encoder-decoder demonstreerde superieure robuustheid vergeleken met de UNet-variant over alle metrieken:

• Snelheidsfouten: SWIN behaalde consistent lagere snelheid magnitude en directionele fouten.
• Drag Diagnostiek: Op circulaire en vierkante obstakels behield SWIN lagere fouten in de totale drag magnitude en richting. Het UNet-model vertoonde aanzienlijk hogere fouten, met name in de viskeuze drag-componenten, wat suggereert dat SWIN de nabij-wand snelheidgradiënten beter vastlegt.
• Structuurbehoud: Lijnprofielanalyses en veldgewijze decomposities bevestigden dat de SWIN-voorspellingen de correcte ruimtelijke structuren behielden, terwijl de UNet-voorspellingen minder accuraat en ruiziger waren in ruimtelijk heterogene regio's.

3. Prestaties onder Distributieverschuiving

• Geometrische Verschuiving (Cirkels naar Vierkanten): Het model behield een niet-trivial aanvoelbare voorspellende vaardigheid ondanks de onbekende vierkante geometrie. De geaggregeerde losses bleven relatief laag en fysisch afgeleide diagnostieken (drag forces) bleven informatief.
• Randwaarde Verschuiving (Cavity): De transfer verslechterde aanzienlijk in lid-driven cavity flows, met name in druk-gedomineerde metrieken. De auteurs merken op dat het druksignaal in deze gevallen zeer zwak is, wat wijst op een beperking in het extrapoleren naar regimes met een zwakke input-signaalsterkte.
• Temporele Dynamiek (Von Karman Vortex Shedding):
  • Het model kon de wake-morfologie herkennen, maar had moeite met fase-accurate periodieke dynamiek.
  • Faseverschuiving (Phase Lag): In de originele-tijdstap test waren de fouten hoog bij vergelijking met het huidige frame (wat duidt op een temporele lag), maar daalden ze aanzienlijk bij vergelijking met het vorige frame. Dit suggereert dat het model de wake-structuur begrijpt, maar achterloopt in de temporele uitlijning.
  • Sampling Rate: Het verlagen van de output-tijdstap (het verhogen van de sampling rate) verlichtte de faseverschuiving grotendeels, wat leidde tot een betere temporele uitlijning met de referentiesequentie.

Betekenis en Claims

Het artikel positioneert zichzelf als een gecontroleerde beoordeling in plaats van een productie-klaar solver. De belangrijkste bijdragen zijn:

1. Bewijs van Haalbaarheid voor Veldgebaseerde Voorspelling: Het toont aan dat een enkel model, getraind op een beperkte familie van obstakelstromingen, een niet-triviale, diagnostisch meetbare transfer kan bereiken naar verschillende stroomfamilies (vierkanten, cavities, vortex shedding) zonder hertraining of expliciete geometrische/parametrische conditionering.
2. Waarde van Temporele Zelf-aandacht: De studie levert empirisch bewijs dat temporele zelf-aandacht over semantische embeddings bijdraagt aan echte sequentiemodellering. Het is niet louter het doorgeven van het vorige latente frame; het compenseert actief voor ontbrekende informatie (zoals het Reynoldsgetal en de geometrie) door gebruik te maken van de context over meerdere tijdstippen.
3. Evaluatiekader: De auteurs stellen een methodologie voor om generatieve CFD-modellen te evalueren onder bewust bredere en minder volledig geparametriseerde condities. Deze aanpak legt bloot in welke regimes het model succesvol is en waar specifieke faalmodi optreden (bijv. zwakke druksignalen, faseverschuiving).
4. Architecturale Inzicht: De resultaten suggereren dat SWIN-gebaseerde visuele encoders robuuster zijn dan hun UNet-tegenhangers voor deze specifieke taak, waarschijnlijk door een betere behandeling van ruimtelijke hiërarchieën en gradiënten.

De auteurs concluderen dat hoewel het model veelbelovend is voor compensatie op basis van veldhistorie, er nog steeds aanzienlijke uitdagingen zijn bij het extrapoleren naar regimes met zwakke inputsignalen en het bereiken van een nauwkeurige fase-uitlijning in periodieke stromingen. Toekomstig werk wordt gemotiveerd door de uitbreiding van deze evaluatielogica naar rijkere stroomfamilies, 3D-instellingen en gedeeltelijk geobserveerde stromingen.