Solving continuum and rarefied flows using differentiable programming

Dit artikel presenteert een nieuw algoritme voor het simuleren van stromingen in zowel continue als schaarse regimes door gebruik te maken van *differentiable programming*, waardoor een geïntegreerd kader ontstaat voor de combinatie van numerieke vloeistofmechanica en machine learning via end-to-end optimalisatie.

De kern

Stel je voor dat je probeert te voorspellen hoe een menigte mensen zich door een druk treinstation beweegt. Je kunt dit op twee manieren aanpakken:

1. De "Grote Groep" methode (Continuüm): Je kijkt naar de menigte als één grote, vloeiende stroom, zoals water dat door een pijp stroomt. Je rekent met gemiddelden: "de stroom beweegt met 5 km/u naar links." Dit werkt prima als het superdruk is.
2. De "Individuele Persoon" methode (Rarefy): Je kijkt naar elk mens afzonderlijk. "Jan loopt een beetje naar links, maar botst tegen Piet aan, waardoor Piet een stapje naar rechts doet." Dit is extreem nauwkeurig, maar het kost een gigantisch amount aan rekenkracht omdat je miljoenen interacties moet bijhouden.

Het probleem in de wetenschap is dat de overgang tussen deze twee werelden (wanneer de menigte niet meer een stroom is, maar een verzameling losse mensen die tegen elkaar opbotsen) ontzettend moeilijk te berekenen is.

Wat doet dit onderzoek?
Tianbai Xiao heeft een soort "super-recept" geschreven voor computers, genaamd Differentiable Programming (∂P). Je kunt dit zien als een slimme, zelflerende navigatie-app voor natuurkunde.

De Metafoor: De Slimme Formule 1-Auto

Stel je voor dat je een Formule 1-auto probeert te bouwen. Je hebt twee dingen nodig:

• De Mechanica: De motor, de banden en de aerodynamica (de natuurwetten).
• De Bestuurder: Iemand die de auto bestuurt en beslist wanneer hij moet remmen of sturen (de algoritmes en machine learning).

In de traditionele wetenschap bouwen we de auto en de bestuurder apart. De ingenieur bouwt de motor, en de bestuurder probeert met een handleiding de ideale lijn door de bocht te vinden. Als de auto uit de bocht vliegt, moet de ingenieur de hele motor opnieuw ontwerpen. Dat duurt eeuwen.

De innovatie van Xiao is dat de auto en de bestuurder "één levend organisme" worden.

Door middel van Differentiable Programming is de hele auto (de natuurwetten) verbonden met de hersenen van de bestuurder (de AI) via een soort "zenuwstelsel" (automatische differentiatie).

Als de auto een bocht te breed neemt, voelt de bestuurder dat direct via zijn zenuwen. De computer kan dan in één keer zeggen: "Hé, niet alleen moet ik anders sturen, maar de vering van de auto moet ook een klein beetje zachter!" De computer past de natuurwetten (de mechanica) en de AI (de bestuurder) tegelijkertijd aan om de perfecte rit te krijgen.

Wat heeft hij hiermee bereikt?

In het paper laat hij drie indrukwekkende dingen zien:

1. De Perfecte Banden (Numerieke Flux): Hij liet de computer zelf uitzoeken hoe de "vloeistof" door de berekening moet stromen om de minste fouten te maken. De computer ontdekte zelf de ideale balans tussen "voorzichtigheid" en "snelheid".
2. De Glazen Bol (Eigenschappen bepalen): Hij liet de computer de eigenschappen van een gas (zoals stroperigheid) terugvinden door alleen naar de beweging te kijken. Het is alsof je de dikte van honing kunt raden door alleen te kijken hoe een lepel erdoorheen beweegt.
3. De Super-Simulator (Operator Learning): Hij bouwde een AI die de extreem moeilijke "botsings-berekeningen" van deeltjes kan nabootsen. Dit is alsof je een film van een miljard mensen kunt bekijken, terwijl je eigenlijk alleen maar naar een simpele animatie kijkt die precies hetzelfde effect geeft, maar dan duizend keer sneller.

Samenvatting in één zin

Dit onderzoek creëert een systeem waarbij de natuurwetten en kunstmatige intelligentie samenwerken als een perfect afgestemd team, waardoor we de meest complexe bewegingen van gassen (van lucht in een vliegtuig tot deeltjes in een vacuüm) veel sneller en nauwkeuriger kunnen voorspellen dan ooit tevoren.

Technische samenvatting

Technische Samenvatting: Oplossen van Continuüm- en Verdunde Stromingen middels Differentiable Programming

1. Het Probleem (Problem Statement)

Het nauwkeurig voorspellen van stromingen over meerdere schalen (multi-scale flows) is een enorme uitdaging in de vloeistofdynamica. Er bestaat een fundamentele kloof tussen twee regimes:

• Continuümregime: Beschreven door de Navier-Stokes-vergelijkingen (macroscopisch).
• Verdund regime (Rarefied flows): Beschreven door de Boltzmann-vergelijking (mesoscopisch/kinetisch), wat leidt tot extreem hoge dimensionaliteit en niet-lineariteit.

De huidige uitdagingen liggen in het optimaliseren van parameters in theoretische modellen (zoals botsingskernen) en numerieke methoden (zoals flux-schema's). Traditionele methoden voor parameteroptimalisatie zijn vaak computationeel duur of ongeschikt voor de complexe spatio-temporele koppelingen in deze stromingen.

2. Methodologie (Methodology)

De auteur introduceert een nieuw paradigma gebaseerd op Differentiable Programming ($\partial$P). In plaats van alleen neurale netwerken te trainen op data, wordt de gehele numerieke simulator zelf differentieerbaar gemaakt.

• Unified Mechanical-Neural Models: De auteur combineert fysische wetten met neurale netwerken in één enkel computationeel model. De voortwaartse fysieke processen worden gesimuleerd, terwijl de parameters ($\alpha$ voor mechanische modellen en $\theta$ voor neurale netwerken) worden getraind via end-to-end optimalisatie.
• Automatic Differentiation (AD) & Adjoint Methods: Om de gradiënten van de kostenfunctie (loss function) te berekenen zonder de computationele complexiteit te laten exploderen, wordt gebruikgemaakt van de adjoint sensitivity method. Deze wordt geïntegreerd in een AD-workflow (via de Julia-taal en de Enzyme-engine), waardoor de simulator de gradiënten kan "terugsturen" door de volledige simulatiecyclus (backward pass).
• Implementatie: De software is gebouwd in Julia, wat source-to-source transformatie mogelijk maakt voor efficiënte differentiële operaties over de gehele code.

3. Belangrijkste Bijdragen (Key Contributions)

• Eerste unificatie: Het is het eerste algoritme dat een oplossing biedt voor multi-scale flow physics die zowel continuüm- als verdunde regimes overbrugt via $\partial$P.
• Hybride Framework: Een framework dat Computational Fluid Dynamics (CFD) en Machine Learning (Scientific ML) naadloos integreert.
• Veelzijdigheid: Het biedt methoden voor:
  1. Physics Discovery: Het ontdekken van nieuwe fysische relaties.
  2. Surrogate Modeling: Het creëren van snelle vervangingsmodellen.
  3. Simulation Acceleration: Het versnellen van complexe berekeningen.

4. Resultaten (Results)

De effectiviteit van de methode is aangetoond via verschillende numerieke experimenten:

• Optimalisatie van numerieke flux: Door de verhouding tussen upwind en central fluxen te optimaliseren, werden schokgolven (Sod shock tube) veel nauwkeuriger weergegeven met minder numerieke dissipatie.
• Identificatie van vloeistofeigenschappen: De methode slaagde erin de viscositeitscoëfficiënt van een gas met meer dan 98% nauwkeurig te herleiden uit stromingsdata, waarbij de $\partial$P-methode een factor 10 sneller en efficiënter was dan de traditionele Ensemble Kalman Inversion (EKI).
• Hydrodynamische afsluiting (Closure): Het toevoegen van een neuraal netwerk aan de Navier-Stokes-vergelijkingen stelde het model in staat om niet-evenwichtseffecten (zoals in een shear layer) accuraat te beschrijven, met slechts 25% extra rekenlast.
• Operator Learning (DeepONet): Het vervangen van de complexe Boltzmann-botsingsintegraal door een neuraal netwerk (DeepONet) resulteerde in een versnelling van de berekening met meer dan drie ordes van grootte, terwijl de nauwkeurigheid van de Boltzmann-vergelijking behouden bleef.

5. Betekenis (Significance)

Dit werk markeert een verschuiving in de computationele vloeistofdynamica. Door de simulator niet langer als een "black box" te zien, maar als een differentieerbaar onderdeel van een groter optimalisatieproces, kunnen wetenschappers complexe fysische systemen veel efficiënter modelleren. De methode heeft brede toepasbaarheid in velden zoals plasmafysica, radiatieve overdracht en stochastische simulaties, en legt de basis voor een nieuwe generatie "fysisch-geïnformeerde" AI-modellen.