TransportBench: A Comprehensive Benchmark for Non-Equilibrium Flow Transport

Dit artikel introduceert TransportBench, een uitgebreide hoogwaardige dataset en gestandaardiseerde benchmark die is ontworpen om wetenschappelijke machine learning-modellen over diverse niet-evenwichtige stromingsregimes te evalueren en te diagnosticeren, waarbij wordt onthuld dat geen enkele neurale architectuur universeel beter presteert dan andere en dat specifieke inductieve biases vereist zijn voor verschillende stromingskenmerken.

De kern

Stel je voor dat je een robot probeert te leren hoe hij kan voorspellen hoe lucht rond objecten beweegt. Jarenlang hebben wetenschappers robots vooral onderwezen met behulp van "gladde" scenario's, zoals wind die zachtjes langs een auto waait of water dat door een pijp stroomt. Dit zijn voorspelbare, kalme situaties.

Maar in de echte wereld is het chaotisch. Denk aan een raket die met hypersonische snelheden de atmosfeer binnenkomt (waarbij de lucht superheet wordt en vreemd gedrag vertoont) of lucht die door een minuscule microchip stroomt (waarbij de lucht zo ijl is dat het meer lijkt op individuele stuiterende ballen dan op een gladde vloeistof). In deze extreme situaties breken de gebruikelijke natuurkundige regels af, en gedraagt de lucht zich op "niet-evenwichtige" manieren—dat wil zeggen: uit balans, vol scherpe schokken en onvoorspelbaar.

Het Probleem:
Tot nu toe was er geen goede "rijschool" voor AI om deze chaotische, extreme omstandigheden te leren. Bestaande tests waren als rijles krijgen op een rustige, lege snelweg. Ze testten niet of de AI een plotselinge tornado, een grillige rots of een microscopisch doolhof aan kon. Zonder een goede test wisten we niet welke AI-modellen daadwerkelijk slim genoeg waren om met de chaos van de echte wereld om te gaan.

De Oplossing: TransportBench
De auteurs creëerden TransportBench, wat in feite een "chaos-gym" is voor AI-modellen. Het is een enorme collectie hoogwaardige data en een gestandaardiseerde set tests die specifiek zijn ontworpen om AI-modellen aan de grond te slaan en te kijken hoe ze herstellen.

Denk aan een videogame met vier duidelijke niveaus, die elk een andere vaardigheid testen:

1. Niveau 1: De Vormveranderaar (Airfoil Taak)

   • De Uitdaging: De AI moet voorspellen hoe de lucht stroomt rond vliegtuigvleugels die voortdurend van vorm veranderen.
   • De Test: Kan de AI de regels van aerodynamica zo goed leren dat hij de uitkomst kan raden voor een vleugelvorm die hij nog nooit heeft gezien?
   • Het Resultaat: Modellen die goed zijn in het bekijken van rasters en lokale patronen (zoals U-Net) presteerden het best. Ze waren als kunstenaars die snel een schets van een nieuwe vleugel konden maken en direct wisten hoe de wind eromheen zou krullen.

2. Niveau 2: De Snelheidsduivel (Cylinder Taak)

   • De Uitdaging: Het voorspellen van de luchtstroom rond een cilinder, maar dit keer veranderen de snelheid en dichtheid van de lucht wild.
   • De Test: Kan de AI een situatie aan waarbij de wind verandert van een zacht briesje naar een supersonische brul, wat de hele vorm van het kielzog achter het object verandert?
   • Het Resultaat: Opnieuw wonnen modellen met een sterke "lokale" visie (U-Net). Ze waren goed in het zien hoe de directe omgeving veranderde naarmate de snelheid toenam.

3. Niveau 3: De Microscoop (Cavity Taak)

   • De Uitdaging: Dit is een "inzoom"-test. In plaats van alleen naar het grote plaatje te kijken (windsnelheid), moet de AI het gedrag van individuele gasdeeltjes en hun verborgen statistieken voorspellen.
   • De Test: Kan de AI de microscopische dans van deeltjes begrijpen, en niet alleen de macroscopische stroming?
   • Het Resultaat: Een model genaamd Point Transformer (dat naar individuele punten kijkt in plaats van naar een raster) won. Het was alsof je een detective had die elke verdachte in een menigte kon volgen, in plaats van alleen naar de menigte als geheel te kijken.

4. Niveau 4: De Schokgolf (Double-Cone Taak)

   • De Uitdaging: Dit is het moeilijkste niveau. Het betreft een raket-kegel die zo snel beweegt dat hij enorme, scherpe schokgolven en chemische reacties veroorzaakt. De data is schaars (weinig voorbeelden) en de veranderingen zijn gewelddadig.
   • De Test: Kan de AI een scherpe, grillige lijn trekken zonder deze te vervagen? Kan de AI omgaan met de "explosieve" delen van de data?
   • Het Resultaat: Dit was een beslissende tie-breaker.
     • U-Net was het beste in het krijgen van de exacte getallen goed (lage fout in absolute termen). Het was als een chirurg die uiterst precieze sneden maakt.
     • FNO (een model dat naar het hele plaatje tegelijk kijkt) was het beste in het krijgen van de algemene vorm goed in verhouding tot de grootte van de schok.
     • De Twist: De auteurs probeerden "hoogfrequente" kenmerken toe te voegen (de AI extra hulpmiddelen geven om scherpe details te zien). Voor sommige modellen hielp dit; voor andere maakte het het beeld "jittery" met ruis. Het bewees dat er geen "one-size-fits-all" hulpmiddel bestaat.

De Belangrijkste Conclusie
De belangrijkste conclusie van het paper is simpel: Er is niet één "perfect" AI-model voor alles.

• Als je wilt voorspellen hoe een nieuwe vleugelvorm de wind beïnvloedt, gebruik dan een rastergebaseerd model (zoals U-Net).
• Als je individuele deeltjes wilt volgen, gebruik dan een puntgebaseerd model (zoals Point Transformer).
• Als je te maken hebt met gewelddadige schokgolven, moet je voorzichtig zijn met welke hulpmiddelen je gebruikt, want sommige hulpmiddelen maken de boel te veel glad, terwijl andere het juist te ruizig maken.

Waarom dit ertoe doet
TransportBench is niet alleen een lijst met scores; het is een diagnostisch hulpmiddel. Het vertelt wetenschappers: "Hé, jouw model is geweldig in gladde curven, maar verschrikkelijk in scherpe randen," of "Jouw model is goed in het grote plaatje, maar mist de kleine details."

Door deze gestandaardiseerde "chaos-gym" te bieden, hopen de auteurs dat onderzoekers niet langer hoeven te gissen welk AI-model ze moeten gebruiken. In plaats daarvan kunnen ze nu het juiste gereedschap kiezen voor het specifieke type extreme fysica dat ze proberen te simuleren, of het nu gaat om het ontwerpen van een hypersonische jet of het begrijpen van gasstroming in een microchip.

Kortom: Het paper heeft een rigoureuze testomgeving gebouwd om aan te tonen dat in de wereld van extreme fysica verschillende AI-modellen verschillende superkrachten hebben, en dat je de juiste moet kiezen voor de klus.

Technische samenvatting

Technische Samenvatting van TransportBench: Een Uitgebreide Benchmark voor Niet-Evenwichtige Stromingstransport

Probleemstelling
Scientific Machine Learning (SciML) transformeert de vorm van onderzoek naar vloeistofmechanica steeds meer; echter, bestaande datasets en benchmarks (bijv. PDEBench, FlowBench) zijn primair beperkt tot continuümvloeistoffen nabij het thermodynamisch evenwicht. Deze benchmarks kenmerken zich doorgaans door gladde stromingsvelden, laag-orde macroscopische variabelen en regelmatige domeinen. Ze falen in het vastleggen van de typerende uitdagingen van niet-evenwichtige transportprocessen, zoals rarefactie-effecten, Knudsen-lagen, hoog-orde momentengrootheden, sterke schokdiscontinuïteiten en multi-schaal kinetisch-naar-continuüm gedrag. Bijgevolg garandeert een hoge prestatie op continuüm-benchmarks niet de robuustheid in het voorspellen van rarefied of hypersonische niet-evenwichtige stromingen. Bovendien ontbreken gestandaardiseerde protocollen vaak bij bestaande evaluaties, wat het moeilijk maakt om het effect van architecturale inductieve biases te onderscheiden van verschillen in parameterbudgetten, roosterresoluties of trainingsstrategieën.

Methodologie
De auteurs introduceren TransportBench, een hoogwaardige dataset en gestandaardiseerde benchmark die ontworpen is om SciML-modellen te evalueren over diverse niet-evenwichtige stromingsregimes. Het framework is gebouwd op een verenigde fysische formulering gebaseerd op statistische mechanica, variërend van de Boltzmann-vergelijking tot macroscopische behoudswetten.

• Dataset Constructie: De dataset omvat vier representatieve stromingsscenario's gegenereerd met hoogwaardige solvers (Direct Simulation Monte Carlo voor rarefied stromingen, Discrete Velocity Method voor kinetische momenten, en state-to-state thermochemische CFD voor hypersonische stromingen):

  1. Airfoil Flow (Geometrie-afhankelijk): Rarefied stroming over RAE2822 vleugelprofielen met geometrische variaties (CST-perturbatie) om generalisatie naar ongeziene vormen te testen.
  2. Cylinder Flow (Parameter-afhankelijk): Stroming rond een vaste cilinder over een breed bereik van Mach-getallen ($Ma$) en Knudsen-getallen ($Kn$) om generalisatie naar operationele condities te testen.
  3. Lid-Driven Cavity (Hoog-orde Kinetisch): Voorspelling van deeltjesdistributiefuncties en hoog-orde momenten (spanningstensor, warmteflux) om micro-macro verbindingen te testen.
  4. Double-Cone Flow (Schok-gedomineerd): Hoog-enthalpie hypersonische stroming met thermochemisch niet-evenwicht, sterke schokken en schaarse, anisotrope data om schokresolutie te testen.

• Verenigde Leerformulering: Alle taken worden geframed als input-output mappingen ($G: A \to U$), waarbij de inputs geometrie en fysische parameters omvatten, en de outputs macroscopische variabelen en niet-evenwichtige grootheden (bijv. distributiefuncties, spanning) bevatten.

• Benchmarking Protocollen: De studie evalueert zes representatieve neurale architecturen (U-Net, Convolutional Autoencoder, DeepONet, Fourier Neural Operator, Vision Transformer, en Point Transformer) onder gecontroleerde instellingen. Belangrijke ontwerpkeuzes zijn:

  • Parameterbudgetten: Vastgesteld op ~1M parameters voor Taken I-III en ~33M voor de data-beperkte Taak IV om een eerlijke vergelijking te waarborgen.
  • Preprocessing: Verenigde roostermapping, binaire geometrie-maskering (om vaste regio's uit te sluiten) en logaritmische dynamisch bereikcompressie voor variabelen met grote variaties.
  • Ablatie: Evaluatie van Fourier-feature injectie om spectrale bias en schokresolutie-capaciteiten te diagnosticeren.
  • Metrieken: Gemaskeerde Mean Squared Error (MSE), Mean Absolute Error (MAE) en Relatieve $L_2$-fout (berekend in de fysieke ruimte voor schoktaken om onderschatting van piekwaarden te voorkomen).

Kernbijdragen

1. Hoogwaardige Niet-Evenwichtige Dataset: Een uitgebreide dataset die continuüm en rarefied regimes, lage snelheid en hypersonische stromingen, inerte en reactieve gassen, en zowel translationeel als intern-energetisch niet-evenwicht omvat.
2. Gestandaardiseerd Evaluatieframework: Een verenigd protocol dat architecturale inductieve biases isoleert van implementatiedetails, wat een systematische vergelijking over verschillende stromingsregimes mogelijk maakt.
3. Diagnostische Taken: Specifieke taken ontworpen om verschillende uitdagingen te onderzoeken: geometrische generalisatie, parameter-generalisatie, hoog-orde kinetische voorspelling en schok-gedomineerde reconstructie.
4. Ablatie op Hoogfrequente Injectie: Een gecontroleerde studie naar de effecten van expliciete hoogfrequente feature injectie in schok-gedomineerde stromingen.

Numerieke Resultaten
De experimenten onthullen dat de prestaties van modellen sterk regime-afhankelijk zijn; geen enkele architectuur presteert consistent beter dan anderen over alle taken:

• Geometrie-afhankelijk (Airfoil): Convolutionele modellen (U-Net, Autoencoder) en Vision Transformers presteerden het best, wat suggereert dat gestructureerde rooster-priors effectief zijn voor het mappen van vormvariaties naar schok/staart-structuren.
• Parameter-afhankelijk (Cylinder): U-Net behaalde de laagste fouten, wat aangeeft dat lokale convolutionele priors effectief de parameter-geïnduceerde topologische veranderingen in schok- en staartstructuren vastleggen.
• Hoog-orde Kinetisch (Cavity): Point Transformer behaalde de laagste fout, gevolgd door Vision Transformer, wat suggereert dat flexibele punt-gebaseerde aggregatie en token-niveau interacties goed geschikt zijn voor gladde maar fysisch gekoppelde kinetische velden.
• Schok-gedomineerd (Double-Cone):
  • Lokale Priors: U-Net (zonder Fourier-features) behaalde de laagste absolute fouten (MAE/MSE), wat de waarde van lokale convolutionele priors benadrukt voor het oplossen van scherpe gradiënten.
  • Spectrale Bias: Coördinatengebaseerde modellen (DeepONet) hadden de neiging om schokpieken af te vlakken, terwijl spectrale modellen (FNO) oscillerende artefacten vertoonden nabij discontinuïteiten.
  • Fourier Feature Injectie: Expliciete hoogfrequente injectie verminderde de Relatieve $L_2$-fouten voor alle architecturen in de schok-gedomineerde taak, maar introduceerde een trade-off: voor U-Net en Autoencoders verbeterde het de globale veldovereenkomst (Relatieve $L_2$) terwijl het de absolute fouten (MAE/MSE) licht verhoogde door achtergrondruis.

Betekenis en Claims
De auteurs beweren dat TransportBench dient als een noodzakelijke diagnostische testomgeving voor de ontwikkeling van SciML-methoden voorbij het Navier-Stokes niveau. De benchmark demonstreert dat:

• Inductieve Bias Er Toe Doet: De geschiktheid van een neurale architectuur hangt af van de dominante fysische structuur van het probleem (bijv. lokale gradiënten versus globale correlaties versus scherpe discontinuïteiten).
• Capaciteit Geen Panacee Is: Het enkel vergroten van de modelcapaciteit overwint de moeilijkheden van niet-evenwichtige voorspelling niet; architecturale afstemming op fysische fenomenen (bijv. lokaliteit voor schokken, flexibiliteit voor kinetische koppeling) is cruciaal.
• Evaluatie Multi-facetig Moet Zijn: Eenzijdige geaggregeerde metrieken zijn onvoldoende. Een accurate beoordeling vereist het overwegen van meerdere metrieken (absoluut versus relatief fout) en kwalitatief fysisch gedrag, vooral bij het omgaan met hoogfrequente kenmerken en schokdiscontinuïteiten.

TransportBench wordt gepresenteerd niet als een leaderboard om één enkel "beste" model te bekronen, maar als een instrument om te identificeren welke inductieve biases geschikt zijn voor specifieke niet-evenwichtige transportregimes, waardoor de ontwikkeling van robuustere, physics-aware en regime-adaptieve neurale solvers wordt gestuurd.