The Closure Challenge: a benchmark task for machine learning in turbulence modelling

Dit artikel introduceert 'The Closure Challenge', een gestandaardiseerd open-source benchmarkkader met trainingsdata en testcases om machine learning-modellen voor RANS-turbulentiemodellering te evalueren en de veldbrede innovatie te stimuleren.

De kern

Stel je voor dat je een superkrachtige voorspeller wilt bouwen die kan zeggen hoe lucht of water stroomt rondom een vliegtuig, een auto of zelfs een berg in een rivier. In de wereld van de natuurkunde noemen we dit "turbulentie". Het is extreem moeilijk om dit precies te berekenen, alsof je probeert te voorspellen waar elke individuele druppel regen in een storm zal landen.

Wetenschappers gebruiken computersimulaties (RANS) om dit op te lossen, maar ze maken vaak een "gok" over de kleine, chaotische draaikolken. Om die gok beter te maken, proberen ze nu Kunstmatige Intelligentie (AI) in te schakelen.

Het probleem? Iedereen doet het anders. Het is alsof er honderd koks zijn die elk een eigen recept voor tomatensoep hebben, maar er is geen standaardproefkom om te zien wie de lekkerste soep maakt. Je kunt de resultaten van de ene kok niet vergelijken met die van de andere, omdat ze allemaal andere ingrediënten en schalen gebruiken.

De "Closure Challenge" is de oplossing voor dit probleem.

Hier is wat deze paper doet, vertaald naar een simpel verhaal:

1. De Grote Keukenwedstrijd

De auteurs van dit paper (een team van MIT, TU Delft en Sorbonne) hebben een standaardwedstrijd opgezet. Ze zeggen tegen alle AI-onderzoekers: "Stop met het uitvinden van je eigen proefjes. Gebruik onze standaardkeuken en onze standaard ingrediënten."

Ze hebben een verzameling openbare datasets (recepten met de juiste resultaten) gemaakt. Dit zijn de "trainingsdata". Net als een kok die eerst oefent met simpele soep voordat hij een ingewikkeld gerecht probeert, mogen AI-modellen oefenen op deze data.

2. De "Blind Test" (De Testcases)

Het echte geheim van deze wedstrijd is de testfase.
Stel je voor dat je een kok hebt die perfect soep kan maken op basis van een recept dat hij zelf heeft bedacht. Maar nu geven we hem een nieuwe, onbekende ingrediëntenmix (bijvoorbeeld een heuvel in een rivier of een vierkante buis) en vragen we hem: "Hoe stroomt het water hier?"

De regels zijn streng:

• Je mag nooit de testcases gebruiken om te oefenen.
• Je mag alleen oefenen op de "trainingsdata" die ze hebben verstrekt.
• Je moet je voorspelling maken op een specifieke kaart (een CFD-mesh).

Dit is als een blinddoektest: als je AI echt slim is, moet hij het principe begrijpen en kunnen toepassen op situaties die hij nog nooit heeft gezien (zoals een andere vorm van heuvel of een andere snelheid).

3. De Scorebord

Hoe weten we wie er wint? Ze hebben een simpele score: Hoe dicht ligt jouw voorspelling bij de echte waarheid?

• Ze vergelijken jouw AI-voorspelling met de "God-truth" (dit is data van superkrachtige, dure simulaties die als de absolute waarheid worden beschouwd).
• De score is een percentage. Een lage score is goed (bijvoorbeeld 0,05 betekent dat je maar 5% naast het doel zit).
• Het doel is om de leiderlijst (leaderboard) aan de top te krijgen.

4. Waarom is dit belangrijk?

Voorheen was het een chaos. Als een nieuw AI-model werd gepresenteerd, was het vaak onduidelijk of het echt beter was, of dat de maker gewoon geluk had met de specifieke data die hij had gekozen.

Met deze "Closure Challenge":

• Fairness: Iedereen speelt met dezelfde regels.
• Snelheid: Onderzoekers hoeven niet meer uren te besteden aan het opzetten van tests, maar kunnen direct hun AI-modellen vergelijken.
• Innovatie: Het dwingt onderzoekers om modellen te bouwen die echt leren en niet alleen onthouden.

Samenvattend

Deze paper introduceert de "Olympische Spelen" voor AI in stromingsleer. Het is een plek waar de slimste algoritmes tegen elkaar kunnen strijden op een eerlijk veld, met als doel om in de toekomst vliegtuigen, windmolens en auto's efficiënter en veiliger te maken.

De wedstrijd is nog gaande (het is een "levende" benchmark), en de eerste drie winnaars staan al op het scorebord. Maar de deur staat open voor iedereen om zijn of haar AI-modellen te komen testen en de lijst te verbeteren!

Technische samenvatting

Titel: The Closure Challenge: een benchmark-taak voor machine learning in turbulentiemodellering

1. Het Probleem

Het veld van machine learning (ML) verrijkte RANS-modellering (Reynolds-averaged Navier-Stokes) heeft de afgelopen tien jaar aanzienlijke interesse getoond, maar de vooruitgang wordt vertraagd door een kritiek gebrek aan standaardisatie. Hoewel er open-source datasets bestaan voor het trainen van data-gedreven turbulentie-sluitingsmodellen, ontbreekt er een standaard benchmark-metriek en testdataset.

• Huidige situatie: Onderzoeksgroepen gebruiken eigen code, trainingsdatasets en lokale infrastructuur.
• Gevolg: Het vergelijken van nieuwe technieken met bestaande methoden vereist aanzienlijke inspanning en is vaak niet eerlijk of reproduceerbaar. Er is geen objectieve manier om de generalisatievermogen van modellen te beoordelen.

2. Methodologie en Opzet van de Uitdaging

De auteurs introduceren "The Closure Challenge", een doorlopende, open-source benchmark om deze problemen op te lossen. De kernprincipes zijn:

• Doel: Het creëren van een uitdagende dataset die de werkelijke staat van ML-augmented RANS-modellering weerspiegelt, met een focus op generalisatie (zowel in Reynolds-getal als geometrie).
• Trainingsdata: Om de drempel voor deelname te verlagen, wordt geen standaard trainings- of validatiedataset opgelegd. Deelnemers mogen hun eigen data en code gebruiken (inclusief bestaande frameworks).
• Testdata (De "Vaste" Component): De enige strikte regel is dat het verboden is om te trainen of te valideren op de testgevallen. De testgevallen zijn strikt gescheiden en omvatten:
  • Periodieke heuvels (Periodic hills): Variaties in geometrie (helling $\alpha$, lengte $L$, hoogte $h$) bij $Re = 5600$.
  • Vierkante buis (Square duct): Variaties in aspectratio (AR) en wandwrijving Reynolds-getal ($Re_\tau$).
  • NASA wall-mounted hump: Een complex 3D-achtig stromingsprobleem.
• Evaluatie: De prestaties worden gemeten op een gespecificeerd CFD-netwerk (mesh).

3. Belangrijkste Bijdragen

• Standaardisatie: Het bieden van een gecureerde collectie van open-source datasets en evaluatiecode, waardoor directe vergelijkingen mogelijk worden.
• Data-formaat: De datasets bevatten niet alleen "ground truth" (DNS/LES) en RANS-voorspellingen (k-$\omega$ SST), maar ook gemiddelde snelheidsgradiënten. Dit is cruciaal omdat veel moderne ML-frameworks deze informatie tijdens het trainen nodig hebben.
• Levenscyclus: Het is geen eenmalige evenement-uitdaging, maar een doorlopende leaderboard die de staat van de kunst (SOTA) in het veld continu bijwerkt en nieuwe ideeën stimuleert.
• Toegankelijkheid: De volledige infrastructuur (datasets, evaluatiecode) is beschikbaar via GitHub en PyPI.

4. Resultaten en Evaluatiemetriek

De scoring is gebaseerd op de gemiddelde fractionele snelheidsfout over alle testgevallen.

• Formule: De score wordt berekend als het gemiddelde van de absolute fout in de voorspelde snelheidsvector ($\tilde{U}_i$) ten opzichte van de referentie ($U_{true,i}$), genormaliseerd door de gemiddelde snelheidsmagnitude van dat specifieke testgeval.
  $$\text{Score} = \frac{1}{N_{cases}} \sum_c \frac{1}{N_c |\bar{U}|_c} \sum_{i=1}^{N_c} |\tilde{U}_i - U_{true,i}|$$
• Interpretatie: Een lagere score is beter. Een score van 0,05 betekent bijvoorbeeld dat de voorspellingen gemiddeld 5% afwijken van de referentiesnelheid.
• Huidige Stand (Maart 2026): Drie vroege inzendingen zijn geëvalueerd:
  1. Reissmann, Fang, en Sandberg: 0.0595 (Beste prestatie).
  2. Wu en Zhang: 0.0624.
  3. Montoya, Oulghelou, en Cinnella: 0.0779 (Opmerking: dit was een voorgeïmplementeerd model zonder fijnafstemming op de challenge-datasets).

5. Betekenis en Toekomstperspectief

De "Closure Challenge" heeft als doel om de standaard evaluatiemethode te worden voor nieuwe ML-frameworks in RANS, vergelijkbaar met benchmarks in andere wetenschappelijke ML-domeinen zoals eiwitstructuurvoorspelling of weersvoorspelling.

• Impact: Het versnelt de vooruitgang in het veld door de "re-inventie van de wiel" bij het opzetten van vergelijkingen te elimineren.
• Toekomst: Momenteel is de benchmark volledig operationeel voor 2D-stromingen. De auteurs plannen om in de toekomst een aparte leaderboard en uitdaging toe te voegen voor 3D-stromingen (waarbij data voor vleugel-lichaam verbindingen en Ahmed-lichamen al beschikbaar is).

Kortom, dit paper markeert een verschuiving van gefragmenteerde, niet-vergelijkbare onderzoek naar een gestructureerde, open en competitieve omgeving voor het verbeteren van turbulentiemodellering met machine learning.