The Closure Challenge: a benchmark task for machine learning in turbulence modelling

Das Papier stellt „The Closure Challenge" vor, eine umfassende Benchmark-Herausforderung mit standardisierten Open-Source-Datensätzen und Evaluierungsmetriken, um maschinelles Lernen für die RANS-Turbulenzmodellierung voranzutreiben und die Generalisierungsfähigkeit neuer Modelle zu testen.

Das Wesentliche

Der „Closure Challenge": Ein großes Rennen für KI-Experten im Sturm

Stell dir vor, du versuchst, das Wetter vorherzusagen. Aber nicht nur für morgen, sondern für jede einzelne Luftströmung um ein Flugzeug, ein Auto oder sogar um einen Baum im Wind. Das ist die Aufgabe von Wissenschaftlern, die Turbulenz modellieren. Turbulenz ist wie ein wilder, chaotischer Tanz von Luftteilchen. Um ihn zu verstehen, nutzen sie komplexe mathematische Gleichungen (die Navier-Stokes-Gleichungen).

Das Problem: Diese Gleichungen sind so kompliziert, dass man sie nicht exakt lösen kann, ohne unendlich viel Rechenleistung zu verschwenden. Also nutzen die Wissenschaftler eine Art „Abkürzung" oder einen „Schätzwert", den sie Closure-Modell nennen. Das ist wie ein Kochrezept, das sagt: „Wenn du diese Zutaten hast, dann ist der Geschmack wahrscheinlich so."

Das Problem bisher: Jeder kocht mit seinen eigenen Zutaten

Bis vor kurzem gab es ein riesiges Durcheinander. Jeder Forscher-Team hatte sein eigenes Kochbuch, seine eigenen Zutaten und seine eigene Art zu messen, ob ihr Rezept gut war.

• Team A sagte: „Unser Modell ist super!"
• Team B sagte: „Nein, unseres ist besser!"

Aber wie kann man das vergleichen, wenn Team A mit Tomaten und Team B mit Kartoffeln kocht? Es fehlte ein gemeinsamer Wettbewerb, bei dem alle mit den gleichen Zutaten und demselben Bewertungssystem arbeiten.

Die Lösung: Der „Closure Challenge"

Die Autoren dieses Papers (eine Gruppe von Wissenschaftlern aus den USA, den Niederlanden und Frankreich) haben genau das geschaffen: Ein großes, offenes Rennen für KI.

Stell dir das wie eine große Kochshow vor, aber statt Gerichten geht es um Luftströmungen:

1. Die Zutaten (Die Daten): Die Organisatoren haben einen riesigen Vorrat an „perfekten" Daten gesammelt. Das sind extrem genaue Messungen aus Supercomputern (DNS/LES), die zeigen, wie die Luft wirklich fließt. Das ist das „Goldstandard-Rezept".
2. Die Aufgabe: Die KI-Modelle (die Teilnehmer) sollen lernen, diese Strömungen vorherzusagen. Sie dürfen mit den perfekten Daten trainieren (üben).
3. Die Prüfung (Der Test): Hier kommt der Clou. Es gibt geheime Testfälle, die die Teilnehmer niemals gesehen haben dürfen.
   • Beispiel: Die Teilnehmer üben an einem Fluss mit kleinen Wellen. Die Prüfung ist dann ein Fluss mit riesigen Wellen oder eine ganz andere Flussform (wie ein quadratischer Kanal oder ein Hügel an einer Wand).
   • Das Ziel ist zu sehen: Kann die KI das Gelernte auf neue, unbekannte Situationen übertragen? Oder ist sie nur auswendig gelernt, wie ein Schüler, der nur die Lösungen der alten Hausaufgaben kennt?

Wie wird gewonnen?

Es gibt keine Jury, die schmeckt. Es gibt einen Computer-Algorithmus, der misst:

• Wie nah liegt die Vorhersage der KI an der wahren Realität?
• Die Formel im Papier ist im Grunde ein Maß dafür, wie oft die KI danebenliegt. Je niedriger die Zahl, desto besser.
• Ein Score von 0,05 bedeutet: „Die Vorhersage liegt im Durchschnitt nur 5 % daneben." Das ist wie ein Schütze, der fast immer ins Schwarze trifft.

Warum ist das wichtig?

Bisher war es schwer zu sagen, welche KI-Methoden wirklich gut sind. Mit diesem „Closure Challenge" haben die Wissenschaftler endlich eine gemeinsame Zielscheibe.

• Es ist wie ein Olympia-Rennen für Turbulenz-Modelle.
• Es zwingt die Forscher, Modelle zu bauen, die wirklich intelligent sind und nicht nur Muster auswendig lernen.
• Die Gewinner stehen auf einer Bestenliste (Leaderboard), die ständig aktualisiert wird.

Was ist bisher passiert?

Bereits drei Teams haben teilgenommen. Die besten Modelle liegen jetzt bei einem Fehler von etwa 6 %. Das klingt gut, aber die Herausforderung ist noch nicht gelöst. Die Autoren wollen, dass dies zum neuen Standard wird. Wenn jemand in Zukunft eine neue KI für Strömungen entwickelt, muss er sie erst hier testen, bevor er behauptet, sie sei gut.

Zusammenfassung in einem Satz:
Die Autoren haben ein riesiges, offenes Labor geschaffen, in dem KI-Modelle gegeneinander antreten müssen, um zu beweisen, ob sie wirklich verstehen, wie Luft und Wasser fließen – und zwar auch in Situationen, die sie noch nie gesehen haben.

Technische Zusammenfassung

Problemstellung

Das Feld des maschinellen Lernens (ML) zur Verbesserung von Reynolds-gemittelten Navier-Stokes-Gleichungen (RANS) für Turbulenzmodellierung leidet seit über einem Jahrzehnt unter einem kritischen Mangel an Standardisierung. Obwohl Open-Source-Datensätze für das Training datengesteuerter Turbulenzschließungsmodelle existieren, fehlt es der Community an einem einheitlichen Benchmark-Datensatz und einer standardisierten Evaluationsmetrik.

Dieses Defizit führt dazu, dass der Vergleich neuer Techniken mit bestehenden Methoden extrem aufwendig ist, da jede Forschungsgruppe eigene Trainingsdaten, Validierungssets und lokale Infrastrukturen nutzt. Dies verlangsamt den Fortschritt im Feld erheblich, da Ergebnisse nicht direkt vergleichbar sind. Das Ziel des Papers ist es, diese Hürde zu beseitigen und den Fortschritt durch ein offenes, laufendes Benchmarking zu beschleunigen.

Methodik und Aufgabenstellung

Die Autoren stellen den „Closure Challenge" vor, eine kuratierte Sammlung von Open-Source-Datensätzen und Evaluationscode.

• Aufgabe: Die Teilnehmer müssen das Strömungsfeld für eine Reihe von Testfällen auf einem spezifizierten CFD-Gitter vorhersagen.
• Flexibilität: Im Gegensatz zu vielen anderen Benchmarks überlassen die Autoren die Wahl der Trainings- und Validierungsdaten den Teilnehmern. Dies wurde bewusst gewählt, um die Einstiegshürde zu senken, da viele Gruppen bereits eigene Codebasen und Datensätze haben.
• Einschränkung (Regel): Es ist streng verboten, die Testfälle während des Trainings oder der Validierung zu verwenden.
• Testfälle: Die aktuellen Testfälle (Stand März 2026) umfassen:
  • Periodische Hügel (Periodic Hills): Verschiedene geometrische Variationen (Höhe $h$, Länge $L$) bei $Re = 5600$.
  • Quadratischer Kanal (Square Duct): Variationen der Reynolds-Zahl ($Re_\tau$) und des Aspektverhältnisses ($AR$).
  • NASA Wall-Mounted Hump: Ein klassischer Testfall für Ablösung und Wiederanlegung.
• Ziel der Generalisierung: Die Testfälle wurden ausgewählt, um die Generalisierungsfähigkeit von Modellen hinsichtlich Reynolds-Zahl und Geometrie zu testen, was als zwei der wichtigsten offenen Probleme im Feld gilt.

Evaluierung und Scoring

Die Bewertung erfolgt über eine offene-source Python-Bibliothek. Die Metrik ist der durchschnittliche Bruchteilfehler der Geschwindigkeit über alle Testfälle:

$$\text{Score} = \frac{1}{N_{\text{cases}}} \sum_{c} \frac{1}{N_c |\bar{U}|_c} \sum_{i=1}^{N_c} |\tilde{U}_i - U_{\text{true},i}|$$

Dabei ist $\tilde{U}_i$ die vorhergesagte Geschwindigkeit, $U_{\text{true},i}$ die Referenzgeschwindigkeit (aus DNS/LES) und $|\bar{U}|_c$ die mittlere Geschwindigkeitsmagnitude des jeweiligen Testfalls. Ein niedrigerer Score deutet auf eine bessere Übereinstimmung mit den Referenzdaten hin. Ein Score von 0,05 bedeutet beispielsweise einen durchschnittlichen Fehler von 5 % der mittleren Geschwindigkeitsmagnitude.

Verfügbare Datensätze

Der Challenge bietet standardisierte Daten in einem einheitlichen Format, einschließlich:

• RANS-Vorhersagen mit dem $k-\omega$ SST-Turbulenzmodell.
• DNS- oder LES-„Ground Truth"-Daten.
• Mittelwert-Geschwindigkeitsgradienten: Diese werden bereitgestellt, da viele moderne ML-Frameworks diese Informationen während des Trainings benötigen.

Das Angebot umfasst sowohl 2D-Strömungen (z. B. periodische Hügel, Kanäle, Hump) als auch 3D-Strömungen (z. B. Flügel-Rumpf-Verbindung, Ahmed-Körper, FAITH-Hügel).

Ergebnisse (Stand März 2026)

Der Paper präsentiert die ersten Ergebnisse von drei eingereichten Gruppen, die synchronisiert mit dem ERCOFTAC-Workshop veröffentlicht wurden:

1. Reissmann, Fang, und Sandberg: Score 0,0595 (Platz 1).
2. Wu und Zhang: Score 0,0624 (Platz 2).
3. Montoya, Oulghelou, und Cinnella: Score 0,0779 (Platz 3; basierend auf einem vortrainierten Modell ohne Feinabstimmung).

Die Ergebnisse zeigen, dass die Herausforderung bereits funktionierende ML-Ansätze identifiziert, die signifikante Vorhersagegenauigkeit erreichen, wobei noch Raum für Verbesserungen besteht.

Bedeutung und Zukunftsperspektiven

• Standardisierung: Der „Closure Challenge" zielt darauf ab, der de-facto-Standard für die Evaluierung neuer ML-Frameworks in der RANS-Turbulenzmodellierung zu werden.
• Laufendes Benchmarking: Im Gegensatz zu einmaligen Wettbewerben ist dies ein dauerhaft laufendes Projekt ohne Verbindung zu einer spezifischen Konferenz. Eine Live-Leaderboard soll den aktuellen Stand der Technik (State-of-the-Art) widerspiegeln.
• Förderung von Innovation: Durch die Bereitstellung einer harten, realistischen Herausforderung sollen neue Ideen motiviert werden, anstatt das Feld in einem zu optimistischen Licht darzustellen.
• Erweiterung: Geplant ist die Einführung separater Leaderboards für 3D-Strömungen, sobald genügend Daten und Einsendungen vorliegen.

Zusammenfassend stellt der „Closure Challenge" einen Meilenstein dar, der die Fragmentierung in der ML-gestützten Turbulenzmodellierung überwinden und die Entwicklung robusterer, generalisierbarer Modelle durch transparente und vergleichbare Evaluierung beschleunigen soll.