Uncertainty Quantification in PINNs for Turbulent Flows: Bayesian Inference and Repulsive Ensembles

Diese Arbeit entwickelt und bewertet systematisch probabilistische Erweiterungen von Physics-Informed Neural Networks (PINNs) für die Unsicherheitsquantifizierung in der Turbulenzmodellierung, wobei Bayes'sche PINNs die konsistentesten Schätzungen liefern und repulsive Ensembles eine rechen-effiziente Alternative darstellen.

Das Wesentliche

Das große Rätsel: Wie man den Wind mit KI vorhersagt

Stellen Sie sich vor, Sie wollen genau wissen, wie sich die Luft um ein Flugzeug oder ein Auto herum bewegt. Das ist extrem wichtig für Sicherheit und Effizienz. Aber die Luft ist chaotisch – sie wirbelt, dreht sich und verhält sich unvorhersehbar. Das nennt man Turbulenz.

Früher haben Wissenschaftler versucht, diese Wirbel mit komplizierten Formeln (den sogenannten RANS-Gleichungen) zu beschreiben. Das Problem: Diese Formeln sind nicht perfekt. Sie machen Annahmen, die oft falsch liegen, besonders wenn die Luft sehr turbulent ist.

Heute nutzen wir Künstliche Intelligenz (KI), genauer gesagt PINNs (Physics-Informed Neural Networks). Das sind wie sehr kluge Schüler, die nicht nur Daten auswendig lernen, sondern auch die Gesetze der Physik (wie die Schwerkraft oder den Luftwiderstand) kennen. Wenn man ihnen ein paar wenige Messdaten gibt (z. B. von Sensoren an einem Zylinder), können sie den Rest des Bildes „ausmalen" und vorhersagen, wie die Strömung überall aussieht.

Aber hier liegt das Problem:
Diese KI-Modelle sind wie selbstbewusste Wahrsager. Sie sagen Ihnen: „Ich weiß genau, wie die Luft fließt!" Aber sie sagen Ihnen nicht, ob sie sich irren könnten. Wenn die Daten lückenhaft sind (was in der echten Welt fast immer der Fall ist), könnte die KI völlig falsche Dinge vorhersagen, ohne dass wir es merken. Das ist gefährlich.

Die Lösung: Unsicherheit messen wie ein Wetterbericht

Die Autoren dieses Papers wollen das ändern. Sie wollen der KI beibringen, nicht nur eine Antwort zu geben, sondern auch zu sagen: „Ich bin mir zu 95 % sicher" oder „Hier bin ich mir gar nicht sicher."

Sie haben drei verschiedene Methoden entwickelt, um dieser KI ein „Gefühl für Zweifel" zu geben. Man kann sich das wie drei verschiedene Teams von Experten vorstellen, die versuchen, ein Puzzle zu lösen:

1. Der Bayesianische Ansatz (Der vorsichtige Detektiv)

• Die Idee: Statt nur eine Antwort zu suchen, betrachtet diese Methode Tausende von möglichen Antworten gleichzeitig. Sie fragt: „Wenn ich alle meine Daten und physikalischen Gesetze betrachte, wie wahrscheinlich ist jede dieser Lösungen?"
• Die Analogie: Stellen Sie sich einen Detektiv vor, der nicht nur einen Verdächtigen festnimmt, sondern ein ganzes Dossier mit 500 möglichen Szenarien erstellt. Er sagt: „In 95 % der Szenarien passiert X, aber in 5 % könnte es Y sein."
• Ergebnis: Das ist die genaueste und zuverlässigste Methode. Sie gibt sehr realistische Einschätzungen, wie sicher die Vorhersage ist. Aber sie ist auch sehr rechenintensiv – wie ein Detektiv, der Tage braucht, um alle Akten zu lesen.

2. Der „Repulsive Deep Ensemble" (Die Gruppe, die sich streitet)

• Die Idee: Hier trainieren wir 10 verschiedene KI-Modelle gleichzeitig. Normalerweise würden alle 10 Modelle am Ende das Gleiche sagen (sie „kollabieren" zu einer Meinung). Die Autoren fügen eine spezielle Regel hinzu: Die Modelle sollen sich gegenseitig „wegdrängen" (repulsiv wirken). Sie sollen sich zwingen, unterschiedliche Lösungen zu finden.
• Die Analogie: Stellen Sie sich eine Jury vor. Wenn alle Jurymitglieder genau gleich denken, ist das langweilig und vielleicht falsch. Aber wenn Sie die Jury anweisen: „Ihr müsst unbedingt eine andere Meinung haben als der Nachbar!", dann entsteht eine echte Debatte. Wenn am Ende 9 Jurymitglieder sagen „Schuldig" und einer sagt „Unschuldig", wissen Sie, wo die Unsicherheit liegt.
• Ergebnis: Das ist schneller als der Detektiv-Ansatz und liefert gute Ergebnisse für die Hauptströmung. Aber bei den feinen Details (den „Schlussfolgerungen" der Turbulenz) ist die Unsicherheitsschätzung manchmal noch etwas ungenau.

3. Der MC-Dropout (Der vergessliche Schüler)

• Die Idee: Man schaltet während des Testens zufällig Teile des neuronalen Netzwerks aus (wie wenn ein Schüler beim Lernen immer wieder vergisst, was er gerade gelesen hat). Dadurch bekommt man leicht unterschiedliche Ergebnisse.
• Die Analogie: Ein Schüler, der bei jeder Prüfung zufällig vergisst, welche Formel er benutzen soll. Das gibt eine grobe Idee der Unsicherheit, ist aber oft nicht präzise genug für schwierige Fälle.
• Ergebnis: In diesem Papier hat diese Methode am schlechtesten abgeschnitten. Sie war oft zu vorsichtig und hat Unsicherheit dort gemeldet, wo sie gar nicht nötig war.

Was haben sie herausgefunden?

Die Forscher haben diese Methoden an zwei Szenarien getestet:

1. Ein Zylinder im Wasser (Simulation): Hier hatten sie perfekte Daten, um die KI zu testen.
2. Ein Zylinder im Windkanal (Echte Experimente): Hier waren die Daten verrauscht und lückenhaft, wie in der echten Welt.

Die wichtigsten Erkenntnisse:

• Der Bayesianische Ansatz (Der Detektiv) ist der König der Zuverlässigkeit. Er sagt Ihnen immer genau, wo er sich sicher ist und wo nicht. Das ist ideal für sicherheitskritische Anwendungen.
• Die „Streitende Jury" (Repulsive Ensembles) ist der beste Kompromiss. Sie ist viel schneller und liefert für die Hauptströmung fast genauso gute Ergebnisse wie der Detektiv. Wenn Sie schnell eine Antwort brauchen, ist das die beste Wahl.
• Ohne die „Streit-Regel" (also wenn man einfach nur 10 normale KIs nimmt) scheitert das System komplett. Alle KIs würden das Gleiche sagen und sich gegenseitig bestätigen, auch wenn sie alle falsch liegen. Die „Repulsion" (das Wegdrängen) ist also der entscheidende Trick, damit die KI wirklich verschiedene Möglichkeiten durchspielt.

Fazit für den Alltag

Diese Forschung hilft Ingenieuren, KI-Modelle zu bauen, die nicht nur „raten", sondern ehrlich über ihre eigenen Fehler sprechen.

• Wenn es um Leben und Tod geht (z. B. Flugzeugdesign), nehmen Sie den Bayesianischen Ansatz – er ist teuer, aber er lügt nicht über seine Unsicherheit.
• Wenn Sie schnelle Ergebnisse für Design-Optimierungen brauchen, nehmen Sie die Repulsive Ensembles – sie sind schnell und geben Ihnen eine gute Einschätzung, wo Sie noch mehr Daten sammeln sollten.

Kurz gesagt: Die KI lernt endlich, dass sie nicht alles weiß, und zeigt uns, wo sie unsicher ist. Das macht sie zu einem viel besseren Werkzeug für die Wissenschaft.

Technische Zusammenfassung

1. Problemstellung

Die Reynolds-gemittelten Navier-Stokes-Gleichungen (RANS) sind der Industriestandard für die Simulation turbulenter Strömungen, leiden jedoch unter dem fundamentalen „Schließungsproblem" (closure problem) der Reynolds-Spannungstensors. Herkömmliche Turbulenzmodelle führen zu Modellierungsfehlern, die schwer a priori zu quantifizieren sind.

Während Physics-Informed Neural Networks (PINNs) vielversprechend sind, um inverse Probleme zu lösen und Strömungsfelder aus spärlichen Daten zu rekonstruieren, sind die meisten bestehenden Ansätze deterministisch. Dies führt zu zwei Hauptproblemen:

1. Fehlende epistemische Unsicherheitsquantifizierung: Bei schlecht gestellten (ill-posed) inversen Problemen können verschiedene Kombinationen von Geschwindigkeit, Druck und Reynolds-Spannungen die gleichen Daten und Gleichungen erfüllen. Deterministische PINNs können nicht unterscheiden, ob eine Vorhersage durch Daten gut eingeschränkt ist oder nur durch den induktiven Bias des Netzwerks getrieben wird.
2. Mangelnde Zuverlässigkeit: Ohne Unsicherheitsschätzungen ist es unmöglich, die Vertrauenswürdigkeit von Vorhersagen in Daten-freien Regionen zu bewerten oder den Wert zusätzlicher Messungen zu bestimmen.

Das Ziel der Arbeit ist die Entwicklung und systematische Evaluation probabilistischer Erweiterungen von PINNs, um diese Unsicherheiten robust zu quantifizieren.

2. Methodik

Die Autoren vergleichen drei probabilistische Ansätze zur Unsicherheitsquantifizierung (UQ) im Kontext von PINNs für RANS-Inverse Probleme:

A. Bayesianische PINNs (BPINNs)

Dies ist der probabilistisch fundierteste Ansatz.

• Formulierung: Ein Prior wird über die Netzwerkgewichte gelegt, und eine Posterior-Verteilung wird mittels Bayes-Theorem unter Berücksichtigung von Daten und physikalischen Constraints berechnet.
• Temperierte Likelihood: Um das Problem der übermäßigen Konzentration des Posteriors bei großen Datenmengen („cold posterior effect") zu lösen, wird eine temperierte Likelihood verwendet. Dabei werden unterschiedliche Temperierungs-Exponenten ($\beta$) für Geschwindigkeitsdaten, Reynolds-Spannungsdaten und PDE-Residuen angewendet, um deren unterschiedliche Zuverlässigkeit zu berücksichtigen.
• Inferenz: Die Posterior-Samples werden mit dem No-U-Turn Sampler (NUTS), einer adaptiven Variante des Hamiltonian Monte Carlo (HMC), gezogen.
• Nachkalibrierung: Da Bayesianische Netze oft schlecht kalibriert sind, wird eine post-hoc Skalierung der Unsicherheit durchgeführt, um eine nominale Abdeckung von 95 % zu erreichen.

B. MC Dropout PINNs

• Ansatz: Dropout wird während des Inferenzschritts aktiviert und als approximative Variationsinferenz interpretiert.
• Vorteil/Nachteil: Sehr recheneffizient (ein Trainingslauf), liefert aber oft unter- oder überkonservative Unsicherheitsschätzungen, da die induzierte Variationsfamilie (Bernoulli-Masken) die Komplexität des wahren Posteriors nicht vollständig erfassen kann.

C. Repulsive Deep Ensembles (RDE-PINNs)

Dieser Ansatz adressiert das Problem des „Ensemble-Collapse", bei dem unabhängig trainierte Netze ähnliche Lösungen finden.

• Mechanismus: Es wird eine repulsive Wechselwirkung zwischen den Ensemble-Mitgliedern eingeführt, um Diversität zu erzwingen.
• Raum der Diversität: Die Autoren untersuchen zwei Varianten:
  1. Parameterraum: Repulsion zwischen den Gewichtsvektoren.
  2. Funktionsraum: Repulsion zwischen den Netzwerkausgaben (Strömungsfeldern).
• Ergebnis: Die Funktionsraum-Repulsion erweist sich als überlegen, da sie direkt die Vorhersagen diversifiziert und physikalisch sinnvolle Unsicherheiten erzeugt, während die Parameterraum-Repulsion bei großen Netzen oft ineffizient ist und nicht garantiert, dass die Funktionen unterschiedlich sind.

3. Wichtige Beiträge

1. Entwicklung eines RDE-Frameworks für PINNs: Einführung und Anpassung von repulsiven Deep Ensembles für Systeme von PDEs, speziell für die Inferenz von Reynolds-Spannungen und Mittelströmungen.
2. Vergleich von Repulsionsmechanismen: Systematische Demonstration, dass Repulsion im Funktionsraum für die UQ bei physikalisch informierten Modellen effektiver ist als im Parameterraum.
3. Verbesserte BPINN-Inferenz: Entwicklung einer BPINN mit temperierter multi-komponentiger Likelihood und Nachkalibrierung, die Sampling-Effizienz und Unsicherheitskalibrierung in stark unterbestimmten Szenarien verbessert.
4. Umfassender Benchmark: Evaluation an vier Testfällen: Van-der-Pol-Oszillator (didaktisches Beispiel), Strömung um einen Zylinder bei $Re=3.900$ (DNS-Daten) und $Re=10.000$ (experimentelle PIV-Daten).

4. Ergebnisse

Van-der-Pol-Oszillator

• BPINN: Lieferte die zuverlässigsten Ergebnisse mit gut kalibrierten Unsicherheiten (Abdeckung nahe 95 %).
• Funktionsraum-RDE: Erreichte eine gute Kalibrierung und war recheneffizienter als BPINN.
• Parameterraum-RDE & MC Dropout: Zeigten schlechtere Kalibrierung (Unterschätzung oder Überschätzung der Unsicherheit).
• Vanilla Deep Ensemble: Versagte komplett; alle Mitglieder kollabierten auf eine einzige Lösung, was zu einer Unsicherheit von Null führte.

Turbulente Strömung um einen Zylinder ($Re=3.900 & 10.000$)

• Vorhersagegenauigkeit: Sowohl BPINN als auch Funktionsraum-RDE rekonstruierten die Geschwindigkeitsfelder und Reynolds-Spannungen akkurat.
• Unsicherheitskalibrierung:
  • BPINN: Bietet die konsistentesten und am besten kalibrierten Unsicherheitsschätzungen für alle Größen, einschließlich des Drucks (der ohne direkte Daten nur über die Gleichungen inferiert wurde) und der Reynolds-Spannungen. Die Nachkalibrierung führte zu einer Abdeckung von ~95 %.
  • Funktionsraum-RDE: Bietet eine recheneffiziente Alternative mit guter Genauigkeit für primäre Variablen (Geschwindigkeit). Allerdings war die Unsicherheitskalibrierung für die komplexen Reynolds-Spannungsterme ($f_x, f_y$) weniger zuverlässig (Unterschätzung der Unsicherheit).
  • Druckfeld: BPINN konnte den Druck physikalisch konsistent und mit sinnvollen Unsicherheitsbändern rekonstruieren, obwohl keine Druckdaten vorhanden waren. RDE-PINN zeigte hier eine konservative, aber weniger präzise Kalibrierung.
• Vergleich mit Vanilla Ensemble: Ohne repulsive Terme kollabierten die Ensembles bei den Reynolds-Spannungen katastrophal (Abdeckung von nur 1,8 % für $f_y$), was die Notwendigkeit der Repulsion unterstreicht.

5. Bedeutung und Fazit

Die Arbeit liefert entscheidende Erkenntnisse für das datengetriebene Turbulenzmodellieren:

• Trade-off zwischen Genauigkeit und Kosten:
  • BPINN ist die Methode der Wahl, wenn Kalibrierungsgenauigkeit und Zuverlässigkeit der Unsicherheit kritisch sind (z. B. für Sicherheitsanalysen oder schlecht gestellte inverse Probleme), auch wenn sie rechenintensiver ist.
  • Funktionsraum-Repulsive Ensembles bieten eine hervorragende recheneffiziente Alternative mit hoher Vorhersagegenauigkeit für primäre Strömungsgrößen, sind jedoch bei der Kalibrierung komplexer Schließungsterme (Reynolds-Spannungen) noch nicht so robust wie BPINN.
• Praktische Leitlinie: Für Anwendungen, bei denen die Unsicherheit in den geschlossenen Termen (Reynolds-Stresses) kritisch ist, sollte BPINN bevorzugt werden. Für schnelle Design-Optimierungen, bei denen primäre Variablen im Fokus stehen, sind RDE-PINNs eine vielversprechende Option.
• Wissenschaftlicher Beitrag: Die Studie demonstriert, dass die Art der Diversitätserzwingung (Funktionsraum vs. Parameterraum) entscheidend für die Qualität der Unsicherheitsquantifizierung in physikalisch informierten Lernverfahren ist.

Zusammenfassend stellen die Autoren ein robustes Framework vor, das die Lücke zwischen deterministischem PINN-Training und einer verlässlichen, physikalisch konsistenten Unsicherheitsquantifizierung schließt.