Neural-ISAM: A hybrid in-situ machine learning approach for complex manifold-based combustion models in LES of turbulent flames

Dieser Beitrag stellt Neural-ISAM vor, eine hybride In-situ-Machine-Learning-Methode, die ausgedünnte Bereiche adaptiver Tabellierungsdatenbanken dynamisch durch trainierte neuronale Netze ersetzt, um den Speicherbedarf bei gleichzeitiger Wahrung der Genauigkeit in Large-Eddy-Simulationen komplexer turbulenter Flammen erheblich zu reduzieren.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein komplexes, wirbelndes Feuer auf einem Supercomputer zu simulieren. Um dies genau zu tun, muss der Computer jede einzelne Sekunde die exakte Temperatur, die chemische Zusammensetzung und den Druck der Luft an Millionen winziger Punkte kennen.

Das Problem: Die „zu groß zum Tragen"-Bibliothek
Traditionell lösen Wissenschaftler dies, indem sie eine massive „Bibliothek" vorberechneter Antworten für jedes mögliche Szenario eines Feuers erstellen. Denken Sie dabei an eine riesige Enzyklopädie, bei der jede Seite einen anderen Feuerverlauf darstellt.

• Das Problem: Wenn die Feuermodelle realistischer werden (durch Hinzufügen von Ruß, Strahlung und komplexer Chemie), wird diese Enzyklopädie so riesig, dass sie nicht mehr in den Arbeitsspeicher des Computers passt. Es ist, als würde man versuchen, die gesamte Library of Congress im Rucksack zu tragen, während man einen Marathon läuft.

Die erste Lösung: Das „Just-in-Time"-Notizbuch (ISAM)
Um das Speicherproblem zu lösen, entwickelten Wissenschaftler eine Methode namens ISAM. Anstatt die gesamte Bibliothek mit sich zu führen, notiert der Computer nur die Antworten, die er tatsächlich während der Simulation benötigt. Er verwahrt diese Antworten in einem intelligenten, organisierten Notizbuch (einem binären Baum).

• Funktionsweise: Wenn der Computer eine Antwort benötigt, die er noch nie gesehen hat, berechnet er sie und schreibt sie auf. Wenn er später eine ähnliche Situation erkennt, nutzt er einen schnellen Abkürzungsweg (eine lineare Schätzung) basierend auf dem, was er notiert hat.
• Das neue Problem: Selbst dieses Notizbuch wird zu voll, wenn das Feuer sehr komplex ist. Der Computer bleibt erneut ohne Speicherplatz stecken.

Die neue Lösung: Der „intelligente Zusammenfasser" (Neural-ISAM)
Diese Arbeit stellt Neural-ISAM vor, einen hybriden Ansatz, der das „Just-in-Time"-Notizbuch mit Künstlicher Intelligenz (Neuronale Netze) kombiniert.

Hier ist die Analogie:
Stellen Sie sich vor, Ihr Notizbuch wird zu schwer. Sie entscheiden sich, einen intelligenten Assistenten (das Neuronale Netz) einzustellen, um bestimmte Kapitel Ihres Notizbuchs zusammenzufassen.

1. Suche nach Zusammenfassungen: Der Computer scannt sein Notizbuch, um Abschnitte zu finden, die mit Daten überfüllt sind (viele ähnliche Feuerverläufe).
2. Training des Assistenten: Für diese überfüllten Abschnitte nimmt der Computer die Daten und trainiert ein kleines, kompaktes KI-Modell, um dieses spezifische Kapitel zu „auswendig lernen".
3. Der Tausch: Sobald das KI-Modell trainiert ist, löscht der Computer die schweren Seiten des Notizbuchs für diesen Abschnitt und ersetzt sie durch das winzige KI-Modell.
   • Das Ergebnis: Das KI-Modell ist wie ein winziger USB-Stick, der dieselben Informationen enthält wie ein dicker Buchband. Dies verkleinert den Speicherbedarf drastisch.

Wie das Training funktioniert (Der „Sicherheitszone"-Trick)
Die Arbeit hebt einen cleveren Weg hervor, diese KI-Assistenten zu trainieren, ohne Millionen von Szenarien vorzuberechnen:

• Der Computer betrachtet die „Sicherheitszonen" (genannt Ellipsoide der Genauigkeit), die er bereits in seinem Notizbuch berechnet hat.
• Er generiert neue Trainingsdaten, indem er Punkte innerhalb dieser Sicherheitszonen abtastet.
• Da diese Punkte innerhalb der Sicherheitszonen liegen, muss der Computer keine teuren neuen Berechnungen durchführen; er nutzt einfach seine bestehenden Abkürzungen, um die Trainingsdaten zu generieren.
• Das KI-Modell lernt, das Verhalten des Notizbuchs in diesem spezifischen Bereich nachzuahmen, und anschließend werden die Notizbuchseiten gelöscht.

Die Ergebnisse: Was ist passiert?
Die Autoren testeten dies an zwei Arten turbulenter Flammen (Sandia-Flamme D und eine rußende Flamme).

• Speichereinsparungen:

  • Bei der einfacheren Flamme reduzierten sie die Speichernutzung um etwa 14 % bis 20 %.
  • Bei der komplexen „rußenden" Flamme (die mehr Variablen wie Ruß und Wärmeverlust aufweist) reduzierten sie den Speicherbedarf um 34 % bis 38 %.
  • Kritische Erkenntnis: Wenn sie versuchten, zu stark zusammenzufassen (zu aggressiv zu beschneiden), belegten die KI-Modelle tatsächlich mehr Platz als das ursprüngliche Notizbuch, da die Modelle zu komplex werden mussten. Sie mussten eine „Goldlöckchen"-Zone finden.

• Geschwindigkeit vs. Genauigkeit:

  • Genauigkeit: Die Ergebnisse waren sehr genau. Die KI-Zusammenfassungen stimmten mit den ursprünglichen Berechnungen fast perfekt überein, mit nur winzigen, kaum wahrnehmbaren Fehlern bei spezifischen chemischen Mengen.
  • Geschwindigkeit: Es gibt einen Kompromiss.
    • Training: Es dauert Zeit, die KI-Assistenten zu trainieren (der „Zusammenfassungs"-Schritt).
    • Ausführung: Sobald sie trainiert sind, dauert das Nachschlagen einer Antwort im KI-Modell etwas länger (etwa 10 Mikrosekunden) als das Nachschlagen im ursprünglichen Notizbuch (etwa 5 Mikrosekunden). Da das KI-Modell jedoch so viel kleiner ist, passt es in den schnellen Speicher des Computers und verhindert, dass die Simulation aufgrund von Platzmangel abstürzt.

Zusammenfassung
Neural-ISAM ist eine Methode, die es Wissenschaftlern ermöglicht, komplexe Feuersimulationen durchzuführen, die sonst zu groß für ihre Computer wären. Dies geschieht, indem der Computer eine Datenbank aufbaut, während er läuft, und dann regelmäßig die schwersten Teile dieser Datenbank durch winzige, trainierte KI-Modelle ersetzt. Dies spart enorme Mengen an Speicherplatz, ermöglicht realistischere Simulationen, erfordert jedoch etwas mehr Rechenleistung, um die KI-Modelle während der Simulation auszuführen.

Technische Zusammenfassung

Technische Zusammenfassung: Neural-ISAM

Problemstellung
Manifold-basierte Verbrennungsmodelle werden in Large-Eddy-Simulationen (LES) turbulenter Flammen weit verbreitet eingesetzt, um die Rechenkosten zu senken, indem thermochemische Zustände auf niedrigdimensionale Mannigfaltigkeiten projiziert werden. Traditionell stützen sich diese Modelle auf vorab berechnete und tabellierte Lösungen. Mit zunehmender Komplexität der Mannigfaltigkeit (z. B. höhere Dimensionen, komplexe Chemie, nicht-adiabatische Effekte) werden die Speicheranforderungen für diese Tabellen jedoch prohibitiv.

Alternative Ansätze umfassen die In-Situ Adaptive Tabulation (ISAT) und In-Situ Adaptive Manifolds (ISAM), die Datenbanken dynamisch während der Simulation aufbauen und nur tatsächlich auftretende Zustände speichern. Während ISAM den Speicherbedarf im Vergleich zur vollständigen Vortabellierung reduziert, kann der Speicherverbrauch bei komplexen Modellen dennoch übermäßig anwachsen. Umgekehrt bieten Methoden des maschinellen Lernens (ML), insbesondere neuronale Netze, speicherkompakte Darstellungen komplexer Funktionen. Standard-ML-Ansätze erfordern jedoch die vorab generierten Trainingsdatensätze, die den gesamten Parameterraum abdecken, was den Zweck der In-Situ-Effizienz bei hochdimensionalen Problemen untergräbt, bei denen nicht alle Zustände auftreten.

Methodik: Neural-ISAM
Diese Arbeit stellt Neural-ISAM vor, ein hybrides Framework, das adaptive Tabellierung mit In-Situ-Maschinellem Lernen koppelt, um die Speicherbeschränkungen von ISAM zu adressieren und gleichzeitig die Voraussetzungen für Vorberechnungen bei Standard-ML zu umgehen. Die Methode funktioniert wie folgt:

1. Initiale ISAM-Operation: Die Simulation beginnt mit dem Standard-ISAM-Ansatz, wobei ISAT Mannigfaltigkeitslösungen in einer binären Baumstruktur speichert. Jedes Blatt enthält eine Lösung, ihre Jacobi-Matrix und eine Genauigkeitsellipsoide (EOA), die den Bereich definiert, in dem eine lineare Extrapolation gültig ist.
2. Identifikation von Beschneidungskandidaten: Periodisch wird der binäre Baum durchlaufen, um Kandidatenknoten für das Beschneiden (Pruning) zu identifizieren. Ein Knoten wird ausgewählt, wenn er zwei vom Benutzer festgelegte Schwellenwerte erfüllt:
   • Abdeckungsdichte ($\rho$): Eine Metrik, die die Dichte der EOAs innerhalb des Bereichs eines Knotens relativ zum Volumen des umschließenden Kastens quantifiziert. Eine hohe Dichte gewährleistet ausreichende Trainingsdaten.
   • Blattanzahl ($N_L$): Eine Mindestanzahl von Blättern unterhalb des Knotens, um sicherzustellen, dass der beschneidete Bereich signifikant genug ist, um einen Ersatz zu rechtfertigen.
3. In-Situ-Generierung von Trainingsdaten: Für ausgewählte Kandidatenknoten werden Trainingsdaten generiert, indem zufällige Punkte innerhalb des Achsen-ausgerichteten umschließenden Kastens (AABB) des Knotens gesampelt werden. Punkte werden nur akzeptiert, wenn sie innerhalb einer EOA eines Blattes unterhalb des Kandidatenknotens liegen. Dies ermöglicht die Generierung von Trainingsdaten durch lineare Extrapolation aus vorhandenen Blättern, ohne dass neue explizite Mannigfaltigkeitsberechnungen erforderlich sind.
4. Training neuronaler Netze:
   • Datentransformation: Thermochemische Profile werden transformiert, indem mittlere Profile subtrahiert und die Residuen durch die Standardabweichung skaliert werden. Für nicht-adiabatische Fälle mit Wärmeverlust wird eine inverse hyperbolische Sinus-Skalierung ($\text{arcsinh}$) angewendet, um große dynamische Bereiche zu handhaben.
   • Architektur-Optimierung: Bayesian Optimization wird verwendet, um die Anzahl der Schichten und einen Expansionsfaktor zu optimieren, der die Neuronenzahl pro Schicht bestimmt.
   • Ersatz: Sobald das Training abgeschlossen ist, wird die binäre Baumstruktur unterhalb des Kandidatenknotens entfernt (beschneidet), und das trainierte neuronale Netz wird diesem Knoten zugewiesen. Zukünftige Abfragen in diesem Bereich werden durch die Auswertung des neuronalen Netzes statt durch das Durchlaufen des Baums gelöst.

Hauptbeiträge

• Hybrides Framework: Die Entwicklung von Neural-ISAM, das Teile einer ISAT-Datenbank dynamisch durch neuronale Netze ersetzt und so die „Lernen-während-des-Prozesses"-Fähigkeit von ISAT mit der Speicherkompaktheit neuronaler Netze effektiv kombiniert.
• In-Situ-Trainingsstrategie: Eine neuartige Methode zur Generierung von Trainingsdaten ohne Vorberechnung, die die bestehende ISAT-Struktur nutzt, um Datenpunkte in spezifischen Bereichen des Mannigfaltigkeitsraums zu sampeln und zu validieren.
• Adaptive Beschneidungskriterien: Die Einführung von Schwellenwerten für Abdeckungsdichte und Blattanzahl, um optimale Bereiche für das Beschneiden zu bestimmen und dabei Speicherreduktion gegen Vorhersagegenauigkeit abzuwägen.

Ergebnisse
Die Methode wurde mittels LES zweier turbulenter Flammen evaluiert: Sandia Flame D (nicht-vorgemischt, 1D-Mannigfaltigkeitseingabe) und die Sandia Sooting Flame (nicht-adiabatisch, Rußbildung, 2D-Mannigfaltigkeitseingabe).

• Speicherreduktion:
  • Bei Sandia Flame D reduzierte das Beschneiden den Datenbank-Speicherbedarf um 14–20 %, abhängig von den Schwellenwerten.
  • Bei der komplexeren Sandia Sooting Flame erreichten hohe Schwellenwerte ($N_{L,thresh} = 350$) eine Speicherreduktion von etwa 34–38 %. Die Festlegung von $N_{L,thresh}$ zu niedrig (z. B. 90) führte jedoch zu einem erhöhten Speicherbedarf aufgrund des Overheads zahlreicher kleiner neuronaler Netze.
• Genauigkeit:
  • Bedingte Statistiken für Temperatur und Massenkonzentrationen der Spezies stimmten im Allgemeinen mit den Baseline-ISAM-Ergebnissen überein.
  • Bei aggressivem Beschneiden wurden leichte Unterschätzungen für $Y_{OH}$ und $Y_{CO}$ beobachtet.
  • Bei der Sooting-Flamme verschlechterte sich die Genauigkeit für den Wärmeverlust-Parameter ($H$) in Bereichen mit spärlichen Trainingsdaten (zwischen EOAs), insbesondere bei Verwendung niedriger Abdeckungsdichte-Schwellenwerte. Höhere Abdeckungsdichte-Schwellenwerte ($\rho_{thresh} = 0,8$) verbesserten die Genauigkeit, reduzierten jedoch die Anzahl der beschneideten Bereiche.
• Rechenleistung:
  • Training: Die Trainingszeit war signifikant, aber handhabbar und skalierte mit der Anzahl der trainierten neuronalen Netze (höher bei niedrigerem $N_{L,thresh}$).
  • Laufzeit: Nach dem Beschneiden erhöhte sich die Zeit pro Zeitschritt im Vergleich zur Baseline-ISAM leicht. Dies liegt daran, dass eine einzelne Auswertung eines neuronalen Netzes (10 $\mu$s) rechnerisch teurer ist als eine primäre ISAT-Abfrage durch lineare Extrapolation (5 $\mu$s). Die Zunahme der Zeitschrittdauer korrelierte mit der Anzahl der pro Schritt erforderlichen Auswertungen neuronaler Netze.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Neural-ISAM erfolgreich den Kompromiss zwischen Speicherverbrauch und Modellkomplexität in der manifold-basierten Verbrennungsmodellierung adressiert. Sie zeigt, dass der Ersatz von Teilen adaptiver Tabellierungsdatenbanken durch neuronale Netze die Speicherfußabdrücke erheblich reduzieren kann, insbesondere für komplexe, hochdimensionale Mannigfaltigkeiten, bei denen traditionelle Tabellierung versagt.

Die Autoren vermerken bescheiden, dass zwar der Speicher reduziert wird, jedoch mit den Auswertungen neuronaler Netze ein Rechenkostenfaktor verbunden ist. Sie identifizieren, dass die Vorhersagegenauigkeit in Bereichen mit spärlichen Daten (zwischen EOAs) leiden kann, was darauf hindeutet, dass zukünftige Arbeiten erforderlich sind, um die Modellleistung in diesen spezifischen Bereichen zu verbessern und die Auswertungsgeschwindigkeit der neuronalen Netze innerhalb des ISAT-Frameworks zu optimieren. Die Methode wird als ein gangbarer Weg nach vorne für die Simulation zunehmend komplexer Verbrennungssysteme ohne die prohibitiven Speicherkosten der vollständigen Vortabellierung oder die Voraussetzungen für Vorberechnungen bei Standard-ML-Ansätzen präsentiert.