Enhancing neural network extrapolation in thermo-fluid systems using steady-state solutions

Technische Zusammenfassung: Verbesserung der Extrapolation neuronaler Netze in Thermo-Fluid-Systemen unter Verwendung von stationären Lösungen

Problemstellung
Zeitabhängige partielle Differentialgleichungen (PDEs), die Thermo-Fluid-Systeme steuern – wie sie beispielsweise in Leistungstransformatoren und Gasturbinen vorkommen – erfordern oft rechenintensive Langzeitsimulationen. Klassische numerische Verfahren (Finite-Differenzen-, Volumen- oder Elementeverfahren) stützen sich auf sequenzielle Zeitschritte, die durch Stabilität und Genauigkeit begrenzt sind, was die Auflösung von Langzeitdynamiken, bei denen die Relaxationszeit des Systems die zulässige Zeitschrittweite weit übersteigt, prohibitiv teuer macht. Während Physics-Informed Neural Networks (PINNs) eine gitterfreie Alternative bieten, versagen Standardarchitekturen häufig bei der Generalisierung über ihr Trainingszeitintervall hinaus. Ihnen fehlt der notwendige induktive Bias, um asymptotisches Abklingen darzustellen, was zu einer schnellen Degradation der Genauigkeit während der zeitlichen Extrapolation führt. Diese Einschränkung ist entscheidend für ingenieurtechnische Anwendungen, bei denen die Erfassung der vollständigen Entwicklung von den Anfangsbedingungen bis zum stationären Gleichgewicht notwendig, aber kostspielig ist.

Methodik
Die Autoren schlagen eine „stationär-informierte“ neuronale Netzrepräsentation vor, die für dissipative PDE-Systeme entwickelt wurde, welche gegen ein stationäres Gleichgewicht relaxieren. Die Kerninnovation ist ein Lösungsansatz, der die vorhergesagte Lösung $u(x, t)$ in zwei Komponenten zerlegt:
$$u(x, t) = u_s(x) + f(t)g(x, t)$$
wobei:

• $u_s(x)$ die stationäre Komponente ist, welche das asymptotische Gleichgewicht repräsentiert.
• $f(t)$ ein zeitabhängiges Zerfallsprofil (z. B. exponentiell, algebraisch oder gedämpft oszillierend) ist, das $\lim_{t\to\infty} f(t) = 0$ erfüllt.
• $g(x, t)$ ein transienter Korrekturterm ist, der im Raum und in der Zeit beschränkt ist.

Diese Zerlegung bettet die Konvergenz gegen den stationären Zustand direkt in die Architektur des Netzwerks ein, anstatt sie über einen Strafterm in der Verlustfunktion zu erzwingen. Die stationäre Komponente $u_s(x)$ kann aus klassischen Lösern, experimentellen Daten oder einem dedizierten Sub-Netzwerk bereitgestellt werden. Das Zerfallsprofil $f(t)$ kann fest vorgegeben oder als trainierbarer Parameter (z. B. Zerfallsrate $\lambda$) definiert sein.

Die Implementierung nutzt ein Physics-Informed Neural Network (PINN)-Framework, das mit dem SOAP (Shampoo with Adam in the Preconditioner's Eigenbasis)-Optimizer trainiert wird. SOAP wurde ausgewählt, um die schlecht konditionierte, multiobjektive Natur der PINN-Verlustlandschaften zu adressieren, indem die Gradientenkonditionierung verbessert und Richtungskonflikte zwischen den Verlusttermen reduziert werden. Das Training folgt einer Zwei-Phasen-Strategie:

1. Phase 1 (Stationär): Training von Sub-Netzwerken zur Approximation von $u_s(x)$ unter Verwendung von Daten oder stationären Physik-Residuen.
2. Phase 2 (Transient): Einfrieren der Gewichte des stationären Teils und Training der verbleibenden Sub-Netzwerke, um die transiente Korrektur $g(x, t)$ unter Verwendung zeitabhängiger, physik-informierter Verluste zu lernen.

Wesentliche Beiträge

• Architektonischer induktiver Bias: Die Arbeit führt eine modulare Architektur ein, die die asymptotische Konvergenz strukturell erzwingt, wodurch das Netzwerk in der Lage ist, transiente Dynamiken zu lernen und gleichzeitig das korrekte Langzeitverhalten zu garantieren.
• Optimierungsstrategie: Die Anwendung des SOAP-Optimierers auf PINNs für Thermo-Fluid-Probleme, was eine verbesserte Konvergenz gegenüber Standard-First-Order-Methoden wie Adam demonstriert.
• Analyse der zeitlichen Profile: Eine systematische Evaluierung verschiedener zeitlicher Zerfallsprofile (konstant, exponentiell, algebraisch, gedämpft oszillierend), um deren Einfluss auf die Extrapolationsgenauigkeit über variierende physikalische Regime hinweg zu bestimmen.

Ergebnisse
Die Methode wurde an einer Sequenz von Problemen mit zunehmender Komplexität evaluiert:

1. 1D-Wärmegleichung: Die vorgeschlagene Methode übertraf Standard-PINNs in der Extrapolation signifikant. Ein exponentielles Zerfallsprofil ($f(t) = e^{-\lambda t}$) lieferte den geringsten Fehler, was mit der Eigenmodenstruktur der Wärmegleichung übereinstimmt. Standard-PINNs und die Baseline mit konstantem Profil zeigten monoton ansteigende Fehler während der Extrapolation.
2. 2D Lid-Driven Cavity (Navier-Stokes): Der Ansatz extrapolierte Geschwindigkeitsfelder erfolgreich über den Trainingshorizont hinaus. Exponentielle und gedämpft oszillierende Profile schnitten am besten ab, wobei die Fehler selbst bei Zeiten, die das Dreifache der Trainingsdauer betrugen, beschränkt und physikalisch konsistent blieben.
3. 2D Natürliche Konvektion (Boussinesq): In einem advektionsdominierten Regime übertraf das gedämpft oszillierende Profil ($f(t) = e^{-\lambda t}(a + \cos(\omega t))$) das rein exponentielle Profil. Der zusätzliche Amplitudenparameter $a$ ermöglichte es dem Modell, die anfängliche transiente Magnitude vom Zerfallsrate zu entkoppeln, um die schnellen anfänglichen Fluktuationen vor der Beruhigung zu berücksichtigen.
4. 3D Konjugierte Wärmeübertragung: Die Methode wurde auf ein komplexes 3D-System mit Fluid-Festkörper-Grenzflächen angewendet. Zwei Trainingsszenarien wurden getestet:
   • Reines PINN: Das Training aller Komponenten mit physik-informierten Verlusten führte aufgrund von Ungenauigkeiten in der gelernten stationären Komponente zur Konvergenz gegen einen fehlerhaften stationären Zustand.
   • Hybrider Ansatz: Das Training der stationären Sub-Netzwerke ($FNN_1, FNN_3$) unter Verwendung hochpräziser Finite-Elemente-Methode (FEM)-Daten, während die transienten Komponenten mit PINN-Verlusten trainiert wurden, reduzierte den Extrapolationsfehler drastisch. Dies bestätigte, dass die Genauigkeit der Endlösung durch die Genauigkeit der bereitgestellten stationären Komponente begrenzt ist.

Bedeutung und Behauptungen
Das Papier behauptet, dass der primäre Beitrag nicht eine neue Verlustfunktion oder ein Strafterm ist, sondern eine stationär-informierte Repräsentation, die das asymptotische Verhalten direkt in die Architektur des neuronalen Netzes integriert. Die Autoren behaupten, dass dieser Ansatz die zeitliche Extrapolation im Vergleich zu Architekturen, die den stationären Zustand nicht explizit erzwingen, erheblich verbessert.

Die Arbeit hebt hervor, dass, während Standard-PINNs Schwierigkeiten mit Langzeitdynamiken haben, die Nutzung der bekannten strukturellen Eigenschaft dissipativer Systeme (Konvergenz gegen das Gleichgewicht) die Erstellung robuster Surrogatmodelle ermöglicht. Die Autoren merken an, dass diese Methode besonders effektiv ist, wenn die stationäre Lösung bekannt oder kostengünstig berechenbar ist und somit als Anker für die Vorhersage der transienten Entwicklung dient. Die Studie kommt zu dem Schluss, dass die Auswahl eines geeigneten zeitlichen Profils kritisch und problemabhängig ist, wobei exponentielle und gedämpft oszillierende Profile im Allgemeinen die robusteste Leistung für Thermo-Fluid-Anwendungen bieten.