Enhancing neural network extrapolation in thermo-fluid systems using steady-state solutions

Technische Samenvatting: Verbeteren van de extrapolatie van neurale netwerken in thermo-fluïdale systemen met behulp van stationaire oplossingen

Probleemstelling
Tijdsafhankelijke partiële differentiaalvergelijkingen (PDE's) die thermo-fluïdale systemen aansturen, zoals die in vermogenstransformatoren en gasturbines, vereisen vaak computationeel dure langetermulaties. Klassieke numerieke methoden (eindige verschillen, eindige volumes of eindige elementen) vertrouwen op sequentiële tijdstappen die beperkt worden door stabiliteit en nauwkeurigheid, waardoor het oplossen van langetermijndynamica prohibitief wordt wanneer de relaxatietijd van het systeem de toegestane tijdstap ver overschrijdt. Hoewel Physics-Informed Neural Networks (PINNs) een mesh-vrij alternatief bieden, falen standaardarchitecturen frequent bij het generaliseren buiten hun trainingsinterval. Ze missen de noodzakelijke inductieve bias om asymptotische afname te representeren, wat leidt tot een snelle degradatie van de nauwkeurigheid tijdens temporele extrapolatie. Deze beperking is cruciaal voor technische toepassingen waar het vastleggen van de volledige evolutie van initiële condities naar een stationair evenwicht noodzakelijk maar kostbaar is.

Methodologie
De auteurs stellen een "steady-state-geïnformeerde" neurale netwerkrepresentatie voor, ontworpen voor dissipatieve PDE-systemen die relaxeren naar een stationair evenwicht. De kerninnovatie is een oplossing-ansatz die de voorspelde oplossing $u(x, t)$ deelt in twee componenten:
$$u(x, t) = u_s(x) + f(t)g(x, t)$$
waarbij:

• $u_s(x)$ de stationaire component is, die het asymptotische evenwicht representeert.
• $f(t)$ een tijdsafhankelijk vervalprofiel is (bijv. exponentieel, algebraïsch of gedempt oscillerend) dat voldoet aan $\lim_{t\to\infty} f(t) = 0$.
• $g(x, t)$ een transiënte correctieterm is, begrensd in ruimte en tijd.

Deze decompositie embedt de convergentie naar de stationaire toestand direct in de netwerkarchitectuur in plaats van deze af te dwingen via een strafterm in de verliesfunctie. De stationaire component $u_s(x)$ kan worden geleverd vanuit klassieke solvers, experimentele data of een speciale sub-netwerk. Het vervalprofiel $f(t)$ kan een vast of een leerbaar parameter zijn (bijv. vervalsnelheid $\lambda$).

De implementatie maakt gebruik van een Physics-Informed Neural Network (PINN) framework getraind met de SOAP (Shampoo met Adam in de Eigenbasis van de Preconditioner) optimizer. SOAP is gekozen om de slecht geconditioneerde, multi-objectieve aard van de PINN-verlieslandschappen aan te pakken door de gradiëntconditiering te verbeteren en directionele conflicten tussen verliestermen te verminderen. De training volgt een tweefasige strategie:

1. Fase 1 (Stationair): Train sub-netwerken om $u_s(x)$ te benaderen met behulp van data of stationaire fysica-residuen.
2. Fase 2 (Transiënt): Bevries de gewichten van de stationaire toestand en train de resterende sub-netwerken om de transiënte correctie $g(x, t)$ te leren met behulp van tijdsafhankelijke physics-informed verliesfuncties.

Belangrijkste Bijdragen

• Architecturale Inductieve Bias: Het artikel introduceert een modulaire architectuur die asymptotische convergentie structureel afdwingt, waardoor het netwerk transiënte dynamica kan leren terwijl de juiste langetermijngedragingen gegarandeerd blijven.
• Optimalisatiestrategie: De toepassing van de SOAP-optimizer op PINNs voor thermo-fluïdale problemen, waarbij een verbeterde convergentie wordt aangetoond ten opzichte van standaard eerste-orde methoden zoals Adam.
• Temporele Profielanalyse: Een systematische evaluatie van verschillende temporele vervalprofielen (constant, exponentieel, algebraïsch, gedempt oscillerend) om de impact van deze op de extrapolatienauwkeurigheid te bepalen over variërende fysische regimes.

Resultaten
De methode werd geëvalueerd op een reeks problemen met toenemende complexiteit:

1. 1D Warmtevergelijking: De voorgestelde methode presteerde aanzienlijk beter dan standaard PINNs in extrapolatie. Een exponentieel vervalprofiel ($f(t) = e^{-\lambda t}$) leverde de laagste fout op, wat overeenkomt met de eigenmodale structuur van de warmtevergelijking. Standaard PINNs en de constante profiel-baseline vertoonden monotoon toenemende fouten tijdens extrapolatie.
2. 2D Lid-Driven Cavity (Navier-Stokes): De aanpak extrapoleerde succesvol snelheidvelden voorbij de trainingshorizon. Exponentiële en gedempt oscillerende profielen presteerden het best, waarbij de fouten begrensd en fysisch consistent bleven, zelfs op momenten die drie keer de trainingsduur bedroegen.
3. 2D Natuurlijke Convectie (Boussinesq): In een advectie-gedomineerd regime presteerde het gedempt oscillerende profiel ($f(t) = e^{-\lambda t}(a + \cos(\omega t))$) beter dan het zuivere exponentiële profiel. De extra amplitude-parameter $a$ maakte het mogelijk om de initiële transiënte magnitude te ontkoppelen van de vervalsnelheid, wat de snelle initiële fluctuaties voor het bezinken accommodeerde.
4. 3D Conjugate Heat Transfer: De methode werd toegepast op een complex 3D-systeem met vloeistof-vaste interfaces. Twee trainingsscenario's werden getest:
   • Pure PINN: Training van alle componenten met physics-informed verliesfuncties resulteerde in convergentie naar een foutieve stationaire toestand door onnauwkeurigheden in de geleerde stationaire component.
   • Hybride Aanpak: Het trainen van de stationaire sub-netwerken ($FNN_1, FNN_3$) met behulp van hoogwaardige Finite Element Method (FEM) data, terwijl de transiënte componenten met PINN-verliesfuncties werden getraind, verminderde de extrapolatiefout drastisch. Dit bevestigde dat de nauwkeurigheid van de uiteindelijke oplossing begrensd wordt door de nauwkeurigheid van de geleverde stationaire component.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage niet een nieuwe verliesfunctie of strafterm is, maar een steady-state-geïnformeerde representatie die asymptotisch gedrag direct in de architectuur van het neurale netwerk integreert. De auteurs stellen dat deze aanpak de temporele extrapolatie aanzienlijk verbetert vergeleken met architecturen die de asymptotische conditie niet expliciet afdwingen.

Het werk benadrukt dat hoewel standaard PINNs moeite hebben met langetermijndynamica, het exploiteren van de bekende structurele eigenschap van dissipatieve systemen (convergentie naar evenwicht) de creatie van robuuste surrogaten mogelijk maakt. De auteurs merken op dat deze methode bijzonder effectief is wanneer de stationaire oplossing bekend is of goedkoop berekend kan worden, en dient als een anker voor het voorspellen van de transiënte evolutie. De studie concludeert dat de selectie van een geschikt temporeel profiel cruciaal en probleemafhankelijk is, waarbij exponentiële en gedempt oscillerende profielen over het algemeen de meest robuuste prestaties bieden voor thermo-fluïdale toepassingen.