MATLAB-Based Layerwise Self-Adaptive Physics-Informed Neural Network in Applications to Multidimensional Coupled Burgers' Equations with High Reynolds Numbers

Technische Samenvatting: MATLAB-gebaseerde Laagspecifieke Zelfadaptieve Physics-Informed Neural Network voor Multidimensionale Gekoppelde Burgers-vergelijkingen

Probleemstelling
Het artikel behandelt de computationele uitdagingen die gepaard gaan met het simuleren van de spatio-temporele oplossingsprofielen van multidimensionale gekoppelde Burgers-vergelijkingen (MCBE's) bij hoge Reynoldsgetallen. Naarmate de tijd vordert, genereren deze vergelijkingen scherpe schokfronten en steile oplossingsgradiënten. Conventionele roostergebaseerde numerieke methoden, zoals eindige verschillen en eindige elementen, hebben moeite met deze kenmerken vanwege slechte stabiliteit, sterke roosterafhankelijkheid en de computationele beperkingen van de "vloek van dimensionaliteit" wanneer extreem fijne roosters vereist zijn. Bovendien falen standaard Physics-Informed Neural Networks (PINNs) vaak bij het oplossen van deze hoog-Reynolds-getal problemen omdat de dominante convectieve termen een "stijf" verlieslandschap creëren. Deze stijfheid zorgt ervoor dat optimalisaties vastlopen in lokale minima, waardoor het netwerk niet in staat is de scherpe gradiënten die kenmerkend zijn voor de oplossing nauwkeurig te vatten.

Methodologie
De auteurs stellen een verbeterd framework voor genaamd LSAAL-PINN (Layerwise Self-Adaptive PINN getraind met Adam en L-BFGS). De methodologie is geïmplementeerd in MATLAB met behulp van de Deep Learning Toolbox voor automatische differentiatie en is ontworpen om $d$-dimensionale CBE's ($d=1, 2, 3$) op te lossen.

Belangrijke methodologische componenten zijn:

1. Netwerkarchitectuur: Een Diep Neuraal Netwerk (DNN) benadert de oplossing $u(x, t)$. Het netwerk maakt gebruik van een feedforward-structuur met $k$ verborgen lagen, waarbij de hyperbooltangens ($\tanh$) activatiefunctie wordt gebruikt om de gladheid te garanderen die vereist is voor het berekenen van hogere-orde afgeleiden via automatische differentiatie.
2. Laagspecifieke Zelfadaptieve Weging: In tegen tegenstelling tot standaard PINNs die vaste gewichten gebruiken voor verschillende verliescomponenten, hanteert dit framework een dynamische strategie. De totale verliesfunctie $L(\theta, \lambda)$ is een gewogen som van de PDE-residuele ($L_{PDE}$), de initiële conditie-residuele ($L_{IC}$) en de randvoorwaardelijke residuele ($L_{BC}$). De gewichten $\lambda = [\lambda_{PDE}, \lambda_{IC}, \lambda_{BC}]$ zijn trainbare parameters die via gradiëntascens worden bijgewerkt om de totale loss te maximaliseren, wat ervoor zorgt dat geen enkel residu-term het trainingsproces domineert. Deze gewichten worden door een logaritmische transformatie gemapt om strikte positiviteit en numerieke stabiliteit te behouden.
3. Dual-Phase Optimalisatie: Het trainingsproces maakt gebruik van een twee-fasen strategie:
   • Fase 1 (Globale Optimalisatie): De netwerkparameters $\theta$ en de adaptieve gewichten $\lambda$ worden iteratief bijgewerkt met de Adam-optimizer.
   • Fase 2 (Verfijning): De adaptieve gewichten $\lambda$ worden bevroren, en de optimalisatie gaat over naar het tweede-orde L-BFGS algoritme om de oplossing te verfijnen en de convergentie naar een voorgeschreven tolerantie te versnellen.
4. Sampling: Om steile gradiënten effectief te vangen, gebruikt het framework Latin Hypercube Sampling (LHS) om collocatiepunten te genereren, waardoor punten nabij transitiegebieden worden verdeeld.

Belangrijke Bijdragen en Experimentele Opstelling
De studie introduceert het LSAAL-PINN framework en valideert de effectiviteit ervan door het te vergelijken met twee baseline varianten:

• AL-PINN: Standaard PINN met Adam en L-BFGS optimizers, maar zonder zelfadaptieve weging.
• A-PINN: Standaard PINN getraind met enkel de Adam optimizer.

De auteurs hebben numerieke experimenten uitgevoerd op 1D, 2D en 3D gekoppelde Burgers-vergelijkingen met hoge Reynoldsgetallen (lage viscositeit $\nu$). De nauwkeurigheid werd gemeten met behulp van de relatieve $L_2$-foutnorm.

Resultaten

• 1D Burgers-vergelijking: De LSAAL-PINN behaalde een relatieve $L_2$-fout van $1.79 \times 10^{-4}$, waarmee het AL-PINN ($3.10 \times 10^{-4}$) en A-PINN ($8.65 \times 10^{-3}$) overtrof. De resultaten toonden aan dat LSAAL-PINN het meest precies overeenkwam met de exacte oplossing, met name bij het schokfront.
• 2D Gekoppelde Burgers-vergelijkingen (Hoog Reynoldsgetal): Voor $\nu = 0.0001$ leverde de LSAAL-PINN resultaten die ongeveer 8 keer nauwkeuriger waren dan AL-PINN en 1385 keer nauwkeuriger dan A-PINN voor de snelheidcomponent $v$ bij $t=1$. De A-PINN slaagde er niet in de schokachtige discontinuïteit te vangen, terwijl de LSAAL-PINN de steile gradiënten succesvol oploste.
• 3D Gekoppelde Burgers-vergelijkingen: De LSAAL-PINN leverde consistent de laagste $L_2$-fouten over verschillende tijdstappen vergeleken met de andere varianten. Het framework loste ook 3D CBE's op met een Reynoldsgetal van $Re=100$, waarbij de nauwkeurigheid in de orde van grootte van $10^{-3}$ werd behouden.
• Convergentiegedrag: Loss-plots gaven aan dat terwijl A-PINN stagneerde of oscilleerde, de dual-phase optimalisatie (Adam gevolgd door L-BFGS) in zowel AL-PINN als LSAAL-PINN leidde tot een significante reductie van de loss. De toevoeging van zelfadaptieve weging in LSAAL-PINN minimaliseerde de totale loss verder vergeleken met AL-PINN.

Betekenis en Claims
Het artikel claimt dat de integratie van een laagspecifieke zelfadaptieve wegingsstrategie met een dual-phase optimalisatie-aanpak voldoende is om steile gradiënt-oplossingsprofielen in MCBE's te vangen zonder dat daarvoor computationeel dure puntgewijze wegingsstrategieën nodig zijn. De auteurs stellen dat dit framework effectiever, nauwkeuriger en robuuster is dan standaard PINNs voor het simuleren van spatio-temporele dynamica in stromingen met een hoog Reynoldsgetal.

De studie benadrukt dat hoewel de bestaande literatuur zich grotendeels heeft gericht op 1D Burgers-vergelijkingen bij gematigde Reynoldsgetallen (vaak in Python), dit werk het veld vooruit helpt door succesvol 2D en 3D CBE's met hoge Reynoldsgetallen op te lossen met een MATLAB-gebaseerde implementatie. De auteurs concluderen dat het voorgestelde framework effectief de stijfheid van het verlieslandschap aanpakt, wat nauwkeurige voorspelling van scherpe schokfronten mogelijk maakt waar standaard methoden moeite mee hebben. Toekomstig werk wordt gesuggereerd om dit framework uit te breiden naar andere uitdagende tijd-afhankelijke PDE's.