Physics Informed Neural Network using Finite Difference Method

Titel: Physics Informed Neural Network met behulp van de Finite Difference Methode

1. Probleemstelling

Physics-Informed Neural Networks (PINN) zijn een recente ontwikkeling die diep leren combineert met de onderliggende fysica van engineeringssystemen, vaak uitgedrukt via partiële differentiaalvergelijkingen (PDE's). Traditioneel worden PINN's getraind met behulp van automatische differentiatie (AD) om de afgeleiden in de PDE-verliesfunctie te berekenen.

De auteurs identificeren echter enkele beperkingen van AD-gebaseerde PINN's:

• Rekenkosten: AD kan rekenintensief zijn en vereist vaak GPU's voor efficiëntie.
• Accuraatheid: Bij een kleiner aantal collocatiepunten (collocation points) kan de nauwkeurigheid afnemen.
• Convergentie: Er is theoretisch weinig bewijs dat AD-gebaseerde methoden altijd convergeren.
• Complexiteit: AD fungeert vaak als een "black-box", wat de implementatiecomplexiteit verhoogt.

Hoewel er eerdere studies zijn die numerieke differentiatie (ND) gebruiken, zijn deze vaak hybride (gebruikmakend van zowel AD als ND) of beperkt tot eerste-orde PDE's. De auteurs willen een methode onderzoeken die volledig vrij is van automatische differentiatie voor het trainen van de PDE-verliesfunctie.

2. Methodologie

De kern van de voorgestelde methode, FDM-PINN, is het vervangen van automatische differentiatie door de Finite Difference Methode (FDM) om de PDE-residuen (verliesfuncties) te schatten.

• Decoupling van de PDE-oplosser: De auteurs splitsen de PDE-oplosser los van de verliesfunctie van het neurale netwerk. In plaats van dat het netwerk zelf de afgeleiden berekent via backpropagation, wordt de PDE geapproximeerd als een lokale filteroperatie op de uitgang van het netwerk.
• Implementatie voor Laplace-vergelijking:
  • Voor Laplace's vergelijking (gebruikt in elektromagnetische systemen) wordt de PDE geapproximeerd als het gemiddelde van de buren van een knooppunt.
  • Dit is wiskundig identiek aan de Successive Over-Relaxation (SOR) algoritme en lijkt op de Laplace-filter in beeldverwerking.
  • De verliesfunctie wordt berekend als het kwadraat van dit residu: $L_f = \frac{1}{M} \sum |f(u)|^2$.
• Implementatie voor Burger's vergelijking:
  • Voor Burger's vergelijking (gebruikt in stromingsmechanica) worden eerste- en tweede-orde partiële afgeleiden ($u_t, u_x, u_{xx}$) benaderd met standaard FDM-formules (zoals centrale differenties).
  • De complexe PDE wordt zo omgezet in een algebraïsche uitdrukking die direct op de netwerkuitgang kan worden toegepast.
• Gewichtsupdate:
  • De totale verliesfunctie is $L_{PINN} = L_\mu + \lambda L_f$, waarbij $L_\mu$ de Mean Square Error (MSE) is voor de data-gedreven delen en $L_f$ de physics-informed verliesfunctie.
  • Voor het trainen wordt de kettingregel toegepast: $\nabla L_f = \frac{\delta L_f}{\delta \Gamma} \times \frac{\delta \Gamma}{\delta V}$.
  • Een belangrijke aanname is dat $\frac{\delta \Gamma}{\delta V}$ (de gradiënt van het lokale oppervlak) als een constante wordt behandeld voor tractabiliteit, waardoor geen AD nodig is voor de PDE-component.

3. Belangrijkste Bijdragen

1. Volledig AD-vrij trainen: Het is de eerste methode die de PDE-verliesfunctie volledig berekent met numerieke differentiatie (FDM), zonder enige afhankelijkheid van automatische differentiatie libraries voor de PDE-residuen.
2. Eenvoudige Implementatie: De methode vereist geen geavanceerde AD-bibliotheken; de PDE wordt benaderd als een simpele convolutie of lokale gemiddelde-operatie.
3. Efficiëntie: De methode is ontworpen om rekenkosten te verlagen en werkt goed op CPU's, zonder de noodzaak van GPU's.
4. Validatie op complexe PDE's: De methode wordt succesvol getest op zowel een lineaire PDE (Laplace) als een niet-lineaire PDE (Burger's vergelijking), wat een uitbreiding is ten opzichte van eerdere ND-PINN studies die vaak beperkt waren tot eerste-orde vergelijkingen.

4. Resultaten

De auteurs vergeleken hun FDM-PINN met een standaard Neuraal Netwerk (NN) (alleen MSE) en een AD-PINN (standaard implementatie) op twee datasets:

• Burger's Vergelijking:
  • FDM-PINN presteerde significant beter dan een standaard NN.
  • FDM-PINN was op gelijke hoogte of beter dan AD-PINN in termen van foutreductie (L2-fout), zelfs bij een laag aantal collocatiepunten.
  • Rekentijd: FDM-PINN was ongeveer 5 keer sneller dan AD-PINN, ondanks dat AD-PINN op een GPU draaide en FDM-PINN op een CPU.
• Laplace's Vergelijking (Rechthoekige geleidende trog):
  • FDM-PINN overtrof zowel NN als AD-PINN aanzienlijk in nauwkeurigheid.
  • AD-PINN toonde inconsistente resultaten bij bepaalde steekproefgroottes, terwijl FDM-PINN robuuster bleek.
  • De uitvoeringstijd van FDM-PINN was licht sneller dan die van AD-PINN (met GPU).

Conclusie van de resultaten: FDM-PINN biedt een betere of vergelijkbare nauwkeurigheid met een aanzienlijk lagere rekenkost, vooral bij beperkte datasets (weinig collocatiepunten).

5. Betekenis en Toekomstperspectief

Deze studie toont aan dat het gebruik van klassieke numerieke methoden (FDM) binnen het kader van modern deep learning (PINN) zeer effectief kan zijn.

• Significantie: Het biedt een alternatief voor de "black-box" van automatische differentiatie, wat de implementatiekosten verlaagt en de methode toegankelijker maakt voor systemen zonder krachtige GPU's.
• Beperkingen: De huidige methode vereist dat collocatiepunten op een vast rooster (grid) worden gedefinieerd. Daarnaast is de exacte berekening van de gradiënt van het lokale oppervlak ($\delta \Gamma / \delta u$) nog niet volledig opgelost (gebaseerd op een constante aanname).
• Toekomst: De auteurs suggereren het onderzoeken van Markov-random field benaderingen voor de PDE-oplosser en het uitbreiden van de architectuur naar 2D-convolutionele neurale netwerken (CNN's) om de grid-afhankelijkheid te overwinnen.

Samenvattend bewijst dit artikel dat FDM een krachtig, snel en nauwkeurig alternatief is voor AD in PINN's, met name voor toepassingen waar rekenkosten een beperkende factor zijn.