A PINNs approach for the computation of eigenvalues in elliptic problems

Probleemstelling

Het artikel adresseert de uitdaging om eigenwaarden en eigenfuncties van elliptische partiële differentiaalvergelijkingen (PDE's) te berekenen, met name in de context van quantummechanica en fysica (bijvoorbeeld het Schrödinger-vergelijking). Traditionele numerieke methoden, zoals eindige-elementenmethoden (FEM) of eindige-differentiemethoden, zijn vaak afhankelijk van een mesh en kunnen computatiever intensief worden in hogere dimensies.

Bestaande benaderingen met Physics-Informed Neural Networks (PINNs) voor eigenwaardeproblemen hebben twee belangrijke beperkingen:

1. Sequentiële aard: Ze vereisen vaak dat lagere eigenwaarden eerst worden berekend voordat hogere eigenwaarden kunnen worden gevonden (via orthogonalisatie).
2. Beperking bij niet-lineariteit: Ze zijn moeilijk uit te breiden naar niet-lineaire problemen (zoals die met de $p$-Laplace-operator), omdat de orthogonaliteitseigenschappen van eigenfuncties in niet-lineaire gevallen niet langer gelden.

Methodologie

De auteurs stellen een nieuwe, niet-sequentiële methode voor die gebruikmaakt van Deep Learning. In plaats van de Rayleigh-kwotiënt te minimaliseren (wat leidt tot de laagste eigenwaarde), definiëren zij een specifieke verliesfunctie (loss function) die direct de vergelijking zelf minimaliseert voor een gegeven parameter $E$.

De kern van de methode:

1. Verliesfunctie: Voor een gegeven eigenwaarde-parameter $E$ wordt de volgende verliesfunctie gedefinieerd:
   $$\Lambda(u, E) = \frac{\int (\Delta u - V(x)u + Eu)^2 dx}{\int u^2 dx}$$
   Hierbij is $u$ de uitgang van het neurale netwerk en $V(x)$ het potentiaalveld.
2. Loss Curve: Voor een vastgestelde $E$ wordt het netwerk getraind om $\Lambda(u, E)$ te minimaliseren ten opzichte van $u$. Dit resulteert in een waarde $\Lambda(E) = \inf_u \Lambda(u, E)$.
3. Identificatie van Eigenwaarden: De auteurs tonen aan dat $\Lambda(E)$ theoretisch een bovengrens heeft van $(E_k - E)^2$, waarbij $E_k$ de exacte eigenwaarden zijn. Door het interval van mogelijke $E$-waarden te discretiseren en voor elk punt het netwerk te trainen, ontstaan lokale minima in de verliescurve. De $E$-waarden waar deze minima optreden, corresponderen met de eigenwaarden van het probleem.
4. Implementatie Details:
   • Netwerkarchitectuur: Een volledig verbonden feedforward-neuraal netwerk (MLP) met 3 verborgen lagen (128 neuronen per laag) en $tanh$-activeringsfuncties.
   • Randvoorwaarden: Homogene Dirichlet-randvoorwaarden ($u=0$ op $\partial\Omega$) worden opgelegd door de ruwe output van het netwerk te vermenigvuldigen met een randafstandsfunctie $B(x)$ (waarbij $B(x)=0$ op de rand).
   • Normalisatie: Een strafterm (penalty term) wordt toegevoegd aan de verliesfunctie om te garanderen dat $\|u\|_2 = 1$ (of $\|u\|_p=1$ voor niet-lineaire gevallen).
   • Integratie: Integralen worden benaderd via Monte Carlo-sampling.

Belangrijkste Bijdragen

1. Onafhankelijkheid van Lagere Eigenwaarden: De methode maakt het mogelijk om willekeurige eigenwaarden (ook hogere orde) te berekenen zonder eerst de lagere eigenwaarden te hoeven kennen. Dit doorbreekt de sequentiële beperking van eerdere PINN-benaderingen.
2. Dimensie-onafhankelijkheid: De aanpak werkt effectief in hoge ruimtelijke dimensies (tot 4D in de experimenten), waar mesh-gebaseerde methoden vaak falen door de "curse of dimensionality".
3. Toepasbaarheid op Niet-lineaire Problemen: De methode is succesvol toegepast op de $p$-Laplace-operator. Omdat de methode geen gebruik maakt van orthogonaliteitsvoorwaarden, is deze ideaal voor niet-lineaire eigenwaardeproblemen waar traditionele methoden tekortschieten.
4. Flexibiliteit: De methode is robuust voor verschillende domeingeometrieën (vierkanten, ringen, driehoeken) en potentiaalfuncties (harmonisch, dubbel-well, compact ondersteund).

Resultaten

De auteurs hebben hun methode getest op diverse scenario's en vergeleken met exacte oplossingen of bestaande numerieke resultaten:

• Lineaire Problemen:
  • Eenheidsschijf en -vierkant: De berekende eigenwaarden komen zeer nauwkeurig overeen met de analytische waarden (relatieve fouten vaak $< 10^{-3}$).
  • Hogere Dimensies: Succesvolle berekening van eigenwaarden in 3D en 4D ballen.
  • Complexere Geometrieën: Toepassing op driehoeken en ringen leverde accurate resultaten op.
  • Verschillende Potentialen: De methode werkt voor harmonische potentialen en complexe meervoudige-well potentialen in 3D.
• Niet-lineaire Problemen ($p$-Laplacian):
  • Berekening van de eerste en tweede eigenwaarden voor $p=2.2$ en $p=2.5$ in 2D en 3D.
  • De resultaten kwamen overeen met referentiewaarden uit de literatuur (waar beschikbaar) en leverden nieuwe resultaten op voor hogere dimensies waar geen eerdere numerieke data beschikbaar was.

Betekenis en Conclusie

Dit artikel introduceert een robuust en flexibel raamwerk voor het oplossen van spectrale problemen met neurale netwerken. De belangrijkste doorbraak is het vermogen om hogere eigenwaarden direct en niet-sequentieel te vinden, zelfs in complexe en niet-lineaire settings.

Hoewel de auteurs erkennen dat hun methode niet per se de hoogste nauwkeurigheid biedt voor standaard lineaire problemen (waar klassieke methoden zoals FEM al zeer geoptimaliseerd zijn), biedt het een unieke oplossing voor problemen waar traditionele methoden onpraktisch of onmogelijk zijn:

• Problemen in hoge dimensies.
• Niet-lineaire eigenwaardeproblemen.
• Situaties waarbij de volledige spectrum niet in volgorde hoeft te worden berekend.

De methode is eenvoudig te implementeren, vereist geen mesh-generatie en is direct toepasbaar op een breed scala aan fysieke modellen, wat het een waardevol hulpmiddel maakt voor zowel fundamenteel onderzoek als toegepaste wetenschap. De bijbehorende Python-code is openbaar beschikbaar gesteld.