Enriching continuous Lagrange finite element approximation spaces using neural networks

1. Problemstellung

Die Lösung partieller Differentialgleichungen (PDEs) mit der klassischen Finite-Elemente-Methode (FEM) ist ein Standardverfahren, stößt jedoch bei Problemen mit starken lokalen Variationen (z. B. scharfe Gradienten, Singularitäten, Grenzschichten) an Grenzen. Eine hohe Genauigkeit erfordert dann sehr feine Gitter oder hohe Polynomgrade, was zu einem enormen rechnerischen Aufwand führt, insbesondere bei parametrisierten Problemen, bei denen viele Lösungen für verschiedene Parameterwerte benötigt werden.

Auf der anderen Seite haben Physics-Informed Neural Networks (PINNs) in den letzten Jahren an Bedeutung gewonnen, da sie mesh-frei sind und gut mit hochdimensionalen parametrischen Problemen umgehen können. Allerdings leiden PINNs oft unter mangelnder Genauigkeit, fehlenden Konvergenzgarantien und Schwierigkeiten, hochfrequente Oszillationen oder komplexe Ableitungen präzise zu approximieren.

Das Ziel dieser Arbeit ist es, die Vorteile beider Welten zu kombinieren: Die schnelle, parametrische Vorhersagefähigkeit von PINNs mit der mathematischen Strenge, den Konvergenzgarantien und der Effizienz der FEM auf groben Gittern.

2. Methodik

Die Autoren schlagen einen hybriden Ansatz vor, bei dem der klassische FEM-Ansatzraum durch Informationen aus einem „Prior" (einer Vorhersage) erweitert wird. Dieser Prior wird in diesem Fall durch ein trainiertes parametrisches PINN bereitgestellt.

Es werden zwei Strategien zur Anreicherung des FEM-Raums vorgestellt:

• Additive Anreicherung:
  Der Lösungsansatz wird als Summe des PINN-Priors $u_\theta$ und einer Korrektur $p_h$ aus einem klassischen FEM-Raum $V_h^0$ dargestellt:
  $$u_h^+ = u_\theta + p_h$$
  Das Problem wird so umformuliert, dass $p_h$ die Differenz zwischen der exakten Lösung und dem Prior approximiert. Dies führt zu einem klassischen Galerkin-Problem mit einer modifizierten rechten Seite (Quellterm), die die Residuen des Priors enthält.

• Multiplikative Anreicherung:
  Hier wird die Lösung als Produkt des Priors und einer Korrektur dargestellt. Um Probleme mit Nullstellen des Priors zu vermeiden, wird das Problem zunächst durch eine Konstante $M$ verschoben ($u_M = u + M > 0$). Der Ansatz lautet dann:
  $$u_h^\times = (u_{\theta, M} \cdot p_h^\times) - M$$
  wobei $p_h^\times$ in einem modifizierten Raum liegt. Dies erfordert eine Anpassung der Testfunktionen und der Variationsformulierung.

Prior-Konstruktion (PINN):
Der Prior $u_\theta$ wird durch Training eines neuronalen Netzwerks gewonnen. Um die Qualität des Priors zu maximieren – was für die Genauigkeit der Anreicherung entscheidend ist – werden folgende Techniken eingesetzt:

• Exakte Randbedingungen: Nutzung einer Level-Set-Funktion, um Dirichlet-Randbedingungen im Netzwerk-Ansatz exakt zu erzwingen (statt sie nur als Verlustterm zu bestrafen).
• Sobolev-Training: Ein zusätzlicher Verlustterm für die Ableitungen der PDE wird eingeführt, um die Approximation der Gradienten und höheren Ableitungen zu verbessern.
• Fourier-Features: Bei hochfrequenten Lösungen werden Fourier-Features in den Eingabeschichten des Netzwerks verwendet, um das „Spectral Bias"-Problem (Neigung von MLPs, nur niedrige Frequenzen zu lernen) zu überwinden.

3. Wichtige Beiträge

• Theoretische Fehlerabschätzungen:
  Die Autoren beweisen a-priori-Fehlerabschätzungen für beide Anreicherungsstrategien (additiv und multiplikativ) in $L^2$- und $H^1$-Normen.

  • Die Fehlerkonstanten hängen direkt von der Qualität des Priors ab, spezifisch von der $H^{q+1}$-Norm des Fehlers zwischen Prior und exakter Lösung.
  • Es wird gezeigt, dass die Konvergenzordnung der FEM beibehalten wird, aber der Fehlerkoeffizient um einen Faktor verbessert wird, der von der Güte des Priors abhängt.
  • Ein wichtiger theoretischer Befund ist, dass die multiplikative Methode für $M \to \infty$ gegen die additive Methode konvergiert.

• Nachweis der Notwendigkeit genauer Ableitungen:
  Die Analyse zeigt, dass für die Anreicherung nicht nur die Genauigkeit der Lösung selbst, sondern vor allem die Genauigkeit der Ableitungen des Priors entscheidend ist. PINNs sind hier im Vorteil gegenüber rein datengetriebenen Netzwerken, da sie durch die PDE-Residuen minimiert werden und somit die Ableitungen besser approximieren.

• Vergleich der Strategien:
  Die additive Methode wird als robuster und einfacher zu implementieren identifiziert. Die multiplikative Methode kann in speziellen Fällen (z. B. wenn der Prior eine multiplikative Struktur der Lösung gut einfängt) Vorteile bieten, ist aber empfindlicher gegenüber der Wahl der Verschiebungskonstante $M$ und der Randbedingungen.

4. Numerische Ergebnisse

Die Methode wurde an einer Vielzahl von parametrischen Problemen in 1D, 2D und 3D getestet:

• 1D Probleme: Poisson-Gleichung, konvektionsdominierte elliptische Systeme und nicht-glatte Transmissionsprobleme (mit Diskontinuitäten).

  • Ergebnisse zeigen, dass die additive Methode mit einem PINN-Prior signifikant bessere Ergebnisse liefert als Standard-FEM auf demselben Gitter.
  • Bei Transmissionsproblemen (Diskontinuitäten) zeigte sich, dass ein speziell angepasstes Netzwerk-Architektur (ReCoNNs) notwendig ist, um die Singularität zu erfassen; ein Standard-PINN scheiterte hier.

• 2D Probleme: Poisson auf quadratischen und ringförmigen Gebieten, anisotrope elliptische Probleme.

  • Die Anreicherung ermöglichte es, auf deutlich gröberen Gittern (bis zu 28-mal gröber für $P_1$-Elemente bei niedrigen Frequenzen) die gleiche Genauigkeit zu erreichen wie Standard-FEM auf feinen Gittern.
  • Sobolev-Training verbesserte die Ergebnisse weiter, insbesondere bei höheren Polynomgraden.
  • Bei hochfrequenten Problemen (hohe Wellenzahlen) war der Gewinn besonders groß, da Standard-FEM auf groben Gittern hier stark versagt.

• 3D Problem: Poisson-Gleichung in einem Würfel.

  • Der Ansatz skaliert gut auf 3D.
  • Rechenzeit-Analyse: Für ein einzelnes Parametrisches Problem ist der Offline-Aufwand (Training des PINNs) hoch. Sobald jedoch eine Reihe von Parametern gelöst werden muss (parametrischer Kontext), überwiegt der Vorteil der schnellen Online-Lösung auf groben Gittern.
  • Für eine Zielgenauigkeit von $10^{-3}$ wurde gezeigt, dass die hybride Methode ab ca. 19 Parametrischen Instanzen schneller ist als die Standard-FEM, da die Rechenzeit für die Online-Lösung drastisch sinkt.

5. Bedeutung und Ausblick

• Effizienzsteigerung: Die vorgestellte Methode bietet einen Weg, die Rechenkosten für parametrisierte PDEs drastisch zu senken, indem sie die Flexibilität von neuronalen Netzen nutzt, um die Diskretisierungsfehler der FEM auf groben Gittern zu kompensieren.
• Robustheit: Im Gegensatz zu reinen PINNs bietet die Methode mathematische Konvergenzgarantien und ist weniger anfällig für das Versagen bei komplexen Geometrien oder hohen Frequenzen.
• Anwendungsbreite: Der Ansatz ist nicht auf lineare Probleme beschränkt und kann prinzipiell auf nichtlineare Gleichungen oder komplexere Geometrien (via Level-Set) erweitert werden.
• Zukunft: Als zukünftige Arbeiten werden die Anwendung auf nichtlineare Probleme, die Nutzung von a-posteriori-Fehlerschätzern zur adaptiven Gitterverfeinerung basierend auf dem Prior sowie der Einsatz von Neural Operators statt einfacher MLPs diskutiert.

Zusammenfassend stellt diese Arbeit einen vielversprechenden Schritt in der Entwicklung hybrider numerischer Methoden dar, die die Stärken von Deep Learning und klassischer numerischer Analysis vereinen, um effiziente und genaue Löser für komplexe parametrische PDEs zu schaffen.