RUNNs: Ritz-Uzawa Neural Networks for Solving Variational Problems

Titel: RUNNs: Ritz–Uzawa Neural Networks voor het Oplossen van Variatieproblemen

Auteurs: Pablo Herrera, Jamie M. Taylor, Carlos Uriarte, Ignacio Muga, David Pardo, en Kristoffer G. van der Zee.
Datum: 16 maart 2026 (voorgesteld in de publicatie).

1. Het Probleem

Het oplossen van Partiële Differentiaalvergelijkingen (PDE's) met neurale netwerken, zoals Physics-Informed Neural Networks (PINNs) en de Deep Ritz Method (DRM), staat voor aanzienlijke uitdagingen:

• Integratiefouten: Het benaderen van de verliesfunctie via kwadratuurregels introduceert bias en variantie, wat kan leiden tot overfitting en het niet vinden van de ware minimizer.
• Stabiliteit en Regulariteit: Standaard methoden missen vaak stabiliteit bij PDE's met oplossingen van lage regulariteit (bijv. discontinuïteiten of oplossingen in $L^2$ die niet in $H^1_0$ zitten).
• Spectrale Bias: Neuronale netwerken fungeren als laagdoorlaatfilters en hebben moeite met het vangen van hoogfrequente componenten en scherpe singulariteiten.
• Variance in Variatievormuleringen: In zwakke en ultra-zwakke formuleringen blijft de variantie van de schatting van de gradiënt persistent, zelfs bij convergentie, wat de nauwkeurigheid beperkt.

2. Methodologie: Het RUNNs Framework

De auteurs introduceren RUNNs (Ritz–Uzawa Neural Networks), een iteratieve methode die PDE's oplost via een lus van Ritz-type minimaliseringsproblemen, gebaseerd op de Onnauwkeurige Uzawa-methode (Inexact Uzawa Method).

Kernconcepten:

1. Iteratieve Structuur: De PDE wordt herschreven als een opeenvolging van optimalisatieproblemen binnen een Uzawa-lus. In plaats van direct de oplossing te minimaliseren, wordt een correctie $\delta_k$ berekend op basis van de residu's $r_k$.
2. Drie Benaderingen:
   • Benadering 1: Exacte sommatie van correcties (vergelijkbaar met multilevel netwerken).
   • Benadering 2: Projectie via minimalisatie om de netwerkarchitectuur niet dynamisch te hoeven uitbreiden.
   • Benadering 3: Een tweestaps minimalisatie die leidt tot de "Deep Double Ritz Method" (D2RM).
3. Variatievormuleringen: Het framework is toepasbaar op:
   • Sterke formulering: Leidt tot passieve variantiereductie (variantie daalt naar nul naarmate de oplossing convergeert).
   • Zwakke formulering: Variantie blijft aanwezig.
   • Ultra-zwakke formulering: Geschikt voor brontermen met lage regulariteit (distributies), waarbij variantie ook persistent blijft.

Netwerkarchitectuur en Training:

• Sinusoidale Fourier Feature Mapping: Om spectrale bias te bestrijden, wordt de invoer gemapt via sinusoïden met trainbare frequenties.
• Data-gedreven Frequentie-tuning: De frequentiebandbreedte wordt dynamisch aangepast op basis van de Genormaliseerde Cumulatieve Kracht-Spectrale Dichtheid (NCPSD) van de vorige residuen of hun proxies. Dit stelt het netwerk in staat om zich aan te passen aan de frequentie-inhoud van de fout.
• Hybride Optimalisatie (LS/Adam): Een strategie die lineaire parameters (output-weights) en niet-lineaire parameters (verborgen lagen) ontkoppelt.
  • Least Squares (LS): Oplossing van het lineaire systeem voor de output-weights (met Tikhonov regularisatie en normalisatie).
  • Adam: Gradiëntafstap voor de verborgen parameters.
• Discretisatie: Gebruik van onbevooroordeelde gestratificeerde stochastische kwadratuurregels (P3) om integratiefouten en overfitting te minimaliseren.

3. Belangrijkste Bijdragen

1. RUNNs Framework: Een unificerend theoretisch kader dat sterke, zwakke en ultra-zwakke variatieformuleringen behandelt binnen één iteratief schema.
2. Analyse van Variantie: Het bewijs dat sterke formuleringen een passief mechanisme voor variantiereductie bieden, terwijl dit ontbreekt in variatieformuleringen. Dit verklaart waarom sommige methoden stabieler zijn dan anderen.
3. Adaptieve Spectrale Initialisatie: Een nieuwe strategie om de frequentiebandbreedte van het netwerk dynamisch in te stellen op basis van de NCPSD van de fout, specifiek ontworpen om hoge frequenties en singulariteiten te vangen.
4. Hybride Optimisatie: Een efficiëntere trainingsschema (LS/Adam) die de convergentie versnelt ten opzichte van pure Adam-methoden.

4. Numerieke Resultaten

De methode werd getest op verschillende scenario's:

• Poisson-probleem (Zwakke formulering):
  • Vergelijking tussen pure Adam en LS/Adam toonde aan dat LS/Adam de relatieve $H^1_0$-fout veel sneller reduceert (3000 epochs vs. 6000+).
  • De methode slaagde erin de exacte foutfunctie en zijn afgeleiden nauwkeurig te benaderen.
• Hoogfrequente Oplossing:
  • Voor een oplossing met frequentie $40\pi$ ($u(x) = \sin(40\pi x)$) slaagde RUNNs erin de oscillaties correct op te vangen dankzij de spectrale matching, terwijl standaard methoden vaak vastlopen door spectrale bias.
• Ultra-zwakke Formulering met $H^{-2}$ Bron:
  • Testcase: Een PDE met een bronterm die de afgeleide is van een Dirac-delta ($\delta'$), wat leidt tot een discontinu $L^2$-oplossing (stapfunctie).
  • Resultaat: Standaard energie-gebaseerde methoden falen hier vaak. RUNNs slaagde erin de discontinuïteit bij $x=0$ succesvol te herstellen en de oplossing in $L^2$ nauwkeurig te benaderen.

5. Betekenis en Conclusie

RUNNs biedt een robuust, mesh-vrij alternatief voor bestaande PDE-oplossers. De belangrijkste doorbraken zijn:

• Stabiliteit: Het iteratieve Uzawa-schema verhoogt de stabiliteit, vooral bij problemen met lage regulariteit.
• Overcoming Spectral Bias: De data-gedreven frequentie-tuning maakt het mogelijk om complexe, hoogfrequente en singuliere oplossingen te modelleren die voor traditionele NN-methoden onbereikbaar zijn.
• Efficiëntie: De combinatie van LS/Adam en gestratificeerde kwadratuur versnelt de training en verbetert de nauwkeurigheid.

De auteurs concluderen dat RUNNs een veelbelovende richting is voor mesh-vrije solvers en plannen uitbreiding naar niet-lineaire PDE's, hogere dimensies en tijdsafhankelijke problemen.