Neural operators for solving nonlinear inverse problems

1. Probleemstelling

Het artikel behandelt de uitdaging om niet-lineaire inverse problemen op te lossen, geformuleerd als operatorvergelijkingen:
$$F[x] = y$$
waarbij $F: D(F) \subseteq X \to Y$ een niet-lineaire operator is tussen oneindig-dimensionale functieruimten (doorgaans Sobolev- of Lebesgueruimten). Deze problemen zijn ill-posed, wat betekent dat oplossingen niet continu afhankelijk zijn van de data $y$, en ruis ($y^\delta$) kan leiden tot instabiele oplossingen.

De Kernuitdaging:
Traditioneel houdt het oplossen van deze problemen in dat Tikhonov-regularisatie wordt toegepast met behulp van klassieke discretisaties (bijv. Finite Element Methods - FEM) om de voorwaartse operator $F$ te benaderen. Echter, in veel moderne toepassingen is de operator $F$ niet expliciet bekend via fysieke wetten, maar wordt deze indirect gespecificeerd via trainingsdata (invoer-uitvoerparen). De auteurs beogen de klassieke gediscretiseerde operator $F_n$ te vervangen door een Neural Operator (specifiek de DeepONet-architectuur) die uit data is geleerd, en de convergentie en stabiliteit van deze aanpak binnen het kader van Tikhonov-regularisatie rigoureus te analyseren.

2. Methodologie

Het artikel ontwikkelt een theoretisch kader en een numerieke strategie die Tikhonov-regularisatie combineren met Neural Operators.

A. Regularisatiekader

De auteurs maken gebruik van Tikhonov-regularisatie om het inverse probleem te stabiliseren. Zij zoeken naar een minimalizer $x_{\alpha}^\delta$ van de functionaal:
$$T_{\alpha}^\delta[x] := \|F_n[x] - y^\delta\|_Y^2 + \alpha \|x - x^{(0)}\|_X^2$$
waarbij:

• $F_n$ de surrogaatoperator (Neural Operator) is.
• $y^\delta$ ruisende data is met een ruisniveau $\delta$.
• $\alpha$ de regularisatieparameter is.
• $x^{(0)}$ een a priori schatting is (vaak 0).

B. Constructie van de Neural Operator

Het artikel definieert de Neural Operator $F_n$ op basis van de DeepONet-architectuur, die operatoren benadert die tussen functieruimten afbeelden.

• Architectuur: De operator wordt geconstrueerd met behulp van een "branch"-netwerk (dat functionalen van de invoer benadert) en een "trunk"-netwerk (dat de uitvoerfunctie benadert).
• Trainingsstrategie: In plaats van het netwerk als een black box te behandelen, stellen de auteurs een tweestapsstrategie voor om netwerkcoëfficiënten (priors) te bepalen:
  1. Linearisatie: Lineariseer de niet-lineaire operator $F$ rond een referentiepunt.
  2. Orthonormalisatie: Gebruik Gram-Schmidt-orthonormalisatie op de trainingsdata om een lineair surrogaat $F_N^\#$ expliciet te construeren.
  3. Neurale Benadering: Benader de lineaire functionalen en uitvoerfuncties van $F_N^\#$ met behulp van neurale netwerken. Dit maakt voorafbepaling van bepaalde netwerkparameters mogelijk (bijv. steekproefpunten, gewichten afgeleid van kwadratuurregels), wat het trainingsproces aanzienlijk vereenvoudigt.

C. Uitbreiding naar Sobolev- en Lebesgueruimten

Een cruciale methodologische bijdrage is de uitbreiding van de Universele Benaderingsstelling voor neurale operatoren.

• Standaard stellingen zijn van toepassing op ruimten van continue functies ($C(\Omega)$).
• Inverse problemen vereisen vaak oplossingen in Sobolev-ruimten ($H^s$) of Lebesgueruimten ($L^2$), waar puntsgewijze evaluatie niet altijd goed gedefinieerd is.
• Oplossing voor $L^2$: De auteurs introduceren een mollificatie-techniek. Zij benaderen de oplossing $x$ met een gladde functie $x_\xi$ (via convolutie met een mollifier) voordat deze in de neurale operator wordt ingevoerd. Dit zorgt ervoor dat puntsgewijze evaluaties geldig zijn, terwijl convergentie-eigenschappen in de $L^2$-norm behouden blijven.

3. Belangrijkste Bijdragen

1. Theoretische Convergentiesnelheden:
   Het artikel leidt rigoureuze foutschattingen af voor de geregelde oplossing $x_{\alpha}^\delta$ bij gebruik van een Neural Operator-surrogaat. Zij stellen de optimale balans vast tussen:

   • Het ruisniveau ($\delta$).
   • De benaderingsfout van de neurale operator ($\rho_n$).
   • De regularisatieparameter ($\alpha$).
   • De mollificatieparameter ($\xi$) voor $L^2$-ruimten.
     Het hoofdresultaat toont aan dat met geschikte parameterkeuzes (bijv. $\alpha \sim \delta$, $\rho_n \sim \delta$) de convergentiesnelheid $O(\sqrt{\delta})$ is, wat overeenkomt met klassieke resultaten.

2. Generalisatie naar Niet-Continue Ruimten:
   De auteurs bewijzen dat neurale operatoren operatoren kunnen benaderen die gedefinieerd zijn op Sobolev-ruimten ($H^s$ met $s > m/2$) en Lebesgueruimten ($L^2$) door gebruik te maken van compacte inbeddingstheorema's en mollificatie. Dit overbrugt de kloof tussen neurale operatortheorie (doorgaans gedefinieerd op $C(\Omega)$) en de vereisten van regularisatie voor inverse problemen.

3. Gestructureerd Trainen (Priors):
   Het artikel stelt een methode voor om onderdelen van de structuur van de neurale operator vooraf te berekenen op basis van de geometrie van de trainingsdata (orthonormalisatie) en klassieke integratieregels. Dit vermindert de complexiteit van het niet-lineaire trainingsprobleem en biedt een theoretische basis voor de netwerkarchitectuur.

4. Kwantitatieve Analyse van Surrogaten:
   De auteurs analyseren de afweging tussen het aantal trainingsstalen ($N$), het aantal netwerkcoëfficiënten ($n$) en de benaderingsfout, en leveren expliciete grenzen voor lineaire en niet-lineaire gevallen.

4. Numerieke Resultaten

De auteurs valideren hun theorie aan de hand van twee benchmark inverse problemen:

• Voorbeeld 3.1 (Het "a-voorbeeld"): Een niet-lineaire differentiaalvergelijking waarbij de coëfficiënt $x$ in $H^1$ ligt.
• Voorbeeld 3.2 (Het "c-voorbeeld"): Een Schrödinger-type vergelijking waarbij de coëfficiënt $x$ in $L^2$ ligt.

Belangrijkste Bevindingen uit Experimenten:

• Nauwkeurigheid: De Neural Operator-surrogaat ($F_n$) presteert over het algemeen beter dan klassieke Finite Element Methods (FEM) wat betreft de Mean Squared Error (MSE), vooral wanneer de initiële schatting ver van de ware oplossing ligt.
• Robuustheid ten opzichte van Initialisatie: FEM-gebaseerde optimalisatie is zeer gevoelig voor de initiële schatting. De Neural Operator-aanpak is robuuster en behoudt een lage fout over verschillende initialisaties.
• Ruisstabiliteit:
  • Het lineaire surrogaat ($F_N^\#$) is extreem stabiel tegenover ruis, maar minder flexibel voor complexe niet-lineariteiten.
  • De getrainde Neural Operator ($F_n$) gaat goed om met niet-lineariteit, maar vertoont enige oscillatie onder hoge ruis vanwege de stochastische aard van de optimizer (AdamW).
  • FEM-prestaties verslechteren aanzienlijk bij ruis, waarbij vaak fijnere meshes nodig zijn die paradoxaal genoeg de resultaten verslechteren door overfitting op de ruis.
• TrainingsEfficiëntie: De totale trainingstijd voor de neurale operator (inclusief datageneratie) bedroeg ongeveer 10 seconden voor $N=20$ stalen, wat een hoge efficiëntie aantoont voor deze 1D-problemen.
• Dataversadiging: Het verhogen van het aantal trainingsstalen boven een bepaald punt (bijv. van $N=30$ naar $40$) leverde afnemende meerwaarde op, wat suggereert dat het model de essentiële operatorkenmerken al had vastgelegd.

5. Betekenis

• Overbrugging van Theorie en Praktijk: Dit werk is significant omdat het neurale operatoren verplaatst van een "black box"-heuristiek naar een wiskundig rigoureus hulpmiddel voor ill-posed inverse problemen. Het biedt de nodige convergentiesnelheden en regels voor parameterselectie die vereist zijn voor praktische implementatie.
• Omgaan met Oneindige Dimensies: Door benaderingstheorie uit te breiden naar Sobolev- en $L^2$-ruimten, adresseert het artikel een belangrijke beperking van eerdere literatuur over neurale operatoren, waardoor deze toepasbaar wordt op standaard PDE-gebaseerde inverse problemen.
• Efficiëntie: De voorgestelde "gestructureerde training" (met gebruik van priors en orthonormalisatie) biedt een weg om de rekenkosten en complexiteit van het trainen van neurale operatoren te verminderen, wat vaak een knelpunt is.
• Alternatief voor FEM: De resultaten suggereren dat voor problemen waarbij de voorwaartse operator duur is om te simuleren of onbekend is, het leren van een neurale operator-surrogaat robuustere en nauwkeurigere reconstructies kan bieden dan traditionele discretisatiemethoden, mits de trainingsdata beschikbaar is.

Samenvattend legt het artikel een solide theoretische fundament voor het gebruik van Neural Operators als surrogaten in Tikhonov-regularisatie, bewijst hun convergentie, breidt hun toepasbaarheid uit naar noodzakelijke functieruimten en demonstreert hun superieure prestaties in numerieke experimenten in vergelijking met klassieke methoden.