A Neural Operator-Based Approach to Symbolic Discovery of PDEs

Technische Samenvatting: Een op Neural Operators gebaseerde aanpak voor symbolische ontdekking van PDE's

Probleemstelling
Bestaande methoden voor symbolische modelontdekking, zoals Equation Learner (EQL) en sparse regressie-benaderingen (bijv. PDE-FIND), worden fundamenteel beperkt door hun afhankelijkheid van bibliotheken met lokale analytische functies. Deze methoden construeren kandidaat-vergelijkingen met behulp van puntgewijze grootheden, waaronder veldwaarden, lokale afgeleiden en algebraische combinaties. Hoewel effectief voor klassieke partiële differentiaalvergelijkingen (PDE's), falen ze in het ontdekken van wetten die betrokken zijn bij niet-lokale interacties, integraaloperatoren, hulpveldvergelijkingen of temporele geheugeneffecten. Veel fysieke systemen—zoals die geregeerd worden door fractale diffusie, gekoppelde veldsystemen of erfenis-visco-elasticiteit—hangen af van operatoren die werken op volledige functieruimtes in plaats van lokale punten, waardoor ze ontoegankelijk zijn voor huidige symbolische ontdekkingsframeworks.

Methodologie: NOMTO
De auteurs stellen Neural Operator-based symbolic Model approximaTion and discOvery (NOMTO) voor, een framework dat de EQL-architectuur uitbreidt door vooraf getrainde neurale operatoren als symbolische primitieven te incorporeren.

• Architectuur: NOMTO representeert kandidaat-vergelijkingen als ijle (sparse), differentieerbare computationele grafen. In tegenstelling tot standaard EQL, waarbij knopen alleen vooraf gedefinieerde algebraïsche of lokale differentiële operaties toepassen, staat NOMTO toe dat geselecteerde knopen worden geïmplementeerd als vooraf getrainde neurale operator-surrogaten. Deze surrogaten werken op gediscretiseerde functies en leveren gediscretiseerde operator-outputs op hetzelfde rooster terug.
• Scheiding van Leren en Ontdekking: Een kernontwerpprincipe is de ontkoppeling van operator-leren en vergelijking-ontdekking.
  1. Pretraining: Neurale operatoren (specifiek Fourier Neural Operators [FNO], Convolutional Neural Operators [CNO] en Fully Connected Neural Networks [FNN]) worden onafhankelijk getraind om specifieke fysieke operatoren te benaderen (bijv. de fractale Laplaciaan, de Poisson-gradiënt-kaart, erfenis-geheugenintegralen). Deze surrogaten worden vervolgens bevroren.
  2. Symbolische Optimalisatie: Tijdens de ontdekkingsfase blijven de surrogate-knopen vaststaan. Het optimalisatieproces past alleen de trainbare scalaire gewichten aan die de knopen in de computationele graaf verbinden.
• Optimalisatiestrategie: Het framework hanteert een 'coarse-to-sparse' paradigma bestaande uit drie fasen:
  1. Dense Training: De volledige graaf wordt getraind om de doel-dynamica te fitten zonder restricties op ijle (sparsity) structuren.
  2. Sparsificatie: Een $\ell_1$-straf wordt toegevoegd aan de verliesfunctie, en gewichten onder een bepaalde grootte worden weggefilterd (pruning) om de ijle structuur te identificeren.
  3. Refitting: De weggefilterde graaf wordt opnieuw getraind zonder de straf op ijle structuren om de coëfficiënten van de actieve paden te verfijnen.
• Expressie-extractie: Na de training worden verwaarloosbare gewichten verwijderd en wordt de resterende actieve graaf vertaald naar een expliciete symbolische vergelijking. De resulterende expressie combineert standaard algebraïsche termen met de notatie voor de vooraf getrainde neurale operator-surrogaten (bijv. $\hat{G}^a_m$).

Belangrijkste Resultaten
NOMTO werd geëvalueerd op drie verschillende fysieke systemen die niet-lokale of geschiedenis-afhankelijke operatoren vereisen:

1. Fractale Diffusie: Dit systeem betreft een fractale Laplaciaan-operator, een niet-lokale ruimtelijke operator. NOMTO slaagde erin de regelgevende vergelijking $u_t \approx -\hat{\kappa} \hat{G}^a_{L_s}[u]$ te herstellen. De FNO-gebaseerde surrogaat bereikte de hoogste nauwkeurigheid (Relatieve MSE $9.47 \times 10^{-6}$) en identificeerde correct de coëfficiënt $\hat{\kappa} = 1.00$.
2. Euler-Poisson Systeem: Dit systeem koppelt lokale transportvergelijkingen aan een niet-lokale krachtterm afgeleid van een hulp-Poisson vergelijking. NOMTO herstelde zowel de lokale convectieve termen als de niet-lokale Poisson-gradiënt koppeling. De CNO-surrogaat bereikte de laagste momentumvergelijking-fout (Relatieve MSE $3.245 \times 10^{-4}$), terwijl alle architecturen de symbolische structuur en coëfficiënten correct identificeerden.
3. Erfenis-Visco-elasticiteit: Dit geval betreft een constitutieve wet met een temporele geheugenintegraal. NOMTO ontdekte succesvol de structuur $\sigma(t) = E\varepsilon(t) + A\hat{G}^a_H[\varepsilon](t)$, waarbij de instantane elastische modulus en de geheugenamplitude met hoge nauwkeurigheid werden hersteld voor alle surrogaat-typen.

In alle gevallen presteerde NOMTO beter dan of gelijk aan standaard neurale netwerk-surrogaten (FNN) wat betreft structurele correctheid en coëfficiënt-herstel, wat aantoont dat vooraf getrainde operatoren als getrouwe symbolische proxies kunnen dienen voor complexe fysieke mechanismen.

Betekenis en Claims
Het artikel claimt dat NOMTO een verschuiving vertegenwoordigt van "symbolische ontdekking van functies" naar "symbolische ontdekking van operator-waardige fysieke wetten". Door geleerde operatoren in te bedden als vaste, differentieerbare knopen binnen een ijle symbolische graaf, stelt het framework de gebruiker in staat om:

• De ontdekbare klasse uit te breiden: Het breidt de symbolische ontdekking uit voorbij lokale differentiële bibliotheken naar wetten die niet-lokale ruimtelijke operatoren, hulpveld-mappings en temporele geheugeneffecten bevatten.
• Interpreteerbaarheid te behouden: Ondanks het gebruik van neurale netwerken blijft de uiteindelijke output een interpreteerbare symbolische vergelijking waarbij de rol van niet-lokale mechanismen expliciet is.
• Modulariteit mogelijk te maken: De scheiding tussen operator-leren en vergelijking-ontdekking maakt het mogelijk om operator-bibliotheken te hergebruiken voor verschillende ontdekkingstaken en faciliteert de integratie van voorkennis over de fysica door middel van de selectie van kandidaat-operatoren.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de getrouwheid van het herstelde model afhangt van de nauwkeurigheid van de surrogaat-operatoren en dat de constructie van de operator-bibliotheek nog steeds een zekere mate van voorkennis vereist over plausibele fysieke mechanismen. Desalniettemin vestigt dit werk een pad voor de integratie van vooruitgang in operator-leren met interpreteerbare wetenschappelijke machine learning.