Technische Samenvatting: Een Data-vrije Symbolische Regressie-aanpak voor het Oplossen van Vergelijkingen

Probleemstelling

Veel vergelijkingen in de wetenschap en techniek, met name die met transcendente termen of complexe differentiële operatoren, kunnen niet worden opgelost met bestaande analytische technieken. Bijgevolg worden ze doorgaans aangepakt met numerieke methoden die benaderende oplossingen opleveren zonder expliciete symbolische expressies. Hoewel numerieke oplossingen kwantitatief accuraat zijn, verhullen ze vaak de onderliggende functionele afhankelijkheden, symmetrieën en kwalitatieve gedragingen van het systeem.

Bestaande benaderingen voor het terugwinnen van expliciete oplossingen staan voor een afruil:

1. Analytische oplossers: Kunnen exacte symbolische oplossingen afleiden, maar zijn beperkt tot specifieke vergelijkingstructuren (bijv. polynomiale systemen of beperkte klassen van ODE's).
2. Symbolische regressie: Kan interpreteerbare expressies ontdekken, maar is fundamenteel afhankelijk van gesuperviseerde gekoppelde input-output data, die vaak niet beschikbaar zijn wanneer alleen de leidende vergelijking en randvoorwaarden bekend zijn.
3. Residu-gebaseerde neurale methoden (bijv. PINNs): Werken direct vanaf leidende vergelijkingen en restricties zonder dat gelabelde data nodig zijn. Ze produceren echter oplossingen die gecodeerd zijn in neurale netwerkparameters (numerieke benaderingen), in plaats van expliciete symbolische vormen, wat verdere analytische bruikbaarheid beperkt.

Er bestaat een gat in de literatuur voor een methode die direct werkt vanuit leidende vergelijkingen en hulpvoorwaarden, geen behoefte heeft aan gesuperviseerde input-output data, en de oplossing in een expliciete symbolische vorm terugwint.

Methodologie: Symbolic Equation Solver (SES)

De auteurs stellen de Symbolic Equation Solver (SES) voor, een framework dat het oplossen van vergelijkingen formuleert als een optimalisatieprobleem over differentieerbare symbolische modellen. In tegenstelling tot traditionele symbolische regressie past SES geen model aan om data te fitten; in plaats daarvan optimaliseert het een symbolische expressie om aan de leidende vergelijking en haar restricties te voldoen.

Kernarchitectuur

• Symbolische Modelklasse: SES maakt gebruik van een differentieerbare symbolisch netwerk gebaseerd op de Equation Learner (EQL) formulering. In deze architectuur worden conventionele neurale activatiefuncties vervangen door een bibliotheek van symbolische operatoren (bijv. identiteit, constanten, kwadrateren, exponentieel, hyperbolische tangens, vermenigvuldiging).
• Differentieerbaarheid: Het netwerk is volledig differentieerbaar, waardoor gradiënten kunnen propageren door symbolische operatoren. Dit maakt het gebruik van standaard eerste-orde optimalisatiemethoden (Adam) mogelijk om de netwerkgewichten te optimaliseren, die overeenkomen met de coëfficiënten van de symbolische expressie.
• Doelfunctie: Het trainingssignaal wordt volledig afgeleid van de residuen van de vergelijking. Gegeven een leidende vergelijking $F_k(x, u, \nabla u, \dots) = 0$ en hulpvoorwaarden $B_j(x, u, \nabla u, \dots) = 0$, minimaliseert SES een verliesfunctie bestaande uit de gekwadrateerde residuen geëvalueerd op gesamplede collocatiepunten:
  $$L(\theta) = \frac{1}{N_F}\sum |F_k|^2 + \frac{1}{N_B}\sum |B_j|^2$$
  Voor niet-differentiaal vergelijkingen wordt een hulpvariabele geïntroduceerd om collocatiepunten te genereren, waarbij de oplossing wordt behandeld als een constante functie van deze variabele.

Optimalisatiestrategie

Het trainingsproces omvat drie afzonderlijke fasen om convergentie naar een ijle (sparse), interpreteerbare oplossing te garanderen:

1. Residu-minimalisatie: Het model wordt getraind voor 50.000 epochs met enkel het residu-doel om aan de vergelijking te voldoen.
2. Sparsity-inductie: De training gaat door voor 200.000 epochs met een toegevoegde $\ell_1$-straf op interne gewichten. Tijdens deze fase verwijdert een pruning-mechanisme periodiek 25% van de gewichten met de laagste bijdrage aan de loss, wat een compacte symbolische structuur stimuleert.
3. Fine-tuning: De $\ell_1$-straf wordt verwijderd en de resterende gewichten worden gefinetuned voor 20.000 epochs met enkel het residu-doel.
4. Extractie: De uiteindelijke symbolische expressie wordt geëxtraheerd door het geprunede computationele grafiek te traverseren en de geleerde gewichten af te ronden op vijf decimalen.

Belangrijkste Bijdragen

1. Data-vrije Symbolische Terugwinning: SES toont aan dat expliciete symbolische oplossingen kunnen worden teruggewonnen zonder enige gekoppelde input-output trainingsdata, uitsluitend vertrouwend op de wiskundige structuur van de leidende vergelijkingen en restricties.
2. Verenigd Framework: De aanpak verenigt het vergelijking-gestuurde optimalisatieprincipe van residu-gebaseerde neurale solvers (zoals PINNs) met de interpreteerbaarheid van symbolische regressie. Het is toepasbaar op zowel algebraïsche als differentiële vergelijkingen binnen één enkele formulering.
3. Gezamenlijke Optimalisatie voor Systemen: Het framework breidt zich op natuurlijke wijze uit naar systemen met meerdere onbekende grootheden, waarbij deze gezamenlijk worden geoptimaliseerd onder een gedeelde doelfunctie.

Experimentele Resultaten

De auteurs evalueerden SES op een diverse set problemen en vergeleken de teruggewonnen symbolische expressies met bekende analytische oplossingen:

• Lineaire Systemen: Succesvol exacte constante oplossingen ($x=2, y=1$) teruggewonnen voor een systeem van lineaire vergelijkingen.
• Transcendente Vergelijkingen: De oplossing $x=1$ teruggewonnen voor de vergelijking $e^x + x^3 = e + 1$, een probleem dat normaal gesproken numerieke methoden vereist omdat standaard symbolische isolatie onmogelijk is.
• Gewone Differentiaalvergelijkingen (ODE's):
  • Teruggewonnen $y(t) = \tanh(t)$ voor de niet-lineaire ODE $dy/dt = 1 - y^2$.
  • Teruggewonnen de kwadratische transportoplossing $u(x,t) = (x-t)^2$ voor een lineaire transportvergelijking, waarbij de correcte functionele vorm behouden bleef ondanks benaderende coëfficiëntwaarden.
• Partiële Differentiaalvergelijkingen (PDE's):
  • Succesvol een 2D Poisson-vergelijking met gemengde randvoorwaarden opgelost, waarbij de exacte polynomiale structuur $u(x,y) = x^2 + y^2 + xy^2$ werd teruggewonnen.
  • De oplossing voor een tweede set randvoorwaarden voor dezelfde PDE teruggewonnen, wat robuustheid demonstreert tegen verschillende configuraties van restricties.

In alle gevallen produceerde SES compacte symbolische expressies die de analytische oplossingen maten, waarbij vaak de correcte functionele afhankelijkheden en symmetrieën werden onthuld.

Betekenis en Claims

Het artikel stelt dat het oplossen van vergelijkingen niet louter kan worden geherformuleerd als analytische afleiding of numerieke benadering, maar als optimalisatie in de symbolische functieruimte. De betekenis van SES ligt in het vermogen om de kloof te overbruggen tussen vergelijking-gebaseerde formuleringen en symbolische terugwinning.

• Interpreteerbaarheid en Ontdekking: Door oplossingen terug te winnen in een expliciete symbolische vorm, legt SES structurele afhankelijkheden en functionele relaties bloot die moeilijk te extraheren zijn uit louter numerieke benaderingen. De auteurs suggereren dat deze capaciteit kan dienen als een mechanisme voor wetenschappelijke hypothesegeneratie en -ontdekking, door kandidaat analytische vormen en invarianties te bieden.
• Wetenschappelijke Machine Learning: SES vertegenwoordigt een stap naar het direct integreren van symbolisch redeneren in wetenschappelijke machine learning, wat een pad biedt naar modellen die zowel voorspellend als structureel gegrond zijn.
• Beperkingen en Toekomstig Werk: De auteurs merken bescheiden op dat de huidige resultaten een bewijs van concept (proof-of-concept) zijn op problemen met bekende analytische oplossingen en relatief beknopte structuren. Zij erkennen dat het uitbreiden van het framework naar meer uitdagende PDE's, hoog-dimensionale systemen en chaotische dynamica meer expressieve architecturen, rijkere operatorbibliotheken en robuustere optimalisatiestrategieën zal vereisen.