🤖 machine learning

Neural Discovery of Memory and Nonlocal Kernels in Integro-Differential Equations with Constrained Kolmogorov--Arnold Networks

Dit artikel stelt een differentieerbaar-solverframework voor met behulp van geconstreerde Kolmogorov–Arnold-netwerken (specifiek hard-geconstreerde MC-KAN en soft-penalty Cheb-KAN) om robuust interpreteerbare geheugen- en niet-lokale kernen in integraal-differentiaalvergelijkingen te ontdekken uit ijle en ruisgevoelige observaties, waarbij wordt aangetoond dat het afdwingen van fysieke vormbeperkingen door constructie een superieure nauwkeurigheid oplevert ten opzichte van soft penalties, in het bijzonder voor multidimensionale problemen.

Oorspronkelijke auteurs: Aruzhan Tleubek, Salah A Faroughi

Gepubliceerd 2026-07-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aruzhan Tleubek, Salah A Faroughi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert de "geestregels" te ontrafelen die een mysterieuze machine aansturen. Je kunt de interne tandwielen van de machine niet zien, maar je kunt wel observeren hoe deze beweegt wanneer je ertegen duwt. In de wereld van de natuurkunde hebben veel systemen (zoals elastiekjes die langzaam terugveren, of warmte die zich door een materiaal verspreidt met een geheugen) niet alleen een reactie op wat er nú gebeurt. Ze hebben een geheugen voor het verleden. Ze hebben een "vervagend geheugen".

Wiskundigen beschrijven dit geheugen met een speciaal ingrediënt genaamd een kernel. Denk aan de kernel als een receptenkaart die de machine vertelt hoeveel gewicht er aan elk moment uit het verleden moet worden toegekend. Als je het recept kent, kun je de toekomst perfect voorspellen. Maar meestal is de receptenkaart kwijt! De wetenschappers hebben de bewegingen van de machine (de data), maar ze kennen het recept niet. Dit is een lastige puzzel, omdat veel verschillende recepten dezelfde beweging kunnen produceren, vooral als je waarnemingen wazig of incompleet zijn.

De Oude Manier vs. De Nieuwe Manier

Lange tijd probeerden wetenschappers dit op te lossen door complexe wiskundige afleidingen te maken die specifiek zijn voor elk probleem, of door een recept te gokken en te hopen dat het paste. De auteurs van dit artikel zeggen: "Laten we iets anders proberen." Ze bouwden een neuraal netwerk (een type AI-brein) dat fungeert als een detective. In plaats van te gokken, leert dit AI-brein het recept direct van de rommelige, ruizige data van hoe het systeem beweegt.

Maar hier komt de crux: als je een standaard AI-brein gewoon laat gokken, kan het een recept bedenken dat fysiek geen zin heeft. Het zou bijvoorbeeld kunnen suggereren dat het geheugen sterker wordt naarmate een gebeurtenis ouder is, of dat de invloed uit het verleden plotseling negatief wordt. In de echte wereld vervaagt het geheugen meestal geleidelijk en verandert het nooit van teken.

De Twee Detective-strategieën

Om de AI ervan te weerhouden om onzinnige gokken te doen, probeerden de onderzoekers twee verschillende manieren uit om de AI te dwingen de regels van de natuurkunde te volgen.

Strategie 1: De "Zachte" Straf (De Cheb-KAN)
Stel je voor dat je een hond traint. Je zegt: "Spring niet op de bank," en als hij dat wel doet, geef je hem een zachte "nee" (een zachte straf). De hond luistert misschien, maar hij kan ook alsnog op de bank springen als hij dat echt wil. Dit is wat de Cheb-KAN doet. Het probeert het recept te leren, maar als het recept de regels overtreedt (zoals negatief worden of de verkeerde kant op buigen), voegt de computer een kleine "strafscore" toe aan het huiswerk van de AI. De AI probeert de straf te minimaliseren, maar het is niet strikt verboden om de regels te breken.

Strategie 2: De "Harde" Beperking (De MC-KAN)
Stel je nu een kooi voor rond de hond bouwt. De hond kan fysiek niet op de bank springen omdat de kooi er is. Dit is de MC-KAN (Monotone–Convex Kolmogorov–Arnold Network). De onderzoekers hebben de AI niet alleen gevraagd om braaf te zijn; ze hebben het AI-brein gebouwd uit speciale wiskundige blokken (Bernstein-polynomen) die het onmogelijk maken voor de AI om een recept te genereren dat de regels breekt. De AI wordt door haar eigen architectuur gedwongen om alleen recepten te produceren die positief zijn, die altijd vervagen en die de juiste vorm hebben. Het is geen suggestie; het is een wet van de machine.

De Grote Test: Kan de AI het Recept Vinden?

Het team onderwierp beide strategieën aan de test in drie verschillende scenario's, variërend van eenvoudig tot zeer complex.

1. Het Eenvoudige Geheugen (1D Volterra-vergelijking)
Ze begonnen met een eenvoudig systeem waarbij het geheugen vervaagt als een standaard exponentiële curve (zoals een kop koffie die afkoelt). Ze gaven de AI data met verschillende niveaus van "ruis" (statische storing of wazigheid).

Het Resultaat: Beide strategieën vonden het juiste recept. Zelfs toen de data erg ruizig was, kregen beide het goed. Echter, de Harde Beperking (MC-KAN) was iets nauwkeuriger en vond het recept met ongeveer 13% tot 54% minder fout dan de versie met de Zachte Straf, afhankelijk van hoeveel ruis er in de data zat. Het was alsof de hond in de kooi nooit een fout maakte, terwijl de hond met de zachte "nee" af en toe een klein foutje maakte.

2. Het Rekbare Geheugen (1D Visco-elastische Golf)
Vervolgens keken ze naar een rubberachtige staaf die vibreert. Het geheugen hier was geen eenvoudige curve; het was een "gestrekte exponentiële curve", een complexere vorm die vaak voorkomt bij glasachtige polymeren. Ze maakten de data zeer schaars, wat betekent dat ze de AI slechts enkele momentopnames van de beweging van de staaf gaven (slechts 11 momentopnames van de mogelijke 1001).

Het Resultaat: Verbazingwekkend genoeg konden beide methoden het recept nog steeds vinden, zelfs met zo weinig data. Maar ook hier was de Harde Beperking (MC-KAN) consistenter. Het vond het recept met ongeveer 40% minder fout dan de Zachte Straf-versie. De Zachte Straf-versie wankelde soms een beetje, terwijl de Harde Beperking stabiel bleef.

3. De 2D Chaos (Niet-lokale Reactie-Diffusie)
Ten slotte pakten ze de moeilijkste uitdaging aan: een 2D-systeem waarbij het geheugen afhankelijk is van de ruimte in twee richtingen (zoals een patroon dat zich op een oppervlak vormt). De data was schaars (slechts 7 tijdstappen op een 3s32 grid) en ruizig (tot een standaarddeviatie van 0,15).

Het Resultaat: Dit is waar het verschil enorm werd. De Zachte Straf-strategie begon te hallucineren. Het produceerde recepten met vreemde rimpelingen die niet correct vervaagden. De Harde Beperking (MC-KAN) bleef echter rotsvast.
- Bij het hoogste ruisniveau (σ = 0,15) had de Harde Beperking een kernelfout van 12,36%, terwijl de Zachte Straf-methode een fout had van 21,95%. De Harde Beperking was bijna twee keer zo nauwkeurig.
- De Zachte Straf-methode produceerde zelfs "niet-toelaatbare" vormen (recepten die eruit zagen als machtswetten in plaats van de correcte exponentiële vormen) wanneer de ruis hoog was. De Harde Beperking overtrad de regels nooit.

Het Eindoordeel

Het artikel concludeert dat hoewel beide methoden goed werken wanneer de data schoon en eenvoudig is, het afdwingen van de regels door ze in de structuur van de AI te bouwen (Harde Beperkingen) veel robuuster is wanneer de data rommelig, schaars of hoogdimensionaal is.

De auteurs ontdekten dat voor het moeilijkste 2D-probleem met ruis, de Harde Beperking de fout met ongeveer 44% verminderde vergeleken met de Zachte Straf-methode. Ze gebruikten ook succesvol een hulpmiddel genaamd PySR om het door de AI geleerde "black box"-recept te vertalen naar een duidelijke, leesbare wiskundige formule (zoals $e^{-0,99\tau}$ ), waarmee ze bewezen dat de AI niet alleen getallen gokte, maar daadwerkelijk de onderliggende natuurkundige wet leerde.

Wat het artikel NIET beweert:

Het artikel beweert niet dat dit voor elke soort geheugen werkt. Het sluit expliciet recepten uit die trillen (oscilleren), van teken veranderen of niet vervagen. De Harde Beperking is specifelijk gebouwd voor een "vervagend geheugen" dat positief en vloeiend is.
Het artikel zegt niet dat dit een wondermiddel is voor alle inverse problemen. Het geeft toe dat ze voor het 2D-probleem de recepten in stukken moesten breken om de volledige formule te vinden, en dat de koppeling tussen de twee richtingen niet in één keer perfect werd hersteld.
De resultaten zijn gebaseerd op simulaties (door de computer gegenereerde data), niet op echte experimenten in de echte wereld. De auteurs suggereren dat dit een volgende stap is, maar het huidige bewijs ligt in de cijfers die zij hebben gegenereerd.

Kortom: Als je het geheime recept van een vervagend geheugen wilt vinden uit rommelige data, werkt het bouwen van een kooi rond je AI (Harde Beperkingen) veel beter dan het alleen maar beleefd vragen aan de AI om zich te gedragen (Zachte Beperkingen).

Technische Samenvatting: Neurale Ontdekking van Geheugen- en Niet-lokale Kernen in Integro-Differentiaalvergelijkingen met Beperkte Kolmogorov–Arnold-Netwerken

1. Probleemstelling

Het artikel behandelt het ill-posed inverse probleem van het identificeren van onbekende geheugen- of niet-lokale kernen die integro-differentiaalvergelijkingen (IDE's) aansturen vanuit schaarse en ruisgevoelige spatiotemporele observaties. IDE's modelleren fysieke systemen met geheugeneffecten (bijv. visco-elastische relaxatie, anomalie diffusie) of ruimtelijke niet-lokaliteit (bijv. peridynamica, niet-lokale reactie-diffusie), waarbij de toestand afhankelijk is van historische evolutie of verre ruimtelijke interacties via een convolutiekern $K$ .

Bestaande identificatiemethoden kampen met aanzienlijke beperkingen:

Klassieke benaderingen vertrouwen op probleemspecifieke analytische afleidingen, gespecialiseerde observatievereisten (bijv. metingen van de flux aan de randen) of restrictieve aannames om welgesteldheid te garanderen.
Huidige Scientific Machine Learning (SciML) methoden representeren kernen vaak impliciet binnen neurale netwerkparameters, wat een gebrek aan gesloten vorm-interpreteerbaarheid geeft, of vereisen casus-specifieke adjoint-afleidingen voor gradiëntberekening. Bovendien hebben veel methoden moeite met het afdwingen van fysieke beperkingen (positiviteit, monotoniciteit, convexiteit) die noodzakelijk zijn voor stabiele kernreconstructie in ill-posed settings.

Het doel is om een flexibel, datagestuurd framework te ontwikkelen dat de functionele vorm van de kern direct herstelt uit observaties, terwijl strikt wordt voldaan aan fysieke vormbeperkingen, zonder dat daarvoor probleemspecifieke analytische inversieformules nodig zijn.

2. Methodologie

De auteurs stellen een differentiable-solver-gebaseerd framework voor dat een trainbare neurale kernrepresentatie inbedt in een numerieke solver voor de IDE. Het framework volgt een "discretize-then-optimize" strategie, waarbij gradiënten worden berekend via automatische differentiatie door de solver, waardoor de noodzaak voor casus-specifieke adjoint-vergelijkingen wordt vermeden.

2.1. Neurale Kernparameterisatie

De onbekende kern $K(\tau)$ (waarbij $\tau$ tijd en/of ruimtelijke vertragingen vertegenwoordigt) wordt geparametriseerd met behulp van Kolmogorov–Arnold-netwerken (KANs). Twee specifieke architecturen worden vergeleken:

Soft-Constrained Chebyshev KAN (Cheb-KAN):
- Gebruikt Chebyshev-polynoombasissen voor de edge-functies.
- Fysieke eigenschappen (positiviteit, monotone afname, convexiteit) worden gestimuleerd via soft penalty-termen die aan de verliesfunctie worden toegevoegd.
- De verliesfunctie combineert data-mismatch met straffen voor negatieve waarden, positieve eerste afgeleiden en negatieve tweede afgeleiden.
Hard-Constrained Monotone–Convex KAN (MC-KAN):
- Gebruikt Bernstein-polynoombasissen voor de edge-functies.
- Fysieke eigenschappen worden door constructie afgedwongen via beperkingen op de polynoomcoëfficiënten.
- Mechanisme: Door de Bernstein-coëfficiënten zo te beperken dat ze voldoen aan specifieke ordenings- en convexiteitscondities (bijv. $c_0 \ge c_1 \ge \dots \ge c_N$ voor monotone afname), wordt gegarandeerd dat de resulterende functie positief, monotoon dalend en convex is binnen het domein $[0, 1]$ .
- De architectuur hanteert een specifieke laagvolgorde: de eerste laag gebruikt dalende convexe edge-functies, terwijl de daaropvolgende lagen stijgende convexe edge-functies gebruiken. Deze compositie zorgt ervoor dat de uiteindelijke kern aan de vereiste fysieke beperkingen voldoet, ongeacht de geleerde coëfficiënten.

2.2. Training en Reconstructie

Training: De neurale kern wordt ingebed in een forward solver (met gebruik van kwadratuur of FFT voor integralen). Parameters worden geoptimaliseerd om de mismatch tussen voorspelde en geobserveerde spatiotemporele data te minimaliseren.
Symbolic Regression: Na de training wordt de geleerde neurale kern gesampled, en wordt symbolic regression (via PySR) toegepast om een interpreteerbare, gesloten wiskundige expressie (bijv. exponentiële of machtswet-vormen) te extraheren.

3. Belangrijkste Bijdragen

Differentiable Solver Framework: Een algemeen framework voor kernontdekking dat neurale representaties direct integreert in numerieke solvers, waardoor de noodzaak voor casus-specifieke adjoint-afleidingen vervalt.
Hard-Constrained KAN Architectuur: De introductie van MC-KAN, die Bernstein-polynomen gebruikt om fysieke beperkingen (positiviteit, monotoniciteit, convexiteit) door constructie te garanderen, in plaats van te vertrouwen op soft penalties.
Vergelijkende Analyse: Een systematische evaluatie van hard-constrained (MC-KAN) versus soft-constrained (Cheb-KAN) benaderingen over variërende niveaus van dataschaarsheid, ruis en dimensionaliteit.
Interpreteerbaarheid: De succesvolle integratie van symbolic regression om geleerde neurale kernen om te zetten in gesloten vorm constitutieve wetten.

4. Experimentele Resultaten

Het framework werd gevalideerd op drie benchmarkproblemen:

Experiment I: 1D Volterra IDE (Temporeel Geheugen)

Taak: Het herstellen van een exponentiële geheugenkern uit ruisgevoelige tijdreeksdata.
Resultaten: Beide methoden identificeerden succesvol de exponentiële vorm. Echter, MC-KAN behaalde consistent lagere fouten in de kernreconstructie dan Cheb-KAN bij alle ruisniveaus en netwerkdieptes.
Observatie: Hoewel beide methoden de correcte analytische vorm ( $K(\tau) = e^{-r\tau}$ ) herstelden via symbolic regression, bood de hard-constrained MC-KAN nauwkeurigere numerieke benaderingen, vooral bij hogere ruisniveaus.

Experiment II: 1D Visco-elastische Golf PIDE (Temporeel Geheugen)

Taak: Het herstellen van een stretched-exponential (KWW) kern uit schaarse temporele snapshots van de trilling van een visco-elastische staaf.
Resultaten: Beide methoden waren robuust tegen dataschaarsheid (tot 1% van het volledige rooster). MC-KAN behaalde ~40% lagere fouten in de kernreconstructie dan Cheb-KAN over alle schaarsheidsniveaus.
Observatie: De reconstructies van MC-KAN bleven strikt positief, monotoon en convex, terwijl Cheb-KAN lichte oscillerende artefacten vertoonde. Beide methoden herstelden succesvol de ware KWW-parameters ( $\tau_0, \beta$ ) via symbolic regression.

Experiment III: 2D Niet-lokale Reactie-Diffusie Vergelijking (Ruimtelijke Niet-lokaliteit)

Taak: Het herstellen van een complexe, anisotrope, 2D ruimtelijke interactiekern uit schaarse en ruisgevoelige data.
Resultaten:
- In het ruisvrije geval presteerde Cheb-KAN marginaal beter.
- Onder ruisgevoelige omstandigheden ( $\sigma \ge 0.02$ ), presteerde MC-KAN aanzienlijk beter dan Cheb-KAN. Bij $\sigma = 0.15$ reduceerde MC-KAN de kernfout met bijna een factor twee vergeleken met Cheb-KAN.
- Robuustheid: De harde beperkingen in MC-KAN voorkamen niet-fysieke oscillaties die in Cheb-KAN-reconstructies verschenen wanneer de data schaars en ruisgevoelig was.
- Normalisatie: Een power-law inputnormalisatie (die de resolutie concentreert nabij de oorsprong) verbeterde de prestaties van MC-KAN verder voor kernen met scherpe gradiënten.
Symbolic Recovery: Hoewel gekoppelde 2D-vormen moeilijk direct te herstellen waren, identificeerde symbolic regression succesvol de scheidbare 1D-snedes en de koppelingsstructuur (productvorm) in de log-ruimte.

5. Betekenis en Claims

Het artikel claimt dat het afdwingen van fysiek gemotiveerde vormbeperkingen door constructie (via MC-KAN) een grotere robuustheid biedt dan soft penalties voor multidimensionale kernontdekking, met name wanneer observaties schaars en ruisgevoelig zijn.

Robuustheid: Het primaire voordeel van harde beperkingen is niet noodzakelijkerwijs superieure prestatie in goed geobserveerde, eenvoudige inverse problemen, maar eerder het vermogen om fysiek consistente en nauwkeurige representaties te behouden wanneer de datakwaliteit afneemt.
Generaliseerbaarheid: Het framework is compatibel met standaard tijd-integratoren en ruimtelijke discretisaties, waardoor het toepasbaar is op een brede klasse van IDE's zonder dat er aangepaste adjoint-afleidingen nodig zijn.
Beperkingen: De auteurs erkennen dat de huidige MC-KAN beperkt is tot positieve, monotone en convexe kernen (wat oscillerende of tekenveranderende kernen uitsluit). Daarnaast blijft symbolic regression voor volledig gekoppelde multidimensionale kernen uitdagend, wat vaak een gefaseerde reconstructie van scheidbare componenten vereist.

Samenvattend toont dit werk aan dat het combineren van differentiable solvers met structureel beperkte neurale netwerken (specifiek Bernstein-gebaseerde KANs) een krachtige, interpreteerbare en robuuste benadering biedt voor het oplossen van inverse problemen in niet-lokale en geheugenafhankelijke systemen.