Structured Kolmogorov-Arnold Neural ODEs for Interpretable Learning and Symbolic Discovery of Nonlinear Dynamics

Dit artikel introduceert Structured Kolmogorov-Arnold Neural ODEs (SKANODEs), een framework dat Kolmogorov-Arnold-netwerken integreert in neurale ODE's om zowel nauwkeurige voorspellingen als interpreteerbare symbolische vergelijkingen voor niet-lineaire dynamische systemen te genereren, zoals aangetoond op oscillatoren en F-16-vibratiedata.

De kern

Stel je voor dat je een heel complexe machine probeert te begrijpen, zoals een vliegtuig dat trilt of een veer die heen en weer beweegt. In de wereld van de wetenschap en techniek noemen we dit niet-lineaire dynamische systemen. Het probleem is: we kunnen vaak niet alles direct zien. We hebben alleen sensoren die meten hoe hard iets schudt (versnelling), maar we willen weten hoe ver het beweegt (positie) en hoe snel het gaat (snelheid).

Vroeger gebruikten ingenieurs simpele formules, maar die faalden bij complexe systemen. Vervolgens kwamen er "Black Box" kunstmatige intelligentie-modellen (Deep Learning). Die waren heel goed in voorspellen, maar ze werkten als een magische doos: ze gaven het juiste antwoord, maar niemand wist waarom of hoe ze tot dat antwoord kwamen. Voor ingenieurs is dat gevaarlijk; je wilt weten wat er in de machine gebeurt, niet alleen dat hij het doet.

De auteurs van dit paper hebben een nieuwe oplossing bedacht: SKANODE.

Hier is hoe het werkt, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. De "Magische Vertaler" (De Structuur)

Stel je voor dat je een vreemde taal spreekt (de versnellingsdata van je sensoren), maar je wilt de betekenis begrijpen in je eigen taal (positie en snelheid).

• Het oude probleem: De meeste AI-modellen proberen de vreemde taal letterlijk te vertalen, maar ze vergeten de grammaticaregels van de natuurkunde. Ze zeggen misschien "de auto rijdt 100 km/u", terwijl de sensoren eigenlijk zeggen "de auto schudt heel hard".
• De SKANODE-oplossing: SKANODE bouwt een vertaler die de regels van de natuurkunde kent. Het dwingt het model om te denken in termen van "positie" en "snelheid", zelfs als het alleen maar versnellingsdata ziet. Het is alsof je een vertaler hebt die niet alleen woorden omzet, maar ook weet dat als je hard remt, de auto niet door de muur kan vliegen. Dit noemen ze een "gestructureerde toestand-ruimte".

2. De "Slimme Tekstschrijver" (KAN)

Nu hebben we een model dat de bewegingen goed begrijpt, maar het is nog steeds een beetje vaag. Het zegt: "De beweging is een ingewikkelde kromme."

• De innovatie: Hier komt de Kolmogorov-Arnold Netwerk (KAN) om de hoek kijken. In plaats van een wazige kromme te tekenen, fungeert KAN als een slimme tekstschrijver.
• Hoe het werkt: KAN kijkt naar de data en probeert een korte, duidelijke wiskundige formule te vinden die alles beschrijft. Het is alsof je in plaats van een heel lang, verwarrend verhaal te lezen, plotseling een simpele zin krijgt: "De kracht is gelijk aan de snelheid maal de positie in het kwadraat."
• Dit is wat ze symbolische ontdekking noemen. Het model schrijft de "wetten van de natuur" voor je op, in plaats van ze alleen maar te simuleren.

3. Het Twee-Stappen Plan

SKANODE werkt in twee fases, net als het leren van een instrument:

1. Fase 1 (Oefenen): Het model oefent met de sensordata (versnelling) om een perfect beeld te krijgen van wat er gebeurt. Het leert de "gevoelens" van de machine begrijpen (virtuele sensoren).
2. Fase 2 (De Formule schrijven): Zodra het model weet wat er gebeurt, schrijft het de formule op. Daarna kijkt het nog eens kritisch naar die formule om te zien of hij nog beter kan.

Waarom is dit zo cool? (De Resultaten)

De auteurs hebben dit getest op drie dingen:

1. Een Duffing-oscillator (een veer met een rare, kubische veerkracht): SKANODE vond precies de juiste formule met de "kubische term" erin. Andere modellen gaven alleen maar een wazig antwoord.
2. Een Van der Pol-oscillator (een systeem met wrijving die verandert): Het model ontdekte de juiste manier waarop de wrijving werkt.
3. Een echt F-16 vliegtuig: Dit is het meest indrukwekkend. Ze keken naar trillingen waar een vliegtuigvleugel aan een lading hangt.
   • Andere modellen zagen alleen maar ruis.
   • SKANODE zag een patroon van "hysterese". Dat is een technisch woord voor: "als je terugkomt op je stappen, is het niet precies hetzelfde als toen je erheen ging" (net als een deur die een beetje vastzit en dan plotseling open springt).
   • SKANODE kon dit patroon zien in de data en zelfs een formule schrijven die dit gedrag beschrijft. Dit helpt ingenieurs om te begrijpen waar het vliegtuig slijtage vertoont.

De Grootste Winst: Snelheid en Begrip

Het mooiste voorbeeld van de kracht van SKANODE komt uit een test met een controller (een systeem dat het vliegtuig stabiliseert).

• De oude manier: Om de formule te gebruiken, moest de computer elke seconde een ingewikkelde berekening doen (zoals het oplossen van een raadsel in realtime). Dit duurde lang en was traag.
• De SKANODE manier: Omdat SKANODE een duidelijke, simpele formule had geschreven, kon de computer het antwoord direct "lezen" zonder te rekenen. Het was 7.400 keer sneller!

Samenvatting

SKANODE is als een detective die niet alleen de dader vindt, maar ook de moordbrief schrijft.

• Andere AI: "Ik denk dat de dader hier was." (Goed, maar waarom?)
• SKANODE: "De dader was hier, en hier is de exacte formule die bewijst hoe hij het deed, gebaseerd op de vingerafdrukken die we vonden."

Het combineert de kracht van moderne AI met de duidelijkheid van klassieke natuurkunde. Hierdoor kunnen ingenieurs niet alleen voorspellen wat er gaat gebeuren, maar ook begrijpen waarom, en dat doen ze zelfs als ze maar beperkte data hebben (zoals alleen versnellingsmetingen).

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Structured Kolmogorov-Arnold Neural ODEs for Interpretable Learning and Symbolic Discovery of Nonlinear Dynamics" in het Nederlands.

Titel: Gestructureerde Kolmogorov-Arnold Neural ODEs voor Interpretable Learning en Symbolische Ontdekking van Niet-lineaire Dynamica

Auteurs: Wei Liu, Kiran Bacsa, Loon Ching Tang, Eleni Chatzi
Publicatie: arXiv:2506.18339v3 [cs.LG] (5 maart 2026)

---

1. Het Probleem

Het modelleren en begrijpen van niet-lineaire dynamische systemen is een fundamentele uitdaging in wetenschap en engineering. Hoewel diepe learning (deep learning) veelbelovend is voor het vastleggen van complex systeemgedrag, kampen bestaande methoden met twee belangrijke beperkingen:

1. Gebrek aan interpretatie: Bestaande Neural Ordinary Differential Equations (NODEs) fungeren vaak als "black-box" modellen. Ze kunnen efficiënte latente representaties leren, maar onthullen niet de onderliggende fysische mechanismen of besturende vergelijkingen.
2. Beperkingen van symbolische regressie: Traditionele methoden voor het ontdekken van symbolische vergelijkingen (zoals SINDy) vereisen doorgaans directe toegang tot alle fysische toestanden (zoals verplaatsing en snelheid) en hun afgeleiden. In de praktijk zijn metingen vaak indirect (bijv. versnelling), ruisgevoelig, en zijn toestanden slechts gedeeltelijk waarneembaar. Bestaande pipelines zijn vaak losgekoppeld van het modelleerproces en werken als post-hoc benaderingen in plaats van end-to-end trainbare componenten.

2. Methodologie: SKANODE

De auteurs stellen Structured Kolmogorov-Arnold Neural ODEs (SKANODE) voor. Dit is een raamwerk dat gestructureerde state-space-modellering combineert met Kolmogorov-Arnold Networks (KANs) binnen een Neural ODE-architectuur.

Kerncomponenten:

• Gestructureerde State-Space Formulering: In plaats van een willekeurige latente ruimte te leren, wordt de latente toestand $z(t)$ expliciet gedefinieerd als fysisch betekenisvolle grootheden: verplaatsing ($x$) en snelheid ($v$). De dynamica wordt gemodelleerd als een tweede-orde systeem:
  $$\frac{d}{dt} \begin{bmatrix} x(t) \\ v(t) \end{bmatrix} = \begin{bmatrix} v(t) \\ h_\theta(x(t), v(t), u(t)) \end{bmatrix}$$
  waarbij de observatiemodel direct de versnelling ($y(t) = \ddot{x}(t)$) koppelt aan de dynamische functie $h_\theta$. Dit dwingt het model om fysisch consistente relaties te leren, zelfs als alleen versnellingsdata beschikbaar is ("virtual sensing").
• Kolmogorov-Arnold Networks (KAN): KANs vervangen traditionele MLP's. Ze gebruiken leerbare spline-functies als activeringsfuncties. Dit biedt twee voordelen:
  1. Universele benadering: Ze kunnen complexe niet-lineaire mappingen leren.
  2. Symbolische extractie: De geleerde spline-functies kunnen worden geparseerd naar compacte, symbolische wiskundige uitdrukkingen.
• Twee-staps Leerproces:
  1. Fase 1 (Latente Dynamica): Een volledig trainbare KAN ($KAN_{approx}$) wordt gebruikt om de versnellingsdynamica te benaderen binnen de gestructureerde ODE. Hierdoor worden de latente verplaatsings- en snelheidstrajecten gereconstrueerd uit indirecte metingen.
  2. Fase 2 (Symbolische Ontdekking & Calibratie): De gereconstrueerde signalen worden ingevoerd in een tweede KAN ($KAN_{symbolic}$) die werkt in "symbolische modus". Deze extrahert een expliciete, gesloten vorm vergelijking voor de besturende dynamica. Deze symbolische vergelijking wordt vervolgens teruggevoerd in de ODE voor verdere calibratie om de voorspellende nauwkeurigheid te maximaliseren.

3. Belangrijkste Bijdragen

• End-to-End Symbolische Ontdekking: SKANODE is het eerste raamwerk dat symbolische vergelijkingen direct kan ontdekken uit indirecte, ruisbeïnvloede sensorgegevens (zoals versnelling) zonder numerieke differentiatie of volledige toestandsobservatie.
• Fysische Interpretatie: Door inductieve bias in de state-space structuur te integreren, garandeert het model dat de geleerde latente toestanden corresponderen met fysieke grootheden (verplaatsing/snelheid), in tegenstelling tot abstracte latente variabelen in standaard NODEs.
• Identificeerbaarheid: De auteurs bewijzen theoretisch (Propositie 1) dat onder bepaalde voorwaarden (voldoende data, juiste modelcapaciteit) SKANODE de ware besturende dynamica en toestanden exact kan herstellen als de verliesfunctie tot nul wordt geminimaliseerd.
• Robuustheid: Het framework is ontworpen om robuust te zijn tegen meetruis en gedeeltelijke observatie, wat cruciaal is voor engineering-toepassingen.

4. Resultaten

Het model werd getest op drie scenario's en vergeleken met baselines zoals ANODE, SONODE, ARX, NARX en numerieke SINDy-methoden:

1. Duffing Oscillator (Synthetisch):

   • SKANODE slaagde erin de bekende kubieke stijfheidsterm ($x^3$) correct te identificeren.
   • Het leverde de laagste Mean Squared Error (MSE) voor zowel versnelling als de gereconstrueerde verplaatsing/snelheid.
   • Toepassing: De ontdekte symbolische vergelijking werd gebruikt voor feedback-linearisatie (FBL) in een regelingstest. Dit resulteerde in vergelijkbare regelprestaties als een Newton-gebaseerde inversie, maar met een 7.400-voudige versnelling in rekentijd, wat essentieel is voor real-time controle.

2. Van der Pol Oscillator (Synthetisch):

   • Het model identificeerde correct de niet-lineaire dempingsterm (koppeling tussen $x$ en $\dot{x}$).
   • SKANODE overtrof alle baselines aanzienlijk in voorspellende nauwkeurigheid en SSIM (Structural Similarity Index), terwijl ANODE en SONODE faalden of abstracte, niet-interpreteerbare toestanden produceerden.

3. F-16 Vliegtuig (Real-world Data):

   • Gebruikmakend van grondtrillingsdata van een F-16 met een niet-lineair interface tussen vleugel en lading.
   • SKANODE kon complexe hysterese-effecten identificeren die zichtbaar waren in de fase-portretten van de latente toestanden.
   • Het model leverde een symbolische vergelijking die de hysterese beschreef, terwijl numerieke baselines (SINDy) faalden omdat ze geen latente hysterese-toestand konden modelleren.
   • De voorspellingen waren aanzienlijk nauwkeuriger (MSE 0.0022 vs >0.5 voor baselines) en behielden de tijd-frequentie-inhoud van de respons.

5. Betekenis en Conclusie

SKANODE vormt een doorbraak in het veld van "Physics-Encoded Deep Learning". Het overbrugt de kloof tussen de hoge expressiviteit van diepe learning en de noodzaak voor fysieke interpretatie en wetenschappelijke ontdekking.

• Wetenschappelijke Impact: Het stelt onderzoekers in staat om besturende vergelijkingen te ontdekken uit data waarvoor geen volledige toestandsmetingen beschikbaar zijn, wat vaak het geval is in complexe engineering-systemen.
• Praktische Toepassing: De mogelijkheid om compacte, symbolische vergelijkingen te genereren die direct in controllers kunnen worden gebruikt, opent de deur voor betrouwbare, interpreteerbare en real-time modelgebaseerde controle in kritieke systemen (zoals luchtvaart en civiele infrastructuur).
• Toekomst: Het werk suggereert dat het integreren van domeinkennis in de architectuur (inductieve bias) essentieel is voor het creëren van modellen die niet alleen voorspellen, maar ook "begrijpen" hoe systemen werken.

Samenvattend biedt SKANODE een robuust, interpreteerbaar en nauwkeurig raamwerk voor het leren van niet-lineaire dynamica, zelfs onder ongunstige meetomstandigheden.