🤖 machine learning

Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

Dit paper introduceert Symbolic-KANs, een interpreteerbaar neurale architectuur die de kloof tussen schaalbaar leren en symbolische ontdekking overbrugt door discrete symbolische structuren direct in het trainingsproces te integreren, waardoor nauwkeurige en compacte gesloten-vorm vergelijkingen voor fysische systemen kunnen worden afgeleid zonder post-hoc fitting.

Oorspronkelijke auteurs: Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

Gepubliceerd 2026-03-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Symbolic-KAN: De "Vertaler" die Wiskundige Geheimen Ontdekt

Stel je voor dat je een heel ingewikkeld raadsel moet oplossen. Je hebt een berg data (metingen, waarnemingen) en je wilt weten welke wetten de natuur gebruikt om die data te creëren. In de wereld van kunstmatige intelligentie (AI) zijn er tot nu toe twee soorten "detektives" geweest, maar ze hadden allebei een groot nadeel.

De Oude Wiskundige: Deze kon prachtige, korte formules schrijven die iedereen begrijpt (zoals $F = ma$). Maar hij was erg traag en kon alleen werken met simpele problemen. Hij kon niet goed omgaan met enorme hoeveelheden data.
De Moderne AI (Neuraal Netwerk): Deze is supersnel en kan enorme hoeveelheden data verwerken. Hij is een genie in het voorspellen van dingen. Maar hij is als een zwarte doos: hij geeft een antwoord, maar niemand weet waarom of hoe hij dat antwoord kreeg. Het is een "magische" formule die niemand kan lezen.

Symbolic-KAN is de nieuwe superheld die deze twee werelden combineert. Het is een AI die niet alleen slim is, maar ook leesbaar en begrijpelijk.

Hoe werkt het? De Analogie van de Keuken

Laten we dit uitleggen met een analogie uit de keuken.

1. De Ingrediënten (De Bibliotheek)
Stel je voor dat je een kok bent die een nieuw recept moet bedenken. Je hebt een grote kast vol met basis-ingrediënten: suiker, zout, citroen, peper, bloem, eieren, enzovoort. In de AI-taal noemen we dit een "bibliotheek van wiskundige functies" (zoals sin, cos, $x^2$ , $e^x$ ).

2. De Oude AI (De Zwarte Doos)
Een traditionele AI zou proberen om een soep te maken door alles door elkaar te gooien in een enorme blender. Het resultaat smaakt misschien goed (de voorspelling is goed), maar als je de soep proeft, kun je niet zeggen welke ingrediënten er precies in zitten. Het is een rommelige, onleesbare soep.

3. De Symbolic-KAN (De Slimme Chef)
De Symbolic-KAN werkt anders. Het is als een chef-kok die een heel specifiek proces volgt:

Stap 1: Proeven en Selecteren. De AI kijkt naar de data en probeert verschillende combinaties van ingrediënten.
Stap 2: De "Poort" (Gating). Dit is het slimme trucje. De AI heeft een soort "slimme poort" die beslist: "Hebben we echt peper nodig, of is zout genoeg?" In het begin probeert hij alles een beetje, maar naarmate hij traint, begint hij de poorten te sluiten voor de ingrediënten die niet nodig zijn.
Stap 3: De Scherpe Keuze. Aan het einde van het proces heeft de AI beslist: "Voor dit specifieke gerecht gebruiken we alleen citroen en suiker, en precies deze hoeveelheid." Alle andere ingrediënten worden weggegooid.

Het resultaat is geen rommelige soep, maar een koud, helder recept: "Meng 1 citroen met 2 lepels suiker." Dit is de "symbolische structuur".

Wat doet deze nieuwe AI precies?

De paper beschrijft drie dingen die Symbolic-KAN kan doen, allemaal met hetzelfde doel: de wetten van de natuur blootleggen in een simpele formule.

Het Oplossen van Raadsels (Data-driven):
Als je de AI een hoop willekeurige punten geeft (bijvoorbeeld hoe een bal valt), kan hij niet alleen de punten verbinden, maar ook de exacte wiskundige formule vinden die die punten beschrijft. Hij zegt dan: "Ah, dit is een parabool, dus de formule is $y = x^2$ ." Hij doet dit zonder dat hij de formule van tevoren kent.
Het Voorspellen van Beweging (Dynamische Systemen):
Stel je voor dat je kijkt naar een slinger die heen en weer zwaait. De AI kan leren hoe die slinger beweegt en de formule vinden die de snelheid en kracht beschrijft. Zelfs als de beweging heel complex is (zoals bij de beroemde Van der Pol-oscillator), vindt de AI de juiste wiskundige termen (zoals sinussen en cosinussen) die de beweging regelen.
Het Oplossen van Fysica (PDE's):
Dit is het moeilijkste deel. Denk aan hoe warmte zich verspreidt in een pan of hoe water stroomt. De AI kan deze processen simuleren en tegelijkertijd de onderliggende wiskundige wetten (de vergelijkingen) ontdekken. Het is alsof de AI niet alleen zegt "het water stroomt hier", maar ook uitlegt: "Het stroomt hier omdat de wet van Laplace het voorschrijft."

Waarom is dit zo belangrijk?

Vroeger moesten wetenschappers kiezen tussen snelheid (AI die veel kan) en begrip (wiskunde die we kunnen lezen).

Met Symbolic-KAN krijgen we het beste van beide werelden:

Het is schaalbaar: Het kan werken met enorme datasets, net als de moderne AI.
Het is interpreteerbaar: Aan het einde krijg je een korte, duidelijke formule die een mens kan lezen en begrijpen.
Het is betrouwbaar: Omdat de AI de echte wiskundige structuur ontdekt, is hij vaak beter in het voorspellen van dingen die hij nog nooit heeft gezien (extrapolatie) dan een gewone AI.

Kortom: Symbolic-KAN is als een vertaler die een ingewikkelde, onleesbare code van de natuur vertaalt naar een simpele, mooie zin die elke wetenschapper kan begrijpen. Het maakt de "zwarte doos" van AI transparant en helpt ons de fundamentele wetten van ons universum sneller en beter te ontdekken.

Probleemstelling

In het domein van wetenschappelijk machine learning (SciML) bestaat er een fundamentele afweging tussen interpretatie en schaalbaarheid.

Symbolische regressie (bijv. SINDy, genetische algoritmen) levert expliciete, menselijk leesbare analytische uitdrukkingen op, maar lijdt vaak onder hoge rekenkosten, combinatorische explosie en beperkingen in schaalbaarheid bij hoge dimensies.
Neurale netwerken (zoals MLP's en zelfs standaard KAN's) schalen uitstekend met data en dimensie, maar produceren "ondoorzichtige" (opaque) representaties die moeilijk te interpreteren zijn als mechanistische modellen.
Bestaande Kolmogorov-Arnold Netwerken (KAN's) verbeteren dit al door univariate functies te leren in plaats van vaste activeringsfuncties, maar de resulterende globale uitdrukkingen kunnen, wanneer ze symbolisch worden uitgeschreven, nog steeds onhandig en complex zijn, waardoor ze niet echt interpreteerbaar zijn.

Het doel van dit werk is een architectuur te ontwikkelen die de schaalbaarheid van neurale netwerken combineert met de transparantie van symbolische regressie, zonder de noodzaak van post-hoc symbolische fitting.

Methodologie: Symbolic-KAN

De auteurs introduceren Symbolic-KAN, een neurale architectuur die discrete symbolische structuren direct in een trainbaar diep netwerk inbedt. De kernprincipes zijn:

Architectuur en Decompositie:
- Het netwerk baseert zich op het Kolmogorov-Arnold Representatie Theorema (KART), waarbij multivariate functies worden ontbonden in composities van univariate functies.
- In tegenstelling tot standaard KAN's die een matrix van univariate functies gebruiken, leert elk eenheid (unit) in Symbolic-KAN een scalair projectie ( $s = w^T h + b$ ) van de vorige laag.
- Op deze projectie wordt een univariabele primitieve toegepast uit een vooraf gedefinieerde bibliotheek van analytische functies (bijv. $\{0, 1, x, x^2, \sin(x), \cos(x), \tanh(x), e^x, \dots\}$ ).
Gated Training en Discrete Selectie:
- Het netwerk gebruikt een hiërarchische gating-mechanisme om van een continue mengselmodel over te gaan naar een strikt symbolische structuur.
- Primitieve-selectie: Voor elke "edge" (verbinding) wordt een logit-vector gebruikt om een primitieve te kiezen. Dit wordt gemodelleerd via Gumbel-Softmax met een temperatuurparameter ( $\tau$ ) die tijdens het trainen afneemt (annealing). Hierdoor convergeert de verdeling naar een "one-hot" selectie (één specifieke primitieve per edge).
- Edge-selectie: Een unit kan meerdere edges hebben; een masker kiest de meest relevante projectie.
- Unit-gating: Units met een lage activatie kunnen worden "gepruned" (verwijderd) om de structuur verder te verdunnen.
- Regularisatie: Entropie-regularisatie en non-maximum suppression (NMS) straffen diffuse mengsels af en moedigen scherpe, discrete keuzes aan.
Trainingsproces:
- Fase I: Optimisatie van de "zachte" parameters (gates, projecties) met een hoge temperatuur voor exploratie.
- Fase II: "Hardening" van de gates naar discrete one-hot waarden, gevolgd door verfijning van de resterende continue parameters (bijv. met L-BFGS).
- Het verliesfunctie omvat data-fideliteit (of PDE-residuen), fysieke constraints, en symbolische regularisatie-termen.

Belangrijkste Bijdragen

Directe Symbolische Ontdekking: Het netwerk levert na training compacte, gesloten-vorm uitdrukkingen op zonder dat er een aparte symbolische regressiestap nodig is.
Scalable Primitive Discovery: Het fungeert als een schaalbaar mechanisme om de meest relevante analytische componenten te identificeren. Deze kunnen vervolgens dienen als een "pre-library" voor methoden zoals SINDy, waardoor het probleem van het kiezen van de juiste kandidaat-termen wordt opgelost.
Interpreteerbaarheid zonder Oplossing: In tegenstelling tot standaard KAN's, waar de uitdrukkingen complex blijven, garandeert Symbolic-KAN dat elke actieve unit slechts één primitieve en één projectierichting selecteert, wat leidt tot menselijk leesbare formules.
Unificatie van Paradigma's: Het overbrugt de kloof tussen data-gedreven regressie, dynamische systeemidentificatie en Physics-Informed Neural Networks (PINN's).

Resultaten

De methode werd getest in drie scenario's:

Data-gedreven Regressie (Toy Experiments):
- Het model slaagde erin om complexe niet-lineaire functies (zoals $x^2$ en combinaties van trigonometrische en rationale functies) nauwkeurig te benaderen.
- Na hardening bleven alleen de correcte primitieven (bijv. $x^2$ of $\sin$ ) over, terwijl irrelevante termen werden verwijderd. Het model toonde goede generalisatie buiten het trainingsdomein (extrapolatie).
Identificatie van Dynamische Systemen (Van der Pol Oscillator):
- Het model reconstrueerde de trajecten van een niet-lineair dynamisch systeem met een niet-geheel exponent ( $x^{2.15}$ ) en onbekende parameters.
- Het slaagde erin om de parameters ( $a, \mu, c$ ) met hoge precisie te schatten (fouten < 1% voor de meeste parameters) en de onderliggende dynamische structuur (oscillaties) correct weer te geven, zelfs over lange tijdsintervallen.
Physics-Informed Learning (PDE's):
- Reactie-Diffusie Vergelijking: Symbolic-KAN overtrof zowel standaard PINN's als Chebyshev-KAN's (cPIKAN) aanzienlijk in nauwkeurigheid, vooral bij grotere ruimtelijke domeinen. Het herkende correct dat trigonometrische functies de dominante componenten waren van de oplossing.
- Laplace Vergelijking: Voor de 2D Laplace-vergelijking selecteerde het model primitieven ( $\sin, \sinh, \cosh$ ) die overeenkwamen met de analytische oplossing. De fouten waren significant lager dan bij baselines (ca. 59% lager dan PINN, 87% lager dan cPIKAN).

Betekenis en Conclusie

Symbolic-KAN vertegenwoordigt een belangrijke stap in de richting van schaalbare, interpreteerbare en mechanistisch onderbouwde leermodellen.

Het lost het probleem op dat neurale netwerken vaak "black boxes" zijn, door ze te dwingen om te werken met discrete, menselijk begrijpelijke bouwstenen.
Het biedt een robuust alternatief voor traditionele symbolische regressie die vaak vastloopt in hoge dimensies of complexe zoekruimtes.
De methode is bijzonder waardevol voor wetenschappelijke toepassingen waar niet alleen voorspellingen nodig zijn, maar ook inzicht in de onderliggende wiskundige wetten (bijv. het ontdekken van nieuwe materiaaleigenschappen of fysische wetten).

Kortom, Symbolic-KAN combineert de expressiviteit van diepe learning met de transparantie van symbolische wiskunde, waardoor het mogelijk wordt om direct uit data en fysieke constraints compacte, analytische wetten af te leiden.