KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework

Technische Samenvatting: KAN-SR

Probleemstelling
Symbolische Regressie (SR) beoogt gesloten wiskundige expressies te ontdekken die een gegeven dataset nauwkeurig modelleren door zowel de functionele vorm als de parameters af te leiden. In tegenstelling tot traditionele regressie met vaste structuren of black-box machine learning-modellen, streeft SR naar interpreteerbare, beknopte relaties die essentieel zijn voor wetenschappelijke ontdekkingen. Echter, klassieke methoden zoals Genetic Programming (GP) lijden vaak onder een lage efficiëntie in het gebruik van samples, hoge computationele kosten en schaalbaarheidsproblemen. Recente neuro-symbolische benaderingen worstelen met end-to-end training van discrete representaties, en een gebrek aan universele benchmarks belemmert consistente vergelijking. Bovendien is het toepassen van SR op dynamische technische systemen uitdagend vanwege de gevoeligheid van afgeleide-schatting voor ruis in tijdreeksgegevens.

Methodologie: Het KAN-SR Framework
De auteurs stellen KAN-SR voor, een framework gebouwd op Kolmogorov-Arnold Networks (KANs) [22, 23] gecombineerd met een divide-and-conquer-strategie en symbolische vereenvoudiging.

1. Netwerkarchitectuur:

   • KANs: In tegenstelling tot standaard neurale netwerken met vaste activatiefuncties, maken KANs gebruik van leerbare univariate functies. De auteurs implementeren Fast-KAN met behulp van Radial Basis Functions (specifiek een Reflectional Switch Activation Function, RSWAF) in plaats van B-splines om de trainingssnelheid en efficiëntie te verbeteren.
   • Hybride Compositie: Om de beperking van puur additieve KANs bij het representeren van multiplicatieve interacties te overwinnen, staat het framework expliciet zowel additieve als multiplicatieve combinaties van leerbare activaties binnen single-layer units toe.
   • Regularisatie: Om spaarzaamheid (sparsity) en interpreteerbaarheid af te dwingen, maakt het model gebruik van een regularisatieschema dat onnodig gebruik van inputs bestraft via magnitude ($L_1$) en entropie-losses op activatiematrices, naast een $L_1$-straf op de basis lineaire gewichten.

2. Workflow en Pipeline:
   Het framework werkt via een flexibele, meerfasige pipeline (zie Figuur 1 in het artikel):

   • Preprocessing: Normalisatie van inputvariabelen.
   • Brute-Force Zoektocht: Een initiële exhaustieve zoektocht naar eenvoudige multivariate multiplicatieve expressies.
   • Vereenvoudiging en Decompositie: Geïnspireerd door AI Feynman [15], detecteert het systeem recursief scheidbaarheid (additief of multiplicatief) en symmetrieën (translatie, schaling, etc.) om complexe problemen te deconstrueren naar lager-dimensionale subproblemen.
   • Single-Layer KAN Fitting: De gedecodeerde subproblemen worden gefit met minimale KAN-architecturen (single of meerdere units).
   • Symbolische Extractie: Getrainde univariate activaties worden benaderd door functies uit een vooraf gedefinieerde, uitbreidbare bibliotheek (polynomen, trigonometrische, exponentiële, logaritmische, Michaelis-Menten, etc.). De beste fit wordt geselecteerd op basis van Mean Squared Error (MSE) of een score die MSE en complexiteit balanceert.
   • Output Transformatie: Als fitting faalt, wordt de doelvariabele getransformeerd (bijv. logaritmisch) om de functionele vorm te vereenvoudigen voordat de zoektocht opnieuw wordt geprobeerd.
   • Deep KAN Loop: Als fallback worden diepere KAN-architecturen verkend als eenvoudigere modellen falen, hoewel de primaire experimenten zich richten op de effectiviteit van de vereenvoudigingspipeline zonder deze stap.

3. Dynamische Systeem Extensie (Neural CDEs):
   Voor dynamische systemen integreert het framework Neural Controlled Differential Equations (Neural CDEs) [36, 28]. Een Neural CDE wordt getraind op ruisige tijdreeksgegevens om vloeiende afgeleiden te schatten. Deze robuuste afgeleideschattingen dienen als het doelwit voor de symbolische regressiestap, waardoor de ontdekking van de leidende differentiaalvergelijkingen (kinetische reactiewetten) mogelijk wordt, ondanks ruisige observaties.

Belangrijkste Bijdragen

• Framework Voorstel: Introductie van KAN-SR, die compositioneel deep learning (KANs) verenigt met symbolische extractie en vereenvoudiging.
• Symbolische Pipeline: Ontwikkeling van een symbolische extractie- en vereenvoudigingspipeline geïnspireerd door AI Feynman, gebruikmakend van een uitgebreide univariate functieliberaliteit.
• Benchmark Evaluatie: Uitgebreide evaluatie op de SRSD-Feynman dataset [16], die verbeteringen in de snelheid van symbolische herwinning aantoont.
• Dynamische Modellering: Uitbreiding van de methode naar dynamische systemen via een bioproces casestudy, waarbij Neural CDEs worden ingezet voor ruis-robuuste afgeleideschatting.

Experimentele Resultaten

• SRSD-Feynman Benchmark: KAN-SR behaalde de hoogste oplossingspercentages over alle moeilijkheidsgraden (Easy, Medium, Hard) vergeleken met state-of-the-art baselines (gplearn, AFP, AIF, DSR, PySR, etc.).
  • Easy: 93,3% oplossingspercentage (vs. 60,0% voor de op één na beste methode).
  • Medium: 60,0% (vs. 30,0% voor PySR).
  • Hard: 12,0% (vs. 4,0% voor PySR).
  • Robuustheid: Het framework behield een hoge prestatie (86,7% op Easy) zelfs wanneer dummy (irrelevante) variabelen werden geïntroduceerd, waarmee het andere methoden significant overtrof. Het demonstreerde ook robuustheid tegen Gaussische ruis, waarbij het meer dan 50% van de Easy problemen oploste met 0,1 ruisniveau.
• Bioproces Casestudy: In een gesimuleerd batchfermentatiemodel slaagde de tweestapsbenadering (Neural CDE voor afgeleiden + KAN-SR voor vergelijkingen) erin om kinetische reactievergelijkingen te herwinnen die structureel vergelijkbaar zijn met de grondwaarheid (ground truth). Hoewel de biomassa-afhankelijke zelfinhibitie-term niet volledig werd herwonnen, reproduceerde het resulterende symbolische model de systeemdynamiek met een hoge getrouwheid in parity plots.

Betekenis en Claims
Het artikel claimt dat KAN-SR een significante vooruitgang biedt in symbolische regressie door de expressiviteit van deep learning effectief te combineren met de interpreteerbaarheid van symbolische vormen. De "divide-and-conquer"-aanpak, gebruikmakend van scheidbaarheids- en symmetriedetectie, stelt het framework in staat om complexe problemen op te lossen die andere methoden vaak verslaan, met name in de aanwezigheid van irrelevante variabelen en ruis.

De auteurs positioneren KAN-SR als een instrument dat in staat is om grondwaarheid-vergelijkingen te herwinnen in wetenschappelijke domeinen, waarbij ze specif de potentie benadrukken voor het modelleren van dynamische technische systemen zoals bioprocessen. Ze merken op dat hoewel de methode uitblinkt wanneer de grondwaarheid herwinbaar is uit de trainingsvariabelen, het beperkingen ondervindt als de optimale oplossing buiten de geconstrueerde zoekruimte valt die wordt gedefinieerd door de single-layer KAN-architectuur en de specifieke univariate functieliberaliteit. Het framework wordt gepresenteerd als een stap naar robuustere, interpreteerbare dynamische modellering, hoewel de auteurs erkennen dat bredere validatie op real-world tijdreeks-systemen vereist is om de generaliseerbaarheid volledig te beoordelen.