Multilevel Training for Kolmogorov Arnold Networks

Dit paper introduceert een multilevel trainingsmethode voor Kolmogorov-Arnold-netwerken (KANs) die gebruikmaakt van hun structuur en spline-basisfuncties om de trainingssnelheid en nauwkeurigheid aanzienlijk te verbeteren, met name voor fysisch geïnformeerde neurale netwerken.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van creatieve analogieën.

De Kern: Een Slimme Manier om AI Sneller te Leren

Stel je voor dat je een kunstenaar bent die een heel ingewikkeld schilderij moet maken. De meeste kunstenaars (de traditionele neurale netwerken, of MLP's) werken met een doos vol verf en kwasten, maar ze weten niet precies welke kleur ze waar moeten zetten. Ze proberen het erop, kijken of het klopt, en hopen dat het langzaam beter wordt. Dit proces is vaak traag en inefficiënt.

De auteurs van dit paper hebben gekeken naar een nieuwere soort kunstenaar: de Kolmogorov-Arnold Netwerken (KANs). Deze werken anders. In plaats van met losse kwasten, gebruiken ze een set van vooraf gedefinieerde "stencils" of sjablonen (wiskundig: splines). Hierdoor weten ze precies welke vorm ze kunnen maken.

Het probleem is echter: hoe leer je deze nieuwe kunstenaar zo snel mogelijk? Het team heeft een oplossing bedacht die ze "Multilevel Training" noemen.

De Analogie: Het Bouwen van een Kaart

Om te begrijpen wat ze doen, kun je denken aan het maken van een gedetailleerde kaart van een landschap.

1. De oude manier (Conventioneel trainen): Je begint direct met het tekenen van elke boom, elke steen en elk grasplukje op een heel groot vel papier. Je probeert alles in één keer perfect te krijgen. Dit is vermoeiend, duurt eeuwen en je maakt veel fouten in de details voordat je de grote lijnen goed hebt.
2. De nieuwe manier (Multilevel Training):
   • Stap 1 (Het Grove): Je begint met een heel klein vel papier. Je tekent alleen de grote bergtoppen en de rivieren. Dit gaat supersnel. Je hebt nu een ruwe schets.
   • Stap 2 (Het Overbrengen): Je neemt die ruwe schets en projecteert hem op een groter vel papier. Omdat de grote lijnen al goed zijn, hoef je ze niet opnieuw te tekenen. Je hoeft alleen maar de details toe te voegen.
   • Stap 3 (De Details): Op het grote vel papier vul je nu de bomen, struiken en paden in. Omdat de basis al perfect zat, kun je je volledige energie steken in de fijne details.

Dit is precies wat de auteurs doen met hun AI-modellen. Ze beginnen met een "grof" model (weinig details) en werken zich op naar een "fijn" model (veel details), zonder de tijd te verspillen aan het opnieuw leren van wat ze al weten.

Het Magische Geheim: De "Taalwissel"

De echte doorbraak in dit paper zit in een wiskundige truc die ze hebben ontdekt.

Ze laten zien dat deze nieuwe kunstenaars (KANs) eigenlijk hetzelfde zijn als de oude kunstenaars (MLP's), maar dat ze in een andere taal spreken.

• De oude kunstenaars spreken de taal van "ReLU" (een simpele, hoekige manier van denken).
• De nieuwe kunstenaars spreken de taal van "Splines" (een vloeiende, gebogen manier van denken).

De auteurs hebben een woordenboek (een wiskundige transformatie) bedacht om deze twee talen om te zetten. Ze ontdekten iets fascinerends:

• Als je in de taal van de oude kunstenaars (ReLU) traint, probeer je eerst de grote lijnen te tekenen, maar je blijft steken. Je kunt de fijne details (de "ruis" of de scherpe randen) niet goed aanpakken. Het is alsof je probeert een scherp mes te maken met een botte hamer.
• Als je in de taal van de nieuwe kunstenaars (Splines) traint, werkt het woordenboek als een versterker. Het zorgt ervoor dat de AI eerst de grote lijnen leert, en zodra ze dat kunnen, kunnen ze direct en gemakkelijk de fijne details toevoegen.

Waarom werkt dit zo goed? (De "Complementaire" Kracht)

In de wereld van numerieke wiskunde (het oplossen van complexe vergelijkingen) bestaat een bewezen methode om snel te werken: Multigrid. Dit werkt alleen als de stappen op verschillende niveaus elkaar aanvullen.

• Op het grove niveau: Leer je de "zachte", grote bewegingen.
• Op het fijne niveau: Leer je de "harde", snelle bewegingen.

De auteurs tonen aan dat hun nieuwe methode (KANs met splines) dit perfect doet.

• Als je een ReLU-model (de oude manier) probeert te verfijnen, werkt het niet. Het model blijft steken in de grote lijnen en kan de nieuwe details niet "zien". Het is alsof je een schilderij probeert te verbeteren door er nog meer verf over de al perfecte grote lijnen te smeren; het wordt alleen rommelig.
• Als je een Spline-model (de nieuwe manier) verfijnt, werkt het als een wonder. Het model ziet direct: "Ah, de grote lijnen staan goed, nu kan ik de details invullen." Het leert de nieuwe, complexe patronen direct.

De Resultaten: Een Revolutie in Snelheid

In hun experimenten (waarbij ze de AI gebruikten om natuurkundige vergelijkingen op te lossen, zoals hoe warmte zich verspreidt of hoe vloeistoffen stromen), zagen ze iets verbazingwekkends:

• De nieuwe methode was 10 tot 1000 keer sneller dan de oude methoden.
• De resultaten waren veel nauwkeuriger.
• Vooral bij problemen met scherpe randen of complexe patronen (zoals in de natuurkunde) was het verschil enorm.

Conclusie in Eén Zin

Dit paper laat zien dat als je een AI-netwerk bouwt met de juiste wiskundige structuur (splines) en het leert via een slimme "stap-voor-stap" methode (van grof naar fijn), je de trainingstijd drastisch kunt verkorten en de resultaten kunt verbeteren, net zoals een meesterkunstenaar die eerst de compositie en dan de details schildert, in plaats van alles in één keer te proberen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Multilevel Training for Kolmogorov Arnold Networks" in het Nederlands.

Titel: Multilevel Training voor Kolmogorov-Arnold Netwerken (KANs)

Auteurs: Ben S. Southworth, Jonas A. Actor, Graham Harper, Eric C. Cyr
Datum: 6 maart 2026

---

1. Het Probleem

Het trainen van gangbare neurale netwerken, zoals Multilayer Perceptrons (MLPs), wordt vaak vertraagd door het ontbreken van een gestructureerde aanpak die de complexe functiesamenstellingen inherent aan deze netwerken benut. Hoewel er in de numerieke wiskunde krachtige methoden bestaan voor het oplossen van partiële differentiaalvergelijkingen (PDE's), zoals multigrid-methoden die lineaire systemen in $O(n)$ operaties kunnen oplossen, zijn deze methoden moeilijk toe te passen op machine learning.

De kernuitdaging ligt in het ontbreken van een goed gedefinieerde hiërarchie van modellen (van grof naar fijn) met goede benaderingseigenschappen tussen de niveaus. In machine learning opereren grove en fijne modellen vaak op dezelfde dimensionale ruimte, waardoor het moeilijk is om "coarse" (grove) representaties te definiëren die complementair zijn aan de "fine" (fijne) optimalisatie. Bestaande pogingen om multigrid-ideeën toe te passen op deep learning hebben tot nu toe weinig tot geen algoritmische versnelling opgeleverd, omdat ze vaak falen in het creëren van een hiërarchie waarbij de training op het fijne niveau de voortgang van het grove niveau niet tenietdoet.

2. Methodologie

De auteurs ontwikkelen een framework voor multilevel training specifiek voor Kolmogorov-Arnold Networks (KANs) die gebaseerd zijn op B-splines. De aanpak bestaat uit drie fundamentele technische stappen:

A. Equivalentie en Basiswisseling

De auteurs tonen aan dat KANs met spline-basisfuncties wiskundig equivalent zijn aan multichannel MLPs met Power ReLU-activaties ($ReLU^{r-1}$), mits er een specifieke lineaire basiswisseling plaatsvindt.

• Er wordt een transformatiematrix $A^{[r]}$ gedefinieerd die de spline-coëfficiënten omzet in ReLU-weights.
• Deze matrix $A^{[r]}$ is gebleken een discrete benadering van de $r$-de afgeleide operator (via een voorwaartse eindige-differentie-methode) op een uniform rooster te zijn.
• Deze wiskundige relatie maakt een niet-recursive implementatie van KANs mogelijk, wat aanzienlijk sneller is dan de traditionele Cox-de Boor recursieve formule.

B. Analyse van de Optimalisatie-geometrie

Hoewel de forward-pass van een KAN en de equivalente MLP identiek zijn, leidt de basiswisseling tot fundamenteel verschillende dynamieken tijdens het trainen met gradient descent:

• In de ReLU-basis (MLP): De transformatiematrix fungeert als een preconditioner die sterk gladde functies prioriteert ten opzichte van oscillatoire (trillende) functies. Dit komt door het spectrale gedrag van de afgeleide-operators: de eigenwaarden van de preconditioner variëren enorm, waardoor gradiënten voor gladde modi veel sterker worden gewogen dan die voor hoge frequenties.
• In de Spline-basis (KAN): Door de compacter ondersteuning (compact support) van de spline-basisfuncties, zijn de gradiënten lokaal. Dit stelt het netwerk in staat om efficiënt oscillatoire functies en functies met lage regulariteit (scherpe gradiënten) te leren. De optimalisatie is hier "complementair" aan de gladde optimalisatie van de MLP.

C. Multilevel Training Framework

De auteurs introduceren het concept van een "properly nested hierarchy" (goed geneste hiërarchie) voor multilevel optimalisatie:

1. Geometrische verfijning: In plaats van willekeurige interpolatie, worden de knooppunten (knots) van de splines uniform verfijnd.
2. Interpolatie-operatoren: Er worden analytische geometrische interpolatie-operatoren ontworpen die een oplossing van een grof niveau exact naar een fijn niveau overbrengen zonder de voortgang teniet te doen.
3. Complementaire Relaxatie: Doordat de KAN in de spline-basis lokaal optimaliseert, kan het op het fijne niveau direct gebruikmaken van de nieuwe expressiviteit (hogere frequenties) die door de verfijning is toegevoegd. De MLP daarentegen blijft vastzitten in het optimaliseren van gladde modi die al op het grove niveau waren opgelost.

3. Belangrijkste Bijdragen

1. Theoretische Equivalentie: Een strikte bewijs dat KANs met splines lineair equivalent zijn aan MLPs met Power ReLU, waarbij de transformatiematrix een differentiaaloperator representeert.
2. Algoritmische Versnelling: Een snellere, niet-recursive implementatie van spline-activaties die de rekentijd per laag vermindert met een factor gelijk aan de splinedegree.
3. Geometrisch Inzicht: Het inzicht dat de keuze van de basis (spline vs. ReLU) de geometrie van de gradiëntdaling bepaalt en fungeert als een preconditioner die bepaalt welke frequentiemodi het snelst worden geleerd.
4. Multilevel KAN Framework: De introductie van een multilevel trainingsstrategie voor KANs die voldoet aan de eisen van een "properly nested hierarchy", waardoor multigrid-principes effectief kunnen worden toegepast op neurale netwerken.

4. Resultaten

Numerieke experimenten tonen aanzienlijke verbeteringen in nauwkeurigheid en efficiëntie:

• Functieregressie: Multilevel training van KANs in de spline-basis levert een verbetering van 1 tot 3 orde van grootte in nauwkeurigheid (MSE) op vergeleken met conventionele training of MLPs. Multilevel training in de ReLU-basis levert daarentegen bijna geen verbetering op ten opzichte van het grove model alleen.
• Physics-Informed Neural Networks (PINNs):
  • 2D Poisson-vergelijking: De multilevel KAN (spline) bereikt sneller een lage fout dan een vergelijkbare MLP en toont een duidelijke "trapsgewijze" afname van de fout bij elke verfijning. De ReLU-KAN stagneert.
  • 1D Burger's vergelijking: Multilevel KANs bereiken een nauwkeurigheid die 2-3 orde van grootte beter is dan standalone KANs of MLPs op fijne roosters.
  • Allen-Cahn vergelijking: De analyse van het Fourier-spectrum van de resten (residuals) toont aan dat de multilevel KAN in de spline-basis succesvol energie naar hogere frequenties verplaatst bij elke verfijning. De ReLU-KAN faalt hierin en behoudt een smal spectrum, wat leidt tot een slechte oplossing.

5. Betekenis en Conclusie

Dit werk demonstreert dat een principiële architectuurontwerp (in dit geval KANs met splines) leidt tot een uitbuitbare structuur die het mogelijk maakt om geavanceerde numerieke methoden zoals multigrid toe te passen op machine learning.

De kernboodschap is dat succesvolle multilevel machine learning twee vereisten heeft:

1. Een goed geneste hiërarchie (waarbij interpolatie geen voortgang vernietigt).
2. Complementaire optimalisatie op verschillende niveaus (waarbij het fijne niveau andere foutmodi aanpakt dan het grove niveau).

De auteurs tonen aan dat KANs in hun native spline-representatie van nature voldoen aan deze eisen, terwijl MLPs (en KANs in ReLU-basis) dat niet doen. Dit opent de deur voor drastisch snellere en nauwkeurigere training van neurale netwerken, vooral voor wetenschappelijke toepassingen zoals het oplossen van PDE's, en markeert een belangrijke stap in het overbruggen van de kloof tussen numerieke wiskunde en deep learning.