A Graph Meta-Network for Learning on Kolmogorov-Arnold Networks

Deze paper introduceert WS-KAN, het eerste gewichtsruimte-architectuur dat de symmetrieën van Kolmogorov-Arnold-netwerken (KANs) benut via een graf-meta-netwerk en hiermee structureel onafhankelijke basismodellen significant overtreft.

De kern

Titel: De "Super-Vertaler" voor Nieuwe Neurale Netwerken

Stel je voor dat je een enorme bibliotheek hebt vol met complexe, zelflerende robots. Deze robots zijn zo slim dat ze foto's kunnen herkennen, teksten kunnen schrijven en zelfs nieuwe kunst kunnen maken. Maar er is een probleem: als je een robot wilt begrijpen, moet je vaak duizenden pagina's aan code en instellingen lezen. Dat is saai en moeilijk.

In de wereld van kunstmatige intelligentie (AI) hebben we een nieuwe soort robot ontworpen, genaamd een KAN (Kolmogorov-Arnold Network). Deze robots zijn nog slimmer en begrijpelijker dan de oude modellen, maar ze werken op een heel andere manier.

Deze paper introduceert een nieuwe "Super-Vertaler" (WS-KAN) die direct naar de hersenen van deze robots kan kijken en ze begrijpen, zonder dat ze eerst hoeven te praten.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: De Verwarde Koffer

Stel je voor dat je een koffer hebt met duizenden sokken. Als je de sokken in een andere volgorde in de koffer legt, is het inhoud hetzelfde: het zijn nog steeds dezelfde sokken. Maar als je een computer vraagt om de inhoud te tellen, en je legt ze net even anders, kan de computer denken dat het een andere koffer is.

Dit is precies wat er gebeurt bij neurale netwerken. De "sokken" zijn de instellingen (de gewichten) van de robot. Als je de volgorde van de interne onderdelen verandert, doet de robot precies hetzelfde, maar voor een computer die niet slim is, lijkt het alsof het een heel ander ding is.

De oude methoden om deze robots te analyseren waren als het proberen om de inhoud van de koffer te begrijpen door de sokken eruit te gooien en ze in één lange rij te leggen. Dat werkt niet goed.

2. De Oplossing: De KAN-Graph (Het Netwerk van Draden)

De auteurs van dit paper zeggen: "Wacht even, deze nieuwe robots (KANs) hebben een heel specifiek patroon."

In plaats van de sokken in een rij te leggen, kijken ze naar de structuur. Ze bouwen een KAN-Graph.

• De Robots als Netwerk: Stel je de robot voor als een stad met straten en huizen. De huizen zijn de "neuronen" (de denkende delen) en de straten zijn de verbindingen.
• De Straatnaamborden: Bij de oude robots waren de straten gewoon nummers. Bij deze nieuwe KAN-robots zijn de straten kleine, leerbare liedjes. Elke straat heeft zijn eigen unieke melodie die bepaalt hoe informatie eroverheen stroomt.

De "Super-Vertaler" (WS-KAN) kijkt niet naar de nummers, maar naar het gehele stadsplan. Hij ziet welke huizen met elkaar verbonden zijn en welke liedjes op de straten spelen. Omdat hij het stadsplan bekijkt, maakt het niet uit of je de huizen in een willekeurige volgorde op de kaart zet; het stadsplan blijft hetzelfde. Dit lost het "verwarde koffer"-probleem op.

3. Wat kan deze Super-Vertaler doen?

De auteurs hebben een "dierentuin" (een verzameling) van duizenden getrainde KAN-robots gebouwd om hun vertaler te testen. Hier zijn drie dingen die hij fantastisch doet:

• Het Herkennen van de Identiteit (Classificatie):
  Stel je hebt een robot die een foto van een kat heeft geleerd. Als je de vertaler de "hersenen" van die robot geeft, kan hij direct zeggen: "Ah, dit is een robot die een kat kent!" Zelfs als de robot de foto nog nooit heeft laten zien aan de vertaler. De vertaler snapt de essentie van de robot.

• Voorspellen van de Score (Accuracy Prediction):
  Soms wil je weten of een robot goed gaat presteren voordat je hem echt gaat gebruiken. De vertaler kan naar de instellingen van de robot kijken en zeggen: "Ik denk dat deze robot 95% van de tijd goed zal zijn," of "Deze robot is een beetje slordig, hij zal maar 60% halen." Dit bespaart tijd en rekenkracht.

• De Tuinschaar (Pruning):
  Stel je hebt een robot die te groot en te zwaar is. Je wilt hem kleiner maken door sommige onderdelen weg te halen, maar je wilt niet dat hij zijn intelligentie verliest. De vertaler kan precies aangeven: "Haal deze straat weg, maar laat die andere staan." Hij doet dit zo snel dat het duizenden keren sneller is dan de oude methoden, en het resultaat is net zo goed als een expert die urenlang heeft zitten rekenen.

4. Waarom is dit belangrijk?

Vroeger moest je een robot vaak "op zijn kop zetten" (de volgorde van de onderdelen veranderen) om te zien of het systeem stabiel was. Dat was inefficiënt.

Deze nieuwe methode (WS-KAN) is als een meester-architect die direct naar de blauwdruk van een gebouw kan kijken en precies weet hoe het werkt, hoe sterk het is en welke muren je kunt slopen zonder dat het dak instort.

Kort samengevat:
De auteurs hebben een slimme nieuwe manier bedacht om de "hersenen" van de nieuwste generatie AI-robots te lezen. In plaats van ze als een rommelige stapel papier te behandelen, kijken ze naar het mooie, gestructureerde netwerk erachter. Hierdoor kunnen we AI-modellen sneller begrijpen, beter beoordelen en efficiënter maken.

Het is alsof we eindelijk de taal hebben geleerd die deze robots spreken, in plaats van dat we ze maar gissen.

Technische samenvatting

Probleemstelling

Neurale netwerken worden steeds vaker niet alleen gezien als modellen voor voorspelling, maar ook als databronnen zelf. Weight-space (WS) modellen zijn netwerken die direct opereren op de parameters (gewichten en bias) van andere netwerken om taken te vervullen zoals het voorspellen van testnauwkeurigheid, het genereren van nieuwe gewichten of het classificeren van Implicit Neural Representations (INR).

Bestaande WS-modellen zijn voornamelijk ontworpen voor traditionele netwerken zoals MLP's (Multi-Layer Perceptrons) en CNN's. Deze netwerken vertonen permutatiesymmetrieën: het herschikken van neuronen in een verborgen laag verandert de onderliggende functie die het netwerk berekent niet. Naïeve benaderingen (zoals het platte maken van parameters en toepassen van een MLP) presteren slecht omdat ze deze symmetrieën negeren.

De uitdaging waar dit paper zich op richt is het ontwikkelen van WS-modellen voor Kolmogorov-Arnold Networks (KANs). KANs zijn een nieuw type architectuur waarbij de "gewichten" geen scalaire waarden zijn, maar leerbare univariate functies (vaak geïmplementeerd met B-splines). Er bestond tot nu toe geen analyse van de symmetrieën van KANs noch een op maat gemaakte architectuur om direct op hun parameter-ruimte te leren.

Methodologie

De auteurs hanteren een drieledige aanpak:

1. Symmetrie-analyse van KANs
De auteurs bewijzen dat KANs dezelfde permutatiesymmetrieën vertonen als traditionele MLP's. Het herschikken van neuronen in een verborgen laag (en de bijbehorende functiematrices) resulteert in een nieuwe set parameters die exact dezelfde functie berekent als het origineel. Dit vormt de theoretische basis voor het ontwerpen van een symmetrie-bewust model.

2. De KAN-graph Representatie
Om de structuur van een KAN te benutten, introduceren ze de KAN-graph.

• Knooppunten (Nodes): Representeren de neuronen van de KAN.
• Randen (Edges): Representeren de connecties tussen neuronen.
• Rand-features: In tegenstelling tot MLP's waar randen een scalair gewicht hebben, dragen de randen in een KAN-graph de parameters van de univariate functie (bijv. B-spline coëfficiënten) die de verbinding definieert.
• Positieve Encoding: Om kunstmatige symmetrieën te doorbreken (waarbij permutaties van input/output neuronen de functie wel veranderen), worden positiespecifieke embeddings toegevoegd aan nodes en edges.

3. WS-KAN Architectuur
Op basis van de KAN-graph ontwikkelen ze WS-KAN, een Graph Neural Network (GNN) dat direct op deze grafen leert.

• Berichtuitwisseling (Message Passing): Het model gebruikt een bidirectioneel berichtuitwisselingsmechanisme (voorwaarts en achterwaarts) om informatie te aggregeren tussen neuronen.
• Expressiviteit: De auteurs bewijzen theoretisch dat WS-KAN de voorwaartse pass van een input KAN kan simuleren. Dit betekent dat de architectuur expressief genoeg is om de onderliggende functie van de KAN te benaderen, wat een cruciale eis is voor een krachtig WS-model.

Belangrijkste Bijdragen

1. Eerste WS-model voor KANs: Dit is het eerste werk dat een weight-space architectuur specificeert voor Kolmogorov-Arnold Networks.
2. Symmetrie-analyse: Het paper levert het eerste formele bewijs dat KANs dezelfde permutatiesymmetrieën hebben als MLP's, wat de weg vrijmaakt voor het gebruik van GNN's.
3. KAN-graph: Een nieuwe grafische representatie die de unieke structuur van KANs (functies in plaats van scalaire gewichten) compact codeert.
4. Model Zoo: De auteurs hebben de eerste uitgebreide "dierentuin" (zoo) van getrainde KANs over diverse taken en datasets (MNIST, Fashion-MNIST, CIFAR-10, synthetische data) gecreëerd om WS-modellen te evalueren.
5. Theoretische Validatie: Bewijs dat WS-KAN de voorwaartse pass van een KAN kan simuleren, wat de expressieve kracht van de architectuur onderbouwt.

Resultaten

WS-KAN werd geëvalueerd op drie hoofdtaken en vergeleken met diverse baselines (MLP op platte parameters, MLP met permutatie-augmentatie, DeepSets, SetTrans, etc.):

1. INR Classificatie: Het voorspellen van de oorspronkelijke klasse van een afbeelding op basis van de parameters van een KAN die de afbeelding reconstrueert (INR).
   • Resultaat: WS-KAN behaalde de hoogste nauwkeurigheid (bijv. 94.3% op MNIST), aanzienlijk beter dan de beste baseline (SetTrans met 87.5%).
2. Nauwkeurigheid Voorspelling: Het voorspellen van de testnauwkeurigheid van een KAN op basis van zijn parameters.
   • Resultaat: WS-KAN had de laagste Mean Squared Error (MSE) en hoogste $R^2$ waarden over alle datasets.
3. Pruning Mask Voorspelling: Een equivariante taak waarbij het model een masker moet voorspellen om onbelangrijke randen (functies) te verwijderen.
   • Resultaat: WS-KAN behaalde een 99.54% ROC-AUC op MNIST. Cruciaal is dat WS-KAN niet alleen nauwkeuriger is, maar ook vijf ordes van grootte sneller is dan data-gedreven pruning methoden (zoals "Oracle-prune") omdat het geen herhaalde forward passes door de data vereist.

Generalisatie: WS-KAN toonde ook veelbelovende resultaten bij het generaliseren naar KAN-architecturen met bredere verborgen lagen dan die tijdens het trainingstijdperk werden gezien (Out-of-Distribution generalisatie).

Betekenis en Impact

Dit paper is significant omdat het de brug slaat tussen de opkomende KAN-architectuur en het veld van weight-space learning.

• Efficiëntie en Interpretatie: KANs staan bekend om hun interpretatie en parameter-efficiëntie. Door WS-modellen voor KANs te ontwikkelen, kunnen onderzoekers deze netwerken sneller analyseren, vergelijken en optimaliseren zonder zware data-laden trainingen.
• Architectonische Richting: Het bevestigt dat het gebruik van grafische representaties en GNN's de juiste aanpak is voor weight-space learning, zelfs voor complexe architecturen met leerbare functies.
• Praktische Toepassingen: De mogelijkheid om pruning-maskers direct uit de parameters te voorspellen (zonder data) opent nieuwe wegen voor efficiëntere en snellere modelcompressie in de praktijk.

Kortom, het paper introduceert WS-KAN als een krachtig, symmetrie-bewust framework dat de analyse en het gebruik van Kolmogorov-Arnold Networks op een fundamenteel nieuw niveau tilt.