FS-KAN: Permutation Equivariant Kolmogorov-Arnold Networks via Function Sharing

Each language version is independently generated for its own context, not a direct translation.

De Magische Kookpot: FS-KAN

Stel je voor dat je een enorme, superkrachtige kookpot hebt (een kunstmatige intelligentie) die moet leren hoe je een gerecht moet bereiden. Maar er is een probleem: de ingrediënten worden in de pan gegooid in willekeurige volgorde. Soms ligt de ui bovenop de tomaat, soms andersom.

In de echte wereld gebeurt dit vaak. Denk aan een foto (de pixels kunnen verschuiven), een groep vrienden (wie staat links en wie rechts maakt niet uit voor de vriendschap), of een lijst met productbeoordelingen (wie als eerste beoordeelt maakt niet uit).

Het probleem:
Normale AI-modellen (zoals standaard KANs) zijn als een chef-kok die elke ingrediëntcombinatie apart moet leren. Als je de volgorde van de ingrediënten verandert, moet de chef opnieuw leren hoe hij moet koken. Dit is inefficiënt en kost veel tijd en data.

De oplossing van dit paper: FS-KAN
De auteurs van dit paper hebben een nieuwe manier bedacht om deze "chef-kok" te bouwen. Ze noemen het FS-KAN (Function Sharing Kolmogorov-Arnold Network).

Hier is hoe het werkt, stap voor stap:

1. De "Gekoppelde" Chefs (De Kernidee)

Stel je een keuken voor met 100 kleine chefs.

Bij een normaal model: Elke chef heeft zijn eigen unieke receptboek. Chef 1 leert hoe hij een ui snijdt, Chef 2 leert hoe hij een tomaat snijdt, enzovoort. Als je de volgorde van de ingrediënten verandert, raken ze in de war.
Bij FS-KAN: Alle chefs delen één groot, gemeenschappelijk receptboek. Als Chef 1 een ui snijdt, gebruikt hij precies dezelfde snijtechniek als Chef 2 als die een ui snijdt, ongeacht waar de ui in de pan ligt.

Dit heet "Function Sharing" (Functie-delen). In plaats van dat elke verbinding in het netwerk zijn eigen gewichten heeft, delen ze dezelfde "functies" of "regels".

2. Waarom is dit slim? (De Analogie van de Spiegel)

Stel je voor dat je een spiegelkamer hebt. Als je linksom draait, zie je rechtsom je spiegelbeeld. Een goed model moet dit begrijpen: als de input verandert op een voorspelbare manier (zoals een spiegeling), moet de output ook op een voorspelbare manier veranderen.

FS-KAN bouwt deze "spiegelregels" direct in het ontwerp van de keuken.

Voorbeeld: Als je een foto van een hond naar links schuift, moet de AI weten dat het nog steeds dezelfde hond is, alleen op een andere plek.
Bij FS-KAN hoeft de AI niet te leren wat een hond is, omdat de architectuur al vastlegt: "Als de input verschuift, verschuift de output mee volgens dezelfde regels."

3. Het grote voordeel: Less is More

Dit is het belangrijkste punt van het paper.

Standaard modellen: Hebben duizenden unieke regels nodig om te leren hoe ze met symmetrie omgaan. Ze zijn als een student die elke mogelijke situatie apart moet memoriseren.
FS-KAN: Heeft veel minder regels nodig omdat ze delen. Ze zijn als een slimme student die één principe begrijpt en dat toepast op alle situaties.

Het resultaat?
FS-KAN werkt veel beter als je weinig data hebt.
Stel je voor dat je een kind wilt leren wat een hond is.

Met een normaal model moet je het kind 10.000 foto's van honden laten zien.
Met FS-KAN volstaan 100 foto's, omdat het model al begrijpt dat de volgorde van de pixels niet uitmaakt. Het leert sneller en maakt minder fouten.

4. De "Efficiënte" Versie

De auteurs hebben ook een nog snellere versie bedacht, de Efficient FS-KAN.
Stel je voor dat de chefs in de keuken eerst alle ingrediënten in één grote stapel gooien, en dan pas gaan snijden, in plaats van dat elke chef apart aan een eigen bord werkt. Dit bespaart tijd en energie (rekenkracht), terwijl de smaak (de nauwkeurigheid) hetzelfde blijft.

5. Waarom is dit belangrijk voor de toekomst?

Deze techniek is niet alleen sneller, maar ook duidelijker.
Bij normale AI-modellen is het vaak een "zwarte doos": je weet niet waarom ze een beslissing nemen. Omdat FS-KAN werkt met gedeelde, eenvoudige regels, kunnen mensen beter zien hoe het model denkt. Het is alsof je de recepten van de chefs kunt lezen in plaats van alleen het eindresultaat te proeven.

Samenvatting in één zin:

FS-KAN is een slimme manier om kunstmatige intelligentie te bouwen die de natuurlijke symmetrieën van de wereld (zoals volgorde en positie) begrijpt door regels te delen, waardoor het veel minder data nodig heeft om te leren en makkelijker te begrijpen is dan traditionele modellen.

Het is alsof je van een model dat alles uit zijn hoofd moet leren, overstapt op een model dat de wetten van de natuur al kent en die alleen maar toepast.

Each language version is independently generated for its own context, not a direct translation.

Titel: FS-KAN: Permutatie-equivariante Kolmogorov-Arnold-netwerken via Functiedeling

Auteurs: Ran Elbaz, Guy Bar-Shalom, Yam Eitan, Fabrizio Frasca, Haggai Maron (Technion & NVIDIA Research)
Publicatie: ICLR 2026

1. Het Probleem

Neurale netwerken die symmetrieën respecteren (equivariante netwerken) hebben bewezen superieur te zijn in generalisatie en rekenefficiëntie voor data met structurele symmetrieën, zoals verzamelingen, grafen en beelden. De standaardaanpak voor het handhaven van permutatiesymmetrieën (subgroepen van de symmetrische groep $S_n$ ) is het gebruik van parameter-sharing (gewichtsdeling) in lineaire lagen.

Recentelijk zijn Kolmogorov-Arnold Networks (KANs) geïntroduceerd als een alternatief voor traditionele Multilayer Perceptrons (MLPs). KANs vervangen scalair gewichten door leerbare univariate functies, wat leidt tot betere interpretatie en expressiviteit, vooral bij beperkte data. Hoewel er reeds werk is gedaan aan equivariante KANs voor specifieke domeinen (zoals grafen of continue groepen), ontbreekt er een principiële, algemene raamwerk voor het toepassen van KANs op data met willekeurige permutatiesymmetrieën. Bestaande methoden zijn vaak niet schaalbaar voor complexe symmetriegroepen of kunnen niet omgaan met variabel grootte-invoer (zoals verzamelingen).

2. Methodologie: FS-KAN

De auteurs introduceren Function Sharing KAN (FS-KAN), een raamwerk voor het construeren van equivariante en invariantie KA-lagen voor willekeurige permutatiesymmetriegroepen.

Functiedeling i.p.v. Parameterdeling: In plaats van gewichten te delen (zoals bij traditionele equivariante MLPs), delen FS-KANs de functies zelf. Een KA-lag $\Phi$ wordt gedefinieerd door een matrix van univariate functies $\phi_{q,p}$ . De auteurs stellen dat een laag $G$ -equivariant is als en slechts als de functies voldoen aan de voorwaarde:
$\phi_{q,p} = \phi_{\sigma(q), \sigma(p)} \quad \forall \sigma \in G$
Dit betekent dat functies die corresponderen met elementen in dezelfde orbit onder de groepswerking, identiek moeten zijn.
Theoretische Equivalentie: Een cruciale inzicht is dat elke $G$ -equivariante KA-lag gerepresenteerd kan worden als een FS-KA-lag. Dit betekent dat het beperken van het ontwerp tot FS-structuren geen verlies aan expressiviteit oplevert, maar wel de analyse en implementatie vereenvoudigt.
Efficiënte FS-KA Lagen: Standaard KA-lagen kunnen rekenkundig duur zijn omdat ze functies onafhankelijk toepassen op alle input-output paren. De auteurs introduceren een Efficient FS-KA variant. Deze methode aggregeert inputs eerst (bijv. via som-pooling) volgens de FS-structuur en past vervolgens een gedeelde sub-lag toe. Dit reduceert het aantal niet-lineaire functietoepassingen aanzienlijk en verlaagt het geheugengebruik, terwijl de equivariantie behouden blijft.
Uitbreidingen: Het raamwerk wordt uitgebreid naar:
- Meerdere feature-kanalen: Door functies extern te delen over sub-lagen.
- Directe product-symmetrieën: Voor data zoals matrices (bijv. gebruikers-item interacties) waar $G \times H$ symmetrieën gelden.
- Hogere-orde tensoren: Voor hypergrafieken en complexe structurele data.

3. Belangrijkste Bijdragen

Principiële Raamwerk: FS-KAN biedt een unificerend raamwerk voor het bouwen van equivariante KANs voor willekeurige permutatiegroepen, wat eerder werk voor sets, grafen en beelden generaliseert.
Theoretische Analyse: De auteurs bewijzen dat FS-KANs in de zin van uniforme benadering dezelfde expressieve kracht hebben als standaard parameter-sharing MLPs. Hierdoor kunnen bekende universaliteitsresultaten en expressiviteitsgrenzen van equivariante MLPs direct worden overgeheveld naar FS-KANs.
Empirische Superioriteit in Low-Data Regimes: Experimenten tonen aan dat FS-KANs aanzienlijk beter presteren dan standaard parameter-sharing netwerken wanneer de hoeveelheid trainingsdata beperkt is, terwijl ze de interpretatie en aanpasbaarheid van KANs behouden.

4. Resultaten

De auteurs evalueren FS-KAN op diverse taken met permutatiesymmetrieën:

Signaalclassificatie (Sn × CT): FS-KAN overtreft parameter-sharing baselines (Deep Sets) in lage-data scenario's (60-1200 voorbeelden) met een grote marge, terwijl het bij grote datasets vergelijkbare prestaties levert. De efficiënte variant is sneller in training dan de volledige FS-KAN.
Puntwolkclassificatie (Sn): Op de ModelNet40 dataset presteert FS-KAN consistent beter dan DeepSets en Point-Transformer, vooral wanneer het aantal punten per wolk en het aantal trainingsvoorbeelden klein is.
Continue Learning: In experimenten met continue learning (catastrophic forgetting) behoudt FS-KAN kennis van eerdere taken beter dan baselines, wat wijst op robuustheid.
Semi-supervised Rating Prediction (Sn × Sm): Bij matrixcompletie taken met extreme data-schaarste (bijv. MovieLens-100K) behaalt FS-KAN de laagste RMSE, wat de superieure data-efficiëntie bevestigt.
Interpretatie: Visualisaties tonen aan dat FS-KANs gedeelde spline-functies leren over symmetrische randen, waardoor de onderliggende symmetrie-expliciet zichtbaar wordt in het netwerk, in tegenstelling tot standaard KANs die onafhankelijke functies leren.

5. Betekenis en Conclusie

FS-KAN vertegenwoordigt een belangrijke stap in de integratie van geometrisch diep leren en Kolmogorov-Arnold-netwerken.

Theoretisch: Het sluit de kloof tussen de gevestigde theorie van equivariante MLPs en de nieuwe K-architectuur, bewijzend dat KANs even krachtig zijn maar met de voordelen van interpretatie.
Praktisch: Het biedt een krachtige oplossing voor toepassingen waar data schaars is maar structurele symmetrieën aanwezig zijn (bijv. wetenschappelijke simulaties, aanbevelingssystemen, 3D-vision). Hoewel de rekenkosten hoger zijn dan bij eenvoudige MLPs, weegt de superioriteit in data-efficiëntie en generalisatie in lage-data regimes dit ruimschoots op.

De auteurs merken op dat toekomstig werk gericht moet zijn op het verder optimaliseren van de rekenefficiëntie, aangezien de huidige implementatie nog steeds zwaarder is dan traditionele lineaire lagen in data-rijke scenario's.