Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

Technische Samenvatting: Partition-of-Unity Gaussian KAN (PU-GKAN)

1. Het Probleem: De beperkingen van Gaussian KANs

Kolmogorov–Arnold Networks (KANs) zijn een recent alternatief voor traditionele Multi-Layer Perceptrons (MLPs), waarbij de activatiefuncties op de verbindingen (edges) leerbaar zijn in plaats van op de knopen (nodes). Hoewel Gaussian Radial Basis Functions (RBFs) zeer geschikt zijn voor KANs vanwege hun gladheid en lokale eigenschappen, kampen ze met een fundamenteel probleem: gevoeligheid voor de schaalparameter ($\epsilon$).

• Te kleine $\epsilon$: De basisfuncties worden te lokaal, wat leidt tot een gebrek aan overlap en slechte benadering.
• Te grote $\epsilon$: De basisfuncties worden te vlak, wat leidt tot numerieke instabiliteit (ill-conditioning) en verlies van precisie.
• Verdeling van inputs: Tijdens het trainen kunnen de interne coördinaten (inputs voor de volgende laag) ongunstig verspreid raken, waardoor veel basisfuncties nauwelijks worden gebruikt.

2. Methodologie: Shepard-type Normalisatie

De auteur introduceert de PU-GKAN, een variant die gebruikmaakt van een Shepard-type partition-of-unity (PoU) normalisatie.

De kern van de methode:
In plaats van de ruwe Gaussische basisfuncties $\phi_g(t)$ direct te gebruiken, worden deze puntgewijs genormaliseerd door ze te delen door hun lokale som over een vaste set centra $C = \{c_1, \dots, c_G\}$. De genormaliseerde basis $\hat{\phi}_g(t)$ wordt gedefinieerd als:
$$\hat{\phi}_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^{G} \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$$

Belangrijke kenmerken van deze aanpak:

• Partition of Unity: De som van de genormaliseerde basisfuncties is voor elke $t$ exact gelijk aan 1 ($\sum \hat{\phi}_g(t) = 1$).
• Exacte constante reproductie: Dankzij de PoU-eigenschap kan het netwerk constante functies exact reproduceren op edge-niveau, wat de stabiliteit verhoogt.
• Behoud van architectuur: In tegenstelling tot andere PoU-methoden (die subdomeinen gebruiken), verandert PU-GKAN de KAN-architectuur niet; het wijzigt enkel de feature-map binnen de bestaande edges.
• Kernel-interpretatie: Het model wordt geformuleerd vanuit een finite-feature en additive-kernel perspectief, waardoor de numerieke conditie van de lagen wiskundig analyseerbaar wordt.

3. Belangrijkste Bijdragen

1. Introductie van PU-GKAN: Een nieuwe, wiskundig onderbouwde normalisatietechniek voor RBF-gebaseerde KANs.
2. Conditioning-gebaseerde schaalselectie: Het paper stelt een praktisch interval voor de schaalparameter $\epsilon$ voor, gebaseerd op de numerieke conditie van de eerste laag. De bovengrens $\epsilon = 2/(G-1)$ blijkt in de praktijk zeer effectief.
3. Wiskundige formulering: Een expliciete afleiding van de geïnduceerde kernels en de empirische feature-matrices, wat inzicht geeft in de rang en stabiliteit van het netwerk.
4. Generaliseerbaarheid: De methode wordt niet alleen toegepast op Gaussische functies, maar ook op Matérn RBF-bases, wat aantoont dat het principe breder toepasbaar is.

4. Resultaten

De numerieke experimenten tonen consistent aan dat PU-GKAN superieur is aan de standaard Gaussian KAN (GKAN) op diverse vlakken:

• Nauwkeurigheid: PU-GKAN bereikt een lagere Root Mean Square Error (RMSE) voor bijna alle geteste gladde en matig niet-gladde functies. De verbetering varieert vaak tussen de 30% en 75%.
• Robuustheid: Het model is minder gevoelig voor de exacte keuze van $\epsilon$. De "fout-curve" is breder en stabieler.
• Trainingstabiliteit: De interne coördinaten van de lagen vertonen een compactere en regelmatiger verdeling (zie Figuur 1 in het paper), wat voorkomt dat basisfuncties "verloren" gaan in de ruimte.
• Physics-Informed Learning (PINNs): Bij het oplossen van complexe differentiaalvergelijkingen (Helmholtz- en golfvergelijkingen) presteert PU-GKAN beter en convergeert het sneller naar een lagere fout.
• Uitzondering: Bij zeer discontinue functies (zoals $F_7$) is het voordeel minder uitgesproken, wat logisch is omdat gladde RBF-bases inherent moeite hebben met discontinuïteiten.

5. Betekenis en Conclusie

De paper bewijst dat een eenvoudige Shepard-type normalisatie een krachtig en goedkoop mechanisme is om de stabiliteit en nauwkeurigheid van RBF-gebaseerde KANs te verbeteren. Het overbrugt de kloof tussen klassieke kernel-approximatie (zoals Shepard's methode) en moderne deep learning architecturen. De methode maakt KANs bruikbaarder voor wetenschappelijke berekeningen en natuurkundige modellering, waar precisie en numerieke stabiliteit cruciaal zijn.