Scaling of Gaussian Kolmogorov--Arnold Networks

Titel: Scaling van Gaussian Kolmogorov–Arnold Networks (GKAN)

Auteurs: Amir Noorizadegan en Sifan Wang
Datum: April 2026

---

1. Probleemstelling

Kolmogorov–Arnold Networks (KANs) zijn een nieuw type neurale netwerken dat de vaste activeringsfuncties van traditionele MLPs vervangt door leerbare univariate functies op de randen (edges) van het netwerk. Hoewel Gaussian KANs (die Gaussische Radiale Basisfuncties of RBFs gebruiken) populair zijn geworden vanwege hun gladheid en lokale eigenschappen, blijft de keuze van de schaalparameter $\epsilon$ (de breedte van de Gaussische functies) een onopgelost en vaak ad-hoc probleem.

In de bestaande literatuur wordt $\epsilon$ vaak willekeurig gekozen, via trial-and-error, of als een trainbare parameter zonder duidelijk inzicht in de onderliggende dynamiek. Dit leidt tot twee hoofdproblemen:

1. Numerieke instabiliteit: Een te grote $\epsilon$ veroorzaakt een slechte conditionering (ill-conditioning) van de feature-matrix, wat leidt tot numerieke fouten en het "instorten" (collapse) van de representatie.
2. Slechte benadering: Een te kleine $\epsilon$ maakt de basisfuncties te lokaal, wat de benaderingskracht vermindert.

De kernvraag is: Hoe beïnvloedt de schaalparameter $\epsilon$ de prestaties van een diep Gaussian KAN, en is er een systematische, theoretisch onderbouwde regel om deze te kiezen?

2. Methodologie

De auteurs analyseren het gedrag van Gaussian KANs vanuit een kernel- en conditioneringsperspectief, met een sterke focus op de eerste laag van het netwerk.

• Architecturale Analyse: Ze modelleren een Gaussian KAN als een reeks van feature-mapping (via Gaussische functies) gevolgd door lineaire transformaties. Ze tonen aan dat de eerste laag direct werkt op het invoer-domein, terwijl diepere lagen werken op geleerde representaties.
• De "First-Layer Bottleneck" Hypothese: De auteurs stellen dat elke verlies van onderscheidbaarheid (distinguishability) dat in de eerste laag wordt geïntroduceerd (bijvoorbeeld door overmatige overlap van Gaussische functies), niet door latere lagen kan worden hersteld. Daarom is de conditionering van de feature-matrix van de eerste laag de bepalende factor voor de algehele stabiliteit en nauwkeurigheid.
• Conditioneringsdiagnostiek: In plaats van alleen naar de Gram-matrix ($\Phi^T\Phi$) te kijken, analyseren ze de conditionering van de feature-matrix $\Phi$ zelf. Ze definiëren een veilig werkgebied gebaseerd op:
  1. Numerieke rang (rank): $\sigma_{min}(\Phi) > \text{tolerantie}$.
  2. Spectrale conditiongetal: $\kappa(\Phi) < 3 \times 10^3$ (voor float32 stabiliteit).
• Experimenteel Opzet: Ze voeren uitgebreide brute-force sweeps uit over $\epsilon$ voor verschillende taken (regressie van gladde en discontinuïteit-achtige functies, en een Physics-Informed Neural Network (PINN) voor de Helmholtz-vergelijking). Ze variëren collocation-dichtheid ($N$), aantal centra ($G$), netwerkarchitectuur en invoerdimensie.

3. Belangrijkste Bijdragen

1. Identificatie van de Eerste Laag als Dominant: Het paper bewijst theoretisch en experimenteel dat de eerste laag de "bottleneck" is voor schaalkeuze. De conditionering van de eerste laag correleert veel sterker met de totale netwerkfout dan die van diepere lagen.
2. Afleiding van een Praktisch Werkinterval: De auteurs leiden een eenvoudige, schaalbare regel af voor de keuze van $\epsilon$ op basis van het aantal Gaussische centra per coördinaat ($G$):
   $$\epsilon \in \left[ \frac{1}{G - 1}, \frac{2}{G - 1} \right]$$
   • De ondergrens ($\frac{1}{G-1}$) komt overeen met de afstand tussen uniform verdeelde centra.
   • De bovengrens ($\frac{2}{G-1}$) is empirisch bepaald als het punt waar de conditionering kritiek wordt, maar nog binnen een veilig numeriek bereik valt.
3. Validatie over Verschillende Contexten: Deze regel wordt getest en bevestigd voor:
   • Verschillende target-functies (glad, periodiek, scherp gepiekt, discontinu).
   • Variaties in $N$ (aantal trainingspunten) en $G$ (grid-resolutie).
   • Verschillende netdiepte en -breedte.
   • Hogere invoerdimensies (1D tot 4D).
   • Een Physics-Informed Helmholtz-probleem.
4. Vergelijking met Chebyshev KANs: Met een "matched" referentie (zelfde aantal trainbare parameters per rand) tonen ze aan dat een correct geschaalde Gaussian KAN vergelijkbare, en soms betere, nauwkeurigheid bereikt dan een standaard Chebyshev KAN.
5. Efficiënte Zoekstrategie: Ze tonen aan dat het trainen van het model met een korte periode (bijv. 500 epochen) en het kijken naar de trainings-MSE voldoende is om een goede $\epsilon$ te selecteren binnen het voorgestelde interval, zelfs zonder toegang tot de exacte oplossing.

4. Resultaten

• U-vormige Foutkromme: De validatiefout vertoont consistent een U-vormige afhankelijkheid van $\epsilon$. Fouten zijn hoog bij zeer kleine $\epsilon$ (te lokaal) en bij zeer grote $\epsilon$ (instabiliteit/instorting). De optimale prestaties liggen altijd binnen het afgeleide interval $[\frac{1}{G-1}, \frac{2}{G-1}]$.
• Invloed van $N$ vs. $G$:
  • Het verhogen van het aantal trainingspunten ($N$) verlaagt de totale fout, maar verschuift het optimale $\epsilon$-venster slechts licht.
  • Het verhogen van het aantal centra ($G$) verschuift het optimale $\epsilon$-venster naar kleinere waarden (naar links) en verbreedt het acceptabele bereik.
• Deelbare Schaal: Het gebruik van dezelfde $\epsilon$ voor alle lagen werkt net zo goed als het gebruik van verschillende schalen per laag, wat de implementatie vereenvoudigt zonder nauwkeurigheid te verliezen.
• Variabele Schalen: Een variant waarbij elke Gaussische kern een eigen schaalparameter heeft (binnen het toegestane interval) kan de nauwkeurigheid verder verbeteren ten opzichte van een vaste schaal.
• PINN Validatie: Voor de Helmholtz-vergelijking bleef het voorgestelde interval effectief, wat aantoont dat de regel geldig is voor fysica-gestuurde problemen, niet alleen voor regressie.

5. Betekenis en Conclusie

Dit werk positioneert de schaalkeuze in Gaussian KANs niet langer als een willekeurige hyperparameter, maar als een fundamenteel ontwerpprincipe.

• Van "Bug" naar "Feature": De auteurs bevestigen de visie van Larsson en Schaback dat de gevoeligheid van RBF-methoden voor schaling een eigenschap is, geen fout. Door deze schaling correct te beheersen (via de eerste laag), kan men de benaderingskwaliteit en stabiliteit direct controleren.
• Praktische Toepasbaarheid: De afgeleide formule $\epsilon \approx \frac{1.5}{G}$ (of het interval $[\frac{1}{G-1}, \frac{2}{G-1}]$) biedt een directe, rekenkundig goedkope richtlijn voor onderzoekers en ingenieurs om Gaussian KANs te implementeren zonder uitgebreide hyperparameter-tuning.
• Toekomstperspectief: De resultaten suggereren dat variabele schalen en beperkte training van $\epsilon$ binnen dit interval veelbelovende richtingen zijn voor toekomstig onderzoek, vooral in complexe fysica-toepassingen.

Kortom, het paper levert de eerste systematische analyse van de schaalparameter in Gaussian KANs en biedt een robuuste, theoretisch onderbouwde methode om deze netwerken stabiel en nauwkeurig te maken.