Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

Technische Samenvatting: Adaptieve RBF-KAN

Probleemstelling
Kolmogorov-Arnold-netwerken (KAN's) bieden een alternatief voor Multi-Layer Perceptrons (MLP's) door leerbare univariate functies op netwerkranden te plaatsen in plaats van vaste activatiefuncties op knooppunten te gebruiken. Waar de originele KAN-implementatie B-spline-basisfuncties gebruikt, brengt deze aanpak aanzienlijke rekenkosten met zich mee tijdens het trainen. FastKAN lost dit op door splines te vervangen door Gaussische Radiale Basisfuncties (RBF's), wat de efficiëntie aanzienlijk verbetert. Echter, de standaard FastKAN vertrouwt op een vaste kernvormparameter ($h$). De keuze van deze parameter is cruciaal: kleine waarden kunnen leiden tot overfitting, terwijl grote waarden leiden tot oversmoothing. Een vaste parameter beperkt de aanpasbaarheid van het model aan diverse functietypes (bijvoorbeeld gladde oppervlakken, discontinuïteiten, oscillerende patronen en singulariteiten). Bovendien is de standaard FastKAN-formulering beperkt tot Gaussische kernen, wat de representatieve flexibiliteit voor niet-gladde of sterk gelokaliseerde functies mogelijk beperkt.

Methodologie
De auteurs stellen een Adaptieve RBF-KAN (ook wel adaptieve FastKAN genoemd) voor die twee primaire verbeteringen introduceert in het bestaande kader:

1. LOOCV-gebaseerde Initialisatie: In plaats van een vaste of willekeurig geïnitieerde vormparameter te gebruiken, schatten de auteurs de initiële kernschaal ($h_{opt}$) met behulp van Leave-One-Out Cross-Validation (LOOCV). Dit gebeurt op een hulpmodel voor één-dimensionale RBF-interpolatie dat is opgebouwd uit de invoergegevens. Om numerieke stabiliteit te waarborgen, wordt een kleine regularisatieterm ($\lambda = 10^{-9}$) toegevoegd aan de interpolatiematrix. De optimale $h$ wordt gevonden via een tweestapszoektocht (grof en fijn) die de maximale LOOCV-fout minimaliseert.
2. Adaptief Leren van de Vormparameter: Om het netwerk in staat te stellen de kernschaal tijdens het trainen te verfijnen, wordt de vormparameter herschreven in log-ruimte ($\theta = \ln(h)$). Dit zorgt ervoor dat $h = e^\theta$ strikt positief blijft, waardoor numerieke instabiliteit (deling door nul of exponentiële groei) tijdens gradient-gebaseerde optimalisatie wordt voorkomen. De parameter $\theta$ wordt samen met de spline-coëfficiënten bijgewerkt via backpropagation.
3. Uitgebreide Kernfamilie: Het kader wordt uitgebreid buiten de Gaussische kern om een bredere familie van radiale basisfuncties op te nemen. Specifiek introduceren de auteurs Matérn (M2, M4, M6) en Wendland (W2, W4, W6) kernen in de KAN-architectuur voor het eerst. Deze kernen bieden verschillende graden van gladheid en compacte ondersteuning, waardoor het netwerk zich beter kan aanpassen aan functies met verschillende structurele kenmerken.

Belangrijkste Bijdragen

• Eerste Integratie van LOOCV en Diepe KAN's: Voor zover de auteurs weten, is dit het eerste onderzoek dat LOOCV-gebaseerde kernschatting integreert met het trainen van diepe KAN-architecturen.
• Nieuwe Kernintegratie: Het artikel introduceert Matérn- en Wendland-kernen in het KAN-kader, en gaat hiermee voorbij aan de uitsluitend Gaussische aanpak van standaard FastKAN.
• Data-gedreven Initialisatiestrategie: De voorgestelde methode biedt een principiële, data-gedreven initialisatie voor de kernschaal, waardoor de afhankelijkheid van dure hyperparameterzoektochten wordt verminderd, terwijl verdere verfijning tijdens het trainen mogelijk blijft.
• Uitgebreide Benchmarking: De studie evalueert de voorgestelde methode tegenover MLP's, standaard KAN's, EfficientKAN, Chebyshev KAN, KAF en standaard FastKAN over vier verschillende benchmarkfuncties die glad, discontinu, oscillerend en singulier gedrag vertegenwoordigen.

Resultaten
Numerieke experimenten op het eenheidsvierkant $[0, 1]^2$ onthullen het volgende:

• Kernselectie is belangrijk: Geen enkele kern is optimaal voor alle functietypes.
  • Gladde Functies (Franke): De Gaussische (GA) kern presteert het best, in overeenstemming met zijn oneindige differentieerbaarheid.
  • Discontinuïteiten: De Matérn C2 (M2) kern presteert aanzienlijk beter dan GA, en vangt scherpe sprongen op met lagere fout en minder vervaging.
  • Oscillerende Patronen: De Gaussische kern faalt in het vastleggen van hoogfrequente oscillaties, terwijl de Wendland C2 (W2) kern het patroon nauwkeurig reconstrueert.
  • Singulariteiten: De Wendland C6 (W6) kern vermindert de fout met ongeveer 52% ten opzichte van de GA-basislijn voor gelokaliseerde pieken.
• Adaptiviteit verbetert de prestaties: De adaptieve RBF-KAN presteert consistent beter dan de standaard FastKAN met een vaste vormparameter. Bijvoorbeeld, op de oscillerende functie daalde de fout van $4.54 \times 10^{-1}$ (vaste GA) naar $6.24 \times 10^{-2}$ (adaptieve W2).
• Efficiëntie versus Nauwkeurigheidsafweging: Hoewel de standaard KAN (op splines gebaseerd) hoge nauwkeurigheid biedt, is deze rekenkundig duur (trainings tijden ~60s versus ~3-5s voor RBF-varianten). De Adaptieve RBF-KAN behoudt de rekenkundige efficiëntie van FastKAN terwijl het concurrerende of superieure nauwkeurigheid bereikt in alle testgevallen. MLP's bleken rekenkundig efficiënt te zijn, maar hadden moeite met nauwkeurigheid op complexe patronen, waarbij ze vaak hoogfrequente kenmerken oversmoothen.

Betekenis en Claims
Het artikel stelt dat het combineren van LOOCV-gebaseerde initialisatie met adaptief kernleren een praktische en flexibele strategie biedt voor het verbeteren van op RBF gebaseerde KAN-modellen. De auteurs benadrukken dat hun werk de eerste poging vertegenwoordigt om LOOCV-gebaseerde schatting van de schaal te verbinden met diepe KAN-training. Zij stellen dat de voorgestelde methode de beperkingen van vaste kernkeuzes en vaste vormparameters aanpakt, waardoor het netwerk zijn basisrepresentatie beter kan aanpassen aan de specifieke structurele kenmerken van de doelfunctie (gladheid, discontinuïteit, oscillatie of singulariteit). De studie concludeert dat hoewel verschillende kernen voordelen tonen voor verschillende klassen van functies, het adaptieve kader een robuuste oplossing biedt die de rekenkundige efficiëntie van FastKAN in evenwicht brengt met de nauwkeurigheid die nodig is voor diverse benaderingsuitdagingen. Toekomstig werk wordt voorgesteld om toepassingen te onderzoeken in hogere dimensionale problemen, ruisende real-world datasets en wetenschappelijke rekenkundige taken zoals het oplossen van partiële differentiaalvergelijkingen.