Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

Technisches Fazit: Adaptive RBF-KAN

Problemstellung
Kolmogorov-Arnold-Netzwerke (KANs) bieten eine Alternative zu Multi-Layer-Perceptrons (MLPs), indem sie lernbare univariate Funktionen auf den Netzwerkkanten platzieren, anstatt feste Aktivierungsfunktionen an den Knoten zu verwenden. Während die ursprüngliche KAN-Implementierung B-Spline-Basen nutzt, verursacht dieser Ansatz erhebliche Rechenkosten während des Trainings. FastKAN adressiert dies, indem es Splines durch Gaußsche Radialbasisfunktionen (RBFs) ersetzt, was die Effizienz erheblich steigert. Allerdings verlässt sich das standardmäßige FastKAN auf einen festen Kernel-Formparameter ($h$). Die Wahl dieses Parameters ist kritisch: Kleine Werte können zu Überanpassung führen, während große Werte zu übermäßiger Glättung führen. Ein fester Parameter begrenzt die Anpassungsfähigkeit des Modells an verschiedene Funktionstypen (z. B. glatte Oberflächen, Diskontinuitäten, oszillierende Muster und Singularitäten). Darüber hinaus ist die Standard-FastKAN-Formulierung auf Gaußsche Kernel beschränkt, was die Darstellungsflexibilität für nicht-glatte oder stark lokalisierte Funktionen potenziell einschränkt.

Methodik
Die Autoren schlagen eine adaptive RBF-KAN (auch als adaptive FastKAN bezeichnet) vor, die zwei primäre Verbesserungen in das bestehende Framework einführt:

1. LOOCV-basierte Initialisierung: Anstatt einen festen oder zufällig initialisierten Formparameter zu verwenden, schätzen die Autoren den anfänglichen Kernel-Skalenparameter ($h_{opt}$) mittels Leave-One-Out-Cross-Validation (LOOCV). Dies erfolgt an einem auxilliären eindimensionalen RBF-Interpolationsmodell, das aus den Eingabedaten konstruiert wurde. Um numerische Stabilität zu gewährleisten, wird ein kleiner Regularisierungsterm ($\lambda = 10^{-9}$) zur Interpolationsmatrix hinzugefügt. Das optimale $h$ wird durch eine zweistufige Suche (grob und fein) gefunden, die den maximalen LOOCV-Fehler minimiert.
2. Adaptives Lernen des Formparameters: Um dem Netzwerk zu ermöglichen, die Kernel-Skala während des Trainings zu verfeinern, wird der Formparameter im Logarithmusraum neu parametrisiert ($\theta = \ln(h)$). Dies stellt sicher, dass $h = e^\theta$ strikt positiv bleibt und numerische Instabilität (Division durch Null oder exponentielles Wachstum) während der gradientenbasierten Optimierung verhindert wird. Der Parameter $\theta$ wird gemeinsam mit den Spline-Koeffizienten via Backpropagation aktualisiert.
3. Erweiterte Kernel-Familie: Das Framework wird über den Gaußschen Kernel hinaus erweitert, um eine breitere Familie von Radialbasisfunktionen einzuschließen. Konkret führen die Autoren Matérn- (M2, M4, M6) und Wendland-Kernel (W2, W4, W6) erstmals in die KAN-Architektur ein. Diese Kernel bieten unterschiedliche Grade an Glattheit und kompaktem Träger, was dem Netzwerk ermöglicht, sich besser an Funktionen mit unterschiedlichen strukturellen Eigenschaften anzupassen.

Hauptbeiträge

• Erste Integration von LOOCV und tiefen KANs: Nach Kenntnis der Autoren ist dies die erste Studie, die eine LOOCV-basierte Schätzung der Kernel-Skala mit dem Training tiefer KAN-Architekturen integriert.
• Integration neuer Kernel: Die Arbeit führt Matérn- und Wendland-Kernel in das KAN-Framework ein und geht damit über den rein gaußschen Ansatz des standardmäßigen FastKAN hinaus.
• Datengetriebene Initialisierungsstrategie: Die vorgeschlagene Methode bietet eine prinzipielle, datengetriebene Initialisierung für die Kernel-Skala, reduziert die Abhängigkeit von teuren Hyperparametersuchen und ermöglicht gleichzeitig eine weitere Verfeinerung während des Trainings.
• Umfassende Benchmarking: Die Studie bewertet die vorgeschlagene Methode im Vergleich zu MLPs, standardmäßigen KANs, EfficientKAN, Chebyshev-KAN, KAF und standardmäßigem FastKAN über vier verschiedene Benchmark-Funktionen, die glattes, diskontinuierliches, oszillierendes und singuläres Verhalten repräsentieren.

Ergebnisse
Numerische Experimente auf dem Einheitsquadrat $[0, 1]^2$ ergeben Folgendes:

• Kernel-Auswahl ist entscheidend: Kein einzelner Kernel ist für alle Funktionstypen optimal.
  • Glatte Funktionen (Franke): Der Gaußsche (GA) Kernel performs am besten, was mit seiner unendlichen Differenzierbarkeit konsistent ist.
  • Diskontinuitäten: Der Matérn C2 (M2) Kernel übertrifft GA signifikant, indem er scharfe Sprünge mit geringerem Fehler und weniger Verschmierung erfasst.
  • Oszillierende Muster: Der Gaußsche Kernel scheitert daran, hochfrequente Oszillationen zu erfassen, während der Wendland C2 (W2) Kernel das Muster präzise rekonstruiert.
  • Singularitäten: Der Wendland C6 (W6) Kernel reduziert den Fehler um etwa 52 % im Vergleich zur GA-Baseline für lokalisierte Spitzen.
• Adaptivität verbessert die Leistung: Die adaptive RBF-KAN übertrifft das standardmäßige FastKAN mit festem Formparameter konsistent. Beispielsweise sank der Fehler bei der oszillierenden Funktion von $4.54 \times 10^{-1}$ (festes GA) auf $6.24 \times 10^{-2}$ (adaptives W2).
• Trade-off zwischen Effizienz und Genauigkeit: Während das standardmäßige KAN (basiert auf Splines) hohe Genauigkeit bietet, ist es rechenintensiv (Trainingszeiten ~60 s vs. ~3–5 s für RBF-Varianten). Die adaptive RBF-KAN behält die Rechen-effizienz von FastKAN bei und erzielt gleichzeitig wettbewerbsfähige oder überlegene Genauigkeit über alle Testfälle hinweg. MLPs erwiesen sich als recheneffizient, hatten jedoch Schwierigkeiten mit der Genauigkeit bei komplexen Mustern und glätteten hochfrequente Merkmale oft übermäßig.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Kombination einer LOOCV-basierten Initialisierung mit adaptivem Kernel-Lernen eine praktische und flexible Strategie zur Verbesserung von RBF-basierten KAN-Modellen darstellt. Die Autoren betonen, dass ihre Arbeit den ersten Versuch darstellt, eine LOOCV-basierte Skalenschätzung mit dem Training tiefer KANs zu verbinden. Sie gehen davon aus, dass die vorgeschlagene Methode die Einschränkungen fester Kernel-Wahlen und fester Formparameter adressiert und dem Netzwerk ermöglicht, seine Basis-Repräsentation besser an die spezifischen strukturellen Eigenschaften der Zielfunktion (Glattheit, Diskontinuität, Oszillation oder Singularität) anzupassen. Die Studie kommt zu dem Schluss, dass zwar verschiedene Kernel Vorteile für verschiedene Klassen von Funktionen zeigen, das adaptive Framework jedoch eine robuste Lösung bietet, die die Rechen-effizienz von FastKAN mit der Genauigkeit ausbalanciert, die für diverse Approximationsherausforderungen erforderlich ist. Als zukünftige Arbeiten wird vorgeschlagen, Anwendungen in höherdimensionalen Problemen, verrauschten realen Datensätzen und wissenschaftlichen Rechenaufgaben wie dem Lösen partieller Differentialgleichungen zu untersuchen.