Scaling of Gaussian Kolmogorov--Arnold Networks

Titel: Scaling of Gaussian Kolmogorov–Arnold Networks

Autoren: Amir Noorizadegan und Sifan Wang
Datum: April 2026 (Vorabdruck)

1. Problemstellung

Kolmogorov-Arnold-Netzwerke (KANs) sind eine vielversprechende Alternative zu klassischen Multilayer-Perceptrons (MLPs), bei denen feste Aktivierungsfunktionen durch lernbare univariate Funktionen auf den Kanten ersetzt werden. Während die ursprünglichen KANs auf B-Splines basieren, haben neuere Arbeiten Gaußsche Radial-Basis-Funktionen (RBFs) als Basisfunktionen eingeführt (z. B. in FastKAN), da sie glatt, lokal und analytisch einfach sind.

Ein zentrales, jedoch bisher ungelöstes Problem bei Gaußschen KANs ist die Wahl des Skalierungsparameters $\epsilon$ (oft auch als Formparameter bezeichnet). In der klassischen RBF-Interpolation ist bekannt, dass eine schlechte Wahl von $\epsilon$ entweder zu schwacher Approximationsgüte (zu große $\epsilon$) oder zu schwerer numerischer Instabilität (schlechte Konditionierung bei zu kleinen $\epsilon$) führt. In bestehenden KAN-Literaturwerken wird $\epsilon$ jedoch oft willkürlich festgelegt, durch Trial-and-Error gewählt oder als trainierbarer Hyperparameter behandelt, ohne dass die zugrundeliegende Dynamik in tiefen Architekturen systematisch verstanden wird.

Die Fragestellung dieses Papers lautet: Wie verhält sich der Skalierungsparameter $\epsilon$ in einer tiefen, kantenbasierten Architektur, und wie kann er systematisch gewählt werden, um sowohl Stabilität als auch Genauigkeit zu gewährleisten?

2. Methodik

Die Autoren verfolgen einen analytischen und empirischen Ansatz, der die Theorie der RBFs mit der Architektur von KANs verbindet:

• Fokus auf die erste Schicht: Die zentrale Hypothese ist, dass die erste Schicht des Netzwerks den entscheidenden Einfluss auf die Skalierung hat. Da diese Schicht direkt auf dem Eingabedomain operiert, führt ein Verlust der Unterscheidbarkeit der Eingabedaten in dieser Schicht (durch eine schlechte Skalierung) zu einem irreversiblen Informationsverlust, den nachfolgende Schichten nicht kompensieren können.
• Kernel-Analyse: Die erste Schicht wird als endliche Feature-Map $\Phi$ interpretiert, die einen additiven Kernel über die Eingabekoordinaten induziert. Die Stabilität wird nicht primär über die Gram-Matrix ($\Phi^\top \Phi$), sondern über die Konditionierung der Feature-Matrix $\Phi$ selbst analysiert.
• Numerische Diagnostik: Es werden Kriterien für numerischen Rangverlust und Konditionierung definiert. Ein praktischer Schwellenwert für die Konditionszahl $\kappa(\Phi) < 3 \times 10^3$ wird festgelegt, um den Bereich numerischer Stabilität zu identifizieren.
• Experimentelles Setup:
  • Benchmarks: Vier verschiedene Zielfunktionen (glatt, periodisch, scharfe Spitzen, diskontinuierlich) und ein physik-informiertes Helmholtz-PDE-Problem.
  • Variablen: Systematische Variation von $\epsilon$, Anzahl der Kollokationspunkte ($N$), Anzahl der Gaußschen Zentren ($G$), Netzwerktiefe/-breite und Eingabedimension.
  • Vergleich: Ein matchter Chebyshev-KAN dient als Referenz für die Genauigkeit.

3. Schlüsselbeiträge

1. Dominanz der ersten Schicht:
   Die Autoren beweisen theoretisch und belegen experimentell, dass die erste Schicht der „Flaschenhals" für die Skalierung ist. Änderungen von $\epsilon$ in tieferen Schichten haben einen vernachlässigbaren Einfluss auf die Gesamtgenauigkeit im Vergleich zu Änderungen in der ersten Schicht. Ein Zusammenbruch (Collapse) der Repräsentation in der ersten Schicht (bei zu großem $\epsilon$) führt zum Totalausfall des Netzwerks.

2. Ableitung eines praktischen Skalierungsintervalls:
   Basierend auf der Analyse der Konditionierung der Feature-Matrix leiten die Autoren ein einfaches, robustes Intervall für $\epsilon$ ab, das nur von der Anzahl der Zentren $G$ abhängt:
   $$\epsilon \in \left[ \frac{1}{G-1}, \frac{2}{G-1} \right]$$

   • Die untere Grenze entspricht dem Abstand benachbarter Zentren.
   • Die obere Grenze markiert den Punkt, an dem die Konditionierung kritisch wird, aber noch innerhalb eines stabilen Bereichs liegt.

3. Validierung über verschiedene Szenarien:
   Das Intervall wurde erfolgreich über verschiedene Zielfunktionen, Gitterauflösungen ($N$), Netzwerktopologien, Eingabedimensionen (bis 4D) und ein PDE-Problem (Helmholtz) validiert. In allen Fällen zeigte sich ein „U-förmiger" Fehlerverlauf in Abhängigkeit von $\epsilon$, wobei das Minimum stets innerhalb oder in der Nähe des abgeleiteten Intervalls lag.

4. Effiziente Skalierungssuche:
   Es wird gezeigt, dass der Trainings-MSE nach wenigen Epochen (z. B. 500) bereits ausreicht, um eine gute $\epsilon$-Wahl innerhalb des zulässigen Intervalls zu identifizieren, ohne dass eine Validierung gegen eine wahre Lösung notwendig ist. Dies reduziert den Suchraum für Hyperparameter erheblich.

5. Vergleich mit Chebyshev-KANs:
   Ein Gaußscher KAN, der gemäß dem vorgeschlagenen Intervall skaliert ist, erreicht eine Genauigkeit, die mit der eines standardmäßigen Chebyshev-KAN (mit gleicher Anzahl trainierbarer Parameter pro Kante) vergleichbar ist, teilweise sogar besser. Dies widerlegt die Annahme, dass Gaußsche Basen per se weniger leistungsfähig seien.

4. Ergebnisse

• Stabilität vs. Genauigkeit: Das Paper bestätigt den klassischen Trade-off in RBFs: Zu kleine $\epsilon$ führen zu übermäßiger Lokalisierung (hoher Fehler), zu große $\epsilon$ führen zu numerischem Zusammenbruch (Rank-Defizienz). Das gefundene Intervall balanciert diese beiden Effekte optimal.
• Einfluss von $N$ und $G$:
  • Eine Erhöhung der Anzahl der Trainingspunkte $N$ verbessert die Genauigkeit, verschiebt aber das optimale $\epsilon$-Fenster nur geringfügig.
  • Eine Erhöhung der Anzahl der Zentren $G$ verschiebt das optimale $\epsilon$-Fenster zu kleineren Werten (da der Zentrenabstand kleiner wird) und verbreitert den zulässigen Bereich.
• Architektur-Unabhängigkeit: Die optimale Skalierung wird fast ausschließlich durch die Geometrie der ersten Schicht bestimmt. Tiefere Schichten oder breitere Netzwerke ändern die Lage des optimalen Intervalls kaum, können aber den zulässigen Bereich nach oben (zu größeren $\epsilon$) erweitern.
• Physik-informierte Lernverfahren (PINNs): Das gefundene Intervall funktioniert auch bei der Lösung der Helmholtz-Gleichung, was zeigt, dass die Regel auch für komplexe PDEs mit Randbedingungen gültig ist.
• Variable Skalierung: Ein Ansatz, bei dem jedem Zentrum ein eigener, leicht variierender Skalierungsparameter zugewiesen wird (innerhalb des Intervalls), zeigte eine leichte Verbesserung der Genauigkeit gegenüber einer festen Skalierung.

5. Bedeutung und Fazit

Dieses Paper positioniert die Skalierung von Gaußschen KANs nicht als willkürliche Hyperparameter-Wahl, sondern als fundamentales Designprinzip.

• Praktische Relevanz: Die Autoren liefern eine einfache, anwendbare Regel ($\epsilon \approx 1/(G-1)$ bis $2/(G-1)$), die Entwicklern erlaubt, Gaußsche KANs ohne aufwendige Hyperparameter-Sweeps stabil und effizient zu trainieren.
• Theoretischer Beitrag: Die Arbeit überträgt klassische Erkenntnisse aus der RBF-Theorie (insbesondere die Konditionierungsanalyse) erfolgreich auf den Kontext tiefer neuronaler Netze und identifiziert die erste Schicht als kritischen Faktor für die Repräsentationsfähigkeit.
• Zukunftsausblick: Die Ergebnisse legen nahe, dass die starke Abhängigkeit von der Skalierung keine „Bug", sondern ein „Feature" ist, das zur Steuerung des Approximationsverhaltens genutzt werden kann. Zukünftige Arbeiten könnten adaptive Zentrenverschiebungen oder das Training von $\epsilon$ innerhalb des vorgeschlagenen Intervalls untersuchen.

Zusammenfassend demonstriert das Paper, dass Gaußsche KANs bei korrekter Skalierung eine hoch kompetitive Alternative zu anderen Basisfunktionen (wie Chebyshev-Polynomen) darstellen und dass die Wahl von $\epsilon$ der Schlüssel zur Stabilität und Leistungsfähigkeit dieser Architekturen ist.