🤖 machine learning

Kolmogorov-Arnold Fourier Networks

Der Artikel stellt Kolmogorov-Arnold-Fourier-Netzwerke (KAF) vor, eine neuartige Architektur, die die Parameterexplosion und die Einschränkungen bei hohen Frequenzen traditioneller KANs überwindet, indem sie lokale B-Splines durch eine globale, adaptive spektrale Darstellung mit trainierbaren Random-Fourier-Features und einem hybriden Aktivierungsmechanismus ersetzt, wodurch sie in verschiedenen Aufgaben einen State-of-the-Art in Bezug auf Leistung und Effizienz erreicht.

Ursprüngliche Autoren: Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „überdimensionierte" Maschine

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Katze auf einem Foto zu erkennen.

Der alte Weg (MLP): Sie geben dem Roboter ein Standardwerkzeugset. Es ist schnell und einfach, aber manchmal übersieht es feine Details wie die Textur des Fells oder die scharfe Kante eines Ohrs.
Der „neue” Weg (KAN): Vor einigen Jahren erfanden Forscher ein neues Werkzeugset namens KAN (Kolmogorov-Arnold-Netzwerk). Theoretisch ist dieses Werkzeugset ein Genie. Es kann jede beliebige Form oder jedes Muster perfekt beschreiben. In der Praxis ist es jedoch so, als würde man versuchen, ein Haus mit einer Million winziger, maßgeschneiderter Ziegelsteine zu bauen.
- Problem 1 (Zu schwer): Es erfordert so viele Parameter (Ziegelsteine), dass es unglaublich schwer und langsam zu trainieren wird. Es ist wie der Versuch, einen Rucksack voller Goldklumpen zu tragen; das ist zu viel Gewicht für den Roboter, um es effizient zu handhaben.
- Problem 2 (Verschwommene Sicht): Da KAN „weiche" Kurven (sogenannte B-Splines) verwendet, um seine Formen zu bauen, hat es Schwierigkeiten, scharfe, gezackte oder „hochfrequente" Details zu erkennen. Es ist wie der Blick auf ein Foto durch einen Weichzeichner-Filter; die Katze sieht nett aus, aber die Schnurrhaare sind verschwommen.

Die Lösung: KAF (Das „spektrale" Upgrade)

Die Autoren schlagen eine neue Architektur namens KAF (Kolmogorov-Arnold-Fourier-Netzwerk) vor. Sie haben das alte KAN nicht nur leicht angepasst, sondern grundlegend verändert, wie es über Daten „denkt".

Stellen Sie sich KAF vor, als würde man dieses schwere, verschwommene KAN-Werkzeugset nehmen und die Ziegelsteine gegen Musiknoten austauschen.

1. Ziegelsteine gegen Musik tauschen (Spektrale Reparametrisierung)

Anstatt Formen aus Millionen winziger, lokaler Teile (B-Splines) zu bauen, verwendet KAF Zufällige Fourier-Features (RFF).

Die Analogie: Stellen Sie sich vor, Sie wollen eine komplexe Welle zeichnen.
- KAN versucht, sie zu zeichnen, indem es Tausende winziger, weicher Punkte verbindet. Das dauert ewig und verbraucht zu viel Tinte.
- KAF erkennt, dass jede Welle nur eine Kombination aus einfachen Sinuswellen ist (wie Musiknoten). Anstatt Punkte zu zeichnen, stellt es einfach ein paar „Regler" ein, um Tonhöhe und Lautstärke dieser Noten anzupassen.
Das Ergebnis: Dies reduziert drastisch die Anzahl der benötigten „Ziegelsteine" (Parameter). Der Roboter wird viel leichter und schneller, kann aber dennoch komplexe Formen bauen.

2. Der „Hybrid"-Motor (GELU-Fourier-Aktivierung)

KAF führt einen speziellen Motor ein, der gleichzeitig mit zwei Arten von Treibstoff läuft:

Treibstoff A (GELU): Dies ist der „weiche" Treibstoff. Er bewältigt die großen, einfachen Teile des Bildes (wie die allgemeine Form der Katze).
Treibstoff B (Fourier/RFF): Dies ist der „scharfe" Treibstoff. Er bewältigt die kniffligen, hochfrequenten Details (wie die Schnurrhaare und die Felltextur).
Die Magie: Der Roboter hat einen intelligenten Schalter (lernbare Koeffizienten), der entscheidet, wie viel von jedem Treibstoff verwendet wird. Zu Beginn des Trainings verwendet er hauptsächlich den weichen Treibstoff, um die Grundlagen richtig zu bekommen. Während er lernt, dreht er den „scharfen" Treibstoff allmählich hoch, um die feinen Details zu erfassen. Es ist wie ein Koch, der mit einer einfachen Brühe beginnt und nach und nach Gewürze hinzufügt, um den Geschmack zu perfektionieren.

3. Das Radio abstimmen (Initialisierungsstrategie)

Das Papier erwähnt eine spezifische Zahl, 1,64, die verwendet wird, um die „Radiosender" (Frequenzen) einzustellen, auf die der Roboter hört.

Die Analogie: Wenn Sie ein Radio zu weit nach links drehen, hören Sie nur Bass (niedrige Frequenzen). Wenn Sie es zu weit nach rechts drehen, hören Sie nur Rauschen (hohe Frequenzen).
Die Lösung: Die Autoren berechneten, dass das Einstellen der „Lautstärke" der Frequenzen auf 1,64 das perfekte Gleichgewicht ist. Es stellt sicher, dass der Roboter von Anfang an die richtige Mischung an Klängen hört, damit er nicht verwirrt wird oder wichtige Signale verpasst.

Was haben sie bewiesen?

Die Autoren testeten diesen neuen „Musikroboter" (KAF) gegen die alten Roboter (MLP und KAN) in mehreren Bereichen:

Sehen (Vision): Bei Aufgaben wie dem Erkennen handschriftlicher Zahlen oder komplexer Bilder (CIFAR, ImageNet) war KAF genauer und benötigte weniger Ressourcen als die anderen.
Sprache (Lesen): Wenn er in einem Sprachmodell (GPT-2) verwendet wurde, lernte KAF, Text besser und schneller vorherzusagen als die Standardversion.
Wissenschaft (Lösen von Gleichungen): Sie baten den Roboter, komplexe physikalische Gleichungen zu lösen (wie sich Wärme ausbreitet oder wie sich Wellen bewegen). KAF war viel besser darin, die scharfen, plötzlichen Änderungen in diesen Gleichungen zu erfassen als das verschwommene KAN.
Formen anpassen: Wenn sie gebeten wurden, eine perfekte Sinuswelle zu zeichnen (eine weiche Kurve, die auf und ab geht), zeichnete KAF sie fast perfekt, während die anderen Fehler an den Rändern machten.

Das Fazit

Das Papier behauptet, dass KAF die beiden größten Probleme des vorherigen „genialen" Netzwerks (KAN) löst:

Es ist leichtgewichtig (weniger Parameter, schnelleres Training).
Es hat scharfe Sicht (es kann hochfrequente Details erkennen, die andere verpassen).

Indem es die schweren, weichen „Ziegelsteine" der Vergangenheit durch einen flexiblen, musikalischen „Fourier"-Ansatz ersetzt, gelingt es KAF, sowohl effizient als auch leistungsstark zu sein, was es zu einem starken Kandidaten für die nächste Generation der KI macht.

Technische Zusammenfassung: Kolmogorov-Arnold-Fourier-Netzwerke (KAF)

Problemstellung
Während Kolmogorov-Arnold-Netzwerke (KANs) durch den Ersatz fester Aktivierungsfunktionen durch lernbare B-Spline-Basisfunktionen eine starke theoretische Ausdruckskraft bieten, stehen sie vor zwei kritischen Hindernissen für die praktische Anwendung in hochdimensionalen Aufgaben:

Parameterexplosion: Die Dual-Matrix-Architektur (Matrix der Aktivierungsfunktionen und Matrix der B-Spline-Koeffizienten) führt dazu, dass die Parameteranzahl im Vergleich zu herkömmlichen Multi-Layer-Perceptrons (MLPs) erheblich stärker skaliert, was zu hohen Speicher- und Rechenkosten führt.
Spektrale Einschränkungen: Die inhärente Glattheit der B-Spline-Basisfunktionen begrenzt die Fähigkeit, hochfrequente Merkmale zu erfassen, was zu suboptimalen Leistungen bei Daten mit reichhaltigen spektralen Eigenschaften führt, wie etwa natürlichen Bildern, Audio und komplexen Differentialgleichungen.

Methodik
Die Autoren schlagen das Kolmogorov-Arnold-Fourier-Netzwerk (KAF) vor, das das KAN-Paradigma durch spektrale Reparameterisierung grundlegend neu definiert. Die Kernarchitektur ersetzt die lokale, gitterbasierte B-Spline-Darstellung durch eine globale, adaptive spektrale Darstellung.

Zu den wesentlichen methodischen Komponenten gehören:

Spektrale Reparameterisierung: KAF verschmilzt die großen Matrizen von KAN unter Ausnutzung des Assoziativgesetzes der Matrixmultiplikation und reduziert die Parameterkomplexität von $O(d_{in} \times d_{out} \times (G + K + 3))$ auf $O(d_{in} \times d_{out})$ .
Trainierbare Random Fourier Features (RFF): Anstelle von B-Splines verwendet KAF lernbare RFFs, um Eingaben in einen reproduzierenden Kernel-Hilbert-Raum (RKHS) abzubilden. Die Frequenzmatrix $W$ wird mittels einer spektralen Ausrichtungsstrategie (speziell $\sigma = 1.64$ ) initialisiert, die vom Zentralen Grenzwertsatz und der Fourier-Analyse der GELU-Aktivierungsfunktion abgeleitet ist. Diese Initialisierung richtet das RFF-Spektrum an Vorwissen über natürliche Signale aus und mildert spektrale Leckagen.
Hybride GELU-Fourier-Aktivierung: Das Netzwerk nutzt einen dynamischen Aktivierungsmechanismus, definiert als $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$ . Die Koeffizienten $\alpha$ und $\beta$ sind lernbare Skalierungsparameter. Während des Trainings priorisiert $\alpha$ zunächst die Glattheit im niedrigen Frequenzbereich, während $\beta$ (initialisiert auf einen kleinen Wert, z. B. $10^{-2}$ ) progressiv wächst, um hochfrequente Komponenten zu erfassen, was einen automatischen Übergang von festen Aktivierungen zu hybriden Fourier-symbolischen Darstellungen ermöglicht.

Hauptbeiträge

Basis-Transformation: Ein Wechsel von lokalen B-Splines zu globalen, adaptiven spektralen Darstellungen, der die Parameterkomplexität reduziert und gleichzeitig die Ausdruckskraft bewahrt.
Initialisierung durch spektrale Ausrichtung: Eine RFF-Initialisierungsstrategie ( $\sigma = 1.64$ ), die die Glattheitsbeschränkungen fester Kernel durchbricht und eine präzise Erfassung hochfrequenter Komponenten ermöglicht.
Adaptive hybride Aktivierung: Ein Mechanismus, der während des Trainings dynamisch die Glattheit im niedrigen Frequenzbereich und die Darstellung im hohen Frequenzbereich ausbalanciert und so Stabilität und Effizienz gewährleistet.

Experimentelle Ergebnisse
Umfassende Experimente wurden in den Bereichen Computer Vision (CV), Natural Language Processing (NLP), Audio und wissenschaftliches Rechnen durchgeführt:

Benchmark-Leistung: Auf Vision-Datensätzen (MNIST, CIFAR-10/100, SVHN) erzielte KAF unter vergleichbaren Parameterbudgets konsistent höhere Genauigkeiten als MLPs, KANs, FAN und GPKAN.
Großskalige Modelle: Bei der Integration in ResNet-18, ViT-Tiny und MLP-Mixer verbesserte KAF die Top-1-Genauigkeit (z. B. 91,72 % auf CIFAR-10 für ResNet-18 gegenüber 91,19 % für MLP) bei gleichzeitiger Aufrechterhaltung angemessener Rechenkosten.
Sprachmodellierung: In GPT-2-Architekturen reduzierte der Ersatz des Feed-Forward-Netzwerks (FFN) durch KAF die Perplexität (PPL) auf WikiText (180,85 gegenüber 184,53 für MLP) und OpenWebText, während die Trainingszeit im Vergleich zu KAN, das unter Instabilität und massivem Parameteraufwand litt, erheblich verkürzt wurde.
Funktionsapproximation & PDEs: KAF zeigte überlegene Anpassungsfähigkeiten bei komplexen Funktionen (einschließlich hochfrequenter Summen und unstetiger Funktionen) und erzielte bei der Lösung partieller Differentialgleichungen (Poisson, Wärmeleitung, Burgers) geringere Fehler als MLPs und andere Baselines.
Ablationsstudien: Experimente bestätigten die Notwendigkeit der hybriden GELU-RFF-Aktivierung und der spezifischen Initialisierung von $\sigma = 1.64$ ; das Entfernen einer dieser Komponenten verschlechterte die Leistung.

Bedeutung
Die Arbeit behauptet, dass KAF erfolgreich die Lücke zwischen der theoretischen Interpretierbarkeit von Kolmogorov-Arnold-Netzwerken und der für skalierbares Deep Learning erforderlichen Parametereffizienz schließt. Durch die Adressierung des in KANs inhärenten „Paradoxons zwischen Theorie und Praxis" bietet KAF eine praktische Alternative, die die Funktionsapproximationsperspektive von KANs beibehält und gleichzeitig State-of-the-Art-Leistung bei verbesserter Effizienz erzielt. Die Autoren positionieren KAF als viable Ersatzlösung für sowohl KAN- als auch MLP-Komponenten in modernen neuronalen Architekturen, insbesondere für Aufgaben, die eine Extraktion hochfrequenter Merkmale erfordern.