🤖 machine learning

FI-KAN: Fractal Interpolation Kolmogorov-Arnold Networks

Die Arbeit stellt FI-KAN vor, ein neues neuronales Netzwerk, das durch die Integration lernbarer fraktaler Interpolationsfunktionen die Approximation nicht-glatter Funktionen und PDE-Lösungen im Vergleich zu herkömmlichen KAN-Architekturen erheblich verbessert, indem es die Basisgeometrie an die Regularität der Zielwerte anpasst.

Ursprüngliche Autoren: Gnankan Landry Regis N'guessan

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gnankan Landry Regis N'guessan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du versuchst, ein komplexes Muster zu zeichnen oder eine Geschichte zu erzählen.

Das alte Problem: Der glatte Bleistift
Bisher haben die meisten künstlichen Intelligenzen (KI) wie ein sehr präziser, aber starrer Bleistift gezeichnet. Diese KIs (genannt KANs) sind hervorragend darin, glatte Kurven, sanfte Hügel und perfekte Kreise zu zeichnen. Sie nutzen mathematische Werkzeuge (sogenannte B-Splines), die wie glatte, geschwungene Linien funktionieren.

Aber was passiert, wenn du versuchst, etwas zu zeichnen, das nicht glatt ist?

Stell dir eine zerklüftete Berglandschaft vor.
Oder das raue Profil eines zerbrochenen Felsens.
Oder das chaotische Zittern eines Aktienkurses.

Wenn du diese rauen, „kratzigen" Dinge mit einem glatten Bleistift zeichnen willst, musst du extrem viele winzige, glatte Striche hintereinander setzen, um die Rauheit nur annähernd zu imitieren. Das ist ineffizient, ungenau und kostet viel Rechenleistung. Die KI versucht, eine raue Felswand mit glatten Wellen nachzubauen – das passt einfach nicht zusammen.

Die neue Lösung: FI-KAN (Der „fraktale" Pinsel)
Die Autoren dieses Papiers haben eine neue Art von KI entwickelt, die FI-KAN heißt. Sie sagen im Grunde: „Warum versuchen wir, eine raue Felswand mit glatten Linien zu zeichnen? Wir brauchen einen Pinsel, der selbst rau sein kann!"

Hier ist die einfache Erklärung, wie das funktioniert, mit ein paar Analogien:

1. Der „Lernbare Pinsel" (Fraktale Interpolation)

Stell dir vor, du hast einen Pinsel, dessen Borsten sich verstellen lassen.

Im glatten Modus: Die Borsten sind glatt und weich. Damit malst du perfekte Kreise und sanfte Kurven (wie ein normaler KAN).
Im rauen Modus: Die Borsten werden selbst „fraktal". Das bedeutet, sie haben kleine Zacken, die wieder kleine Zacken haben, die wieder kleine Zacken haben (wie ein Farnblatt oder eine Küstenlinie).

Das Geniale an der FI-KAN ist, dass sie selbst lernt, wie rau ihr Pinsel sein muss.

Wenn die KI eine glatte Funktion lernt, macht sie den Pinsel glatt.
Wenn sie eine raue, zerklüftete Funktion lernt, macht sie den Pinsel rau.

Sie passt also ihre eigene Form an das Ziel an, das sie zeichnen soll. Das nennt man im Fachjargon „Regularity-Matching" (Passung der Regelmäßigkeit).

2. Die zwei Varianten: Der Spezialist und der Allrounder

Das Papier stellt zwei Versionen vor:

Pure FI-KAN (Der Spezialist):
Dieser Pinsel besteht nur aus den fraktalen, rauen Borsten.
- Vorteil: Er ist unschlagbar, wenn es um extrem raue, chaotische Muster geht (wie ein zerbrochener Fels).
- Nachteil: Wenn er versucht, einen perfekten Kreis zu malen, sieht das Ergebnis etwas „gekratzig" aus, weil er keine glatten Linien mehr hat. Er ist wie ein Meißel, der toll für Stein ist, aber schlecht für Seide.
Hybrid FI-KAN (Der Allrounder):
Dies ist die beste Version. Sie hat zwei Werkzeuge gleichzeitig:
1. Den alten, glatten Pinsel (für die großen, sanften Formen).
2. Den neuen, rauen Pinsel (für die kleinen, zackigen Details).
Die KI lernt, wann sie welchen Pinsel benutzt. Ist das Ziel glatt? Dann benutzt sie nur den glatten. Ist das Ziel rau? Dann schaltet sie den rauen Pinsel hinzu, um die Details zu füllen. Das ist wie ein Maler, der erst eine glatte Grundierung aufträgt und dann mit einem speziellen Schwamm die Textur hinzufügt.

3. Warum ist das so wichtig? (Die Analogie der Landschaft)

Stell dir vor, du musst eine Landkarte erstellen.

Die alte KI (KAN): Versucht, die Alpen mit glatten, geschwungenen Linien zu zeichnen. Das Ergebnis sieht aus wie eine Wellblechdecke. Es ist falsch.
Die neue KI (FI-KAN): Erkennt: „Aha, hier sind Berge!" und schaltet automatisch auf den „fraktalen Modus" um. Plötzlich sieht die Landkarte aus wie echte, zerklüftete Berge.

Was haben die Forscher bewiesen?
Sie haben die neue KI an vielen schwierigen Aufgaben getestet:

Rauhe Funktionen: Sie war bis zu 6,3-mal genauer als die alte KI.
Physik-Gleichungen: Bei Problemen, die in der echten Welt vorkommen (wie die Strömung von Wasser durch poröses Gestein oder Spannungen in Ecken von Gebäuden), war sie bis zu 79-mal besser.
Rauschen: Selbst wenn die Daten verrauscht sind (wie bei einem schlechten Handy-Empfang), bleibt die neue KI stabiler, weil ihre „fraktalen Borsten" das Rauschen besser einordnen können.

Zusammenfassung

Die FI-KAN ist wie ein intelligenter, formbarer Pinsel.
Früher mussten wir versuchen, alles mit einem einzigen, starren Werkzeug (glatten Linien) zu lösen. Das funktionierte gut für glatte Dinge, aber scheiterte bei rauen, komplexen Dingen.
Die FI-KAN sagt: „Lass uns die Form des Werkzeugs an das Objekt anpassen." Sie kann sich von glatt zu rau verwandeln und lernt genau das, was sie braucht, um die Welt so zu verstehen, wie sie wirklich ist: voller glatter Kurven, aber auch voller rauer, fraktaler Details.

Das ist ein großer Schritt hin zu KI, die nicht nur glatte Mathematik versteht, sondern auch die raue, chaotische Realität der Natur, des Klimas und der Medizin.

1. Problemstellung

Neuronale Approximationsarchitekturen treffen implizite Annahmen über die Regularität (Glattheit) der zu lernenden Zielfunktionen durch die Wahl ihrer Basisfunktionen.

MLPs (Multi-Layer Perceptrons): Verwenden glatte Aktivierungsfunktionen (z. B. ReLU, SiLU) und approximieren Funktionen in Räumen stückweise glatter oder analytischer Funktionen.
KANs (Kolmogorov–Arnold Networks): Ersetzen feste Aktivierungen durch lernbare univariate Funktionen, die als B-Spline-Expansionen parametrisiert sind. B-Splines sind für glatte Ziele (Sobolev- oder Besov-Räume mit hoher Glattheit) nahezu optimal.

Das Kernproblem: Viele Funktionen aus Wissenschaft und Ingenieurwesen (z. B. Turbulenzfelder, Finanzzeitreihen, Bruchflächen, biomedizinische Signale) sind nicht glatt. Sie weisen eine nicht-triviale Hölder-Regularität, fraktale Selbstähnlichkeit oder nirgends differenzierbare Charakteristika auf.

Für solche Ziele sind die glatten Basisfunktionen von MLPs und KANs fundamental fehlgepasst.
Die Approximation einer Funktion mit einer Box-Counting-Dimension $dim_B > 1$ mittels glatter Basen erfordert eine exponentiell wachsende Anzahl von Basisfunktionen, ohne dass die Vorteile der Polynom-Reproduktion (die Splines für glatte Ziele effizient machen) zum Tragen kommen.

2. Methodik: FI-KAN Architektur

Das Paper stellt Fractal Interpolation KAN (FI-KAN) vor, das B-Spline-Basen in KANs durch oder in Kombination mit Fractal Interpolation Functions (FIF) ersetzt, die auf der Theorie der Iterierten Funktionensysteme (IFS) basieren.

Zentrale Innovation:
Die vertikalen Kontraktionsparameter $\{d_i\}$ des IFS werden als lernbare Parameter behandelt. Dies verleiht jeder Kantenfunktion eine differenzierbare fraktale Dimension, die sich während des Trainings an die Regularitätsstruktur der Zielfunktion anpasst.

Es werden zwei Varianten vorgestellt:

Pure FI-KAN (Barnsley-Framework):
- Ersetzt B-Splines vollständig durch FIF-Basen.
- Die Kantenfunktion ist eine Linearkombination von FIF-Basen $\phi_m(x; d)$ , gesteuert durch die Kontraktionsparameter $d$ .
- Wenn $d=0$ , degenerieren die FIFs zu stückweise linearen „Hut"-Funktionen (Order-1-Splines).
- Ziel: Testet die Regularitäts-Matching-Hypothese in ihrer stärksten Form.
Hybrid FI-KAN (Navascués-Framework):
- Implementiert die $\alpha$ -fraktale Zerlegung $f^\alpha_b = b + h$ .
- Behält den B-Spline-Pfad $b$ (klassische Approximation) bei und fügt einen parallelen FIF-Pfad $h$ (fraktale Korrektur) hinzu.
- Die Formel lautet: $\phi(x) = \text{Base} + \text{Spline} + \text{Fractal Correction}$ .
- Vorteil: Bietet Robustheit sowohl für glatte als auch für raue Ziele. Wenn $d=0$ und die fraktalen Gewichte null sind, reduziert sich die Architektur exakt auf ein Standard-KAN.

Regularisierung:
Ein neuartiger fraktaler Dimensions-Regularisierer wird eingeführt:
$R_{fractal}(d) = (\text{dim}_B(d) - 1)^2$
Dieser bestraft unnötige fraktale Komplexität (d.h. $dim_B > 1$ ) und implementiert so „Occams Rasiermesser" auf geometrischer Ebene, nicht auf Parameterebene. Er ist differenzierbar und lenkt das Netzwerk dazu, glatte Basen zu bevorzugen, es sei denn, die Daten erfordern fraktale Struktur.

3. Wichtige Beiträge

Theoretisch fundierte Architekturen: Zwei Varianten, die auf klassischen mathematischen Rahmenwerken (Barnsley und Navascués) basieren, nicht auf ad-hoc-Modifikationen.
Lernbare fraktale Dimension: Die Kontraktionsparameter ermöglichen einen kontinuierlichen, differenzierbaren Übergang von glatten ( $dim_B=1$ ) zu rauen/fraktalen ( $dim_B>1$ ) Basisfunktionen.
Geometrie-bewusste Regularisierung: Der Regularisierer kontrolliert die geometrische Komplexität der Basisfunktionen und ermöglicht die Interpretierbarkeit der gelernten Regularität.
Umfassende Validierung: Experimente über das gesamte Spektrum der Hölder-Regularität ( $\alpha \in [0.2, 2.0]$ ) und auf nicht-glatten PDE-Lösungen.
Empirische Bestätigung der Regularitäts-Matching-Hypothese: Der Kontrast zwischen Pure und Hybrid FI-KAN beweist, dass die geometrische Struktur der Basisfunktionen (nicht nur deren Anzahl) eine kritische Designvariable ist.

4. Ergebnisse

Benchmark-Ergebnisse (1D Regression):

Glatte Ziele (Polynome, Exponential-Sinus): Hybrid FI-KAN übertrifft KAN um den Faktor 1,3 bis 33. Pure FI-KAN versagt hier, da fraktale Basen glatte Krümmungen ineffizient approximieren (Bestätigung des Theorems 4.8).
Fraktale Ziele (Weierstrass-Funktion, Sägezahn): Hybrid FI-KAN erreicht bis zu 6,3-fache MSE-Reduktion gegenüber KAN. Pure FI-KAN ist auf reinen Fraktalen konkurrenzfähig, aber Hybrid ist überlegen.
Hölder-Regularitäts-Sweep: Hybrid FI-KAN gewinnt bei jedem Regularitätslevel ( $\alpha$ von 0,2 bis 2,0). Die Verbesserung gegenüber KAN steigt mit der Glattheit des Ziels (bis zu 33-fach bei $\alpha=1,5$ ), was zeigt, dass die fraktale Korrektur auch auf relativ glatten Zielen Vorteile bietet.

Rauschrobustheit:
Auf fraktalen Zielen zeigt Hybrid FI-KAN eine signifikante Robustheit gegenüber Rauschen (bis zu 6,1-facher Vorteil bei sauberem Signal, 4,7-fach bei extremem Rauschen von 5 dB). Die fraktalen Basen wirken als impliziter Multi-Scale-Denoiser.

Nicht-glatte PDE-Lösungen:
Dies ist der stärkste Beweis für die Anwendbarkeit:

Diffusion mit rauen Koeffizienten: Hybrid FI-KAN erreicht Verbesserungen von 65-fach bis 79-fach gegenüber KAN.
L-förmiges Gebiet (Eckensingularität): 3,5-fache Verbesserung bei der Approximation der $r^{2/3}$ -Singularität.
Stochastische Wärmeleitung: Verbesserungen von 6,5-fach bis 25-fach.

Skalierungsgesetze:
Auf fraktalen Zielen stagniert MLP komplett, während KAN und FI-KAN skalieren. FI-KAN behält jedoch einen konsistenten Vorteil bei allen Modellgrößen.

5. Bedeutung und Fazit

Das Paper etabliert das Regularity-Matched Basis Design als eine prinzipielle Strategie für neuronale Funktionsapproximation.

Paradigmenwechsel: Anstatt anzunehmen, dass alle Funktionen glatt sind (wie bei MLPs und Standard-KANs), passt FI-KAN die Geometrie der Basisfunktionen dynamisch an die Regularität des Ziels an.
Interpretierbarkeit: Die gelernten fraktalen Dimensionen dienen als diagnostisches Werkzeug, um die Regularität des Ziels zu quantifizieren.
Anwendungsgebiete: Die Methode ist besonders relevant für wissenschaftliche Domänen, in denen nicht-glatte Strukturen die Regel sind: Strömungen in heterogenen Medien, PDEs auf nicht-konvexen Gebieten, stochastische PDEs, geophysikalische Signalverarbeitung und biomedizinische Signale.

Einschränkungen:

FI-KAN ist kein universeller Ersatz für KAN; auf rein glatten Zielen ist der reine KAN (oder Hybrid mit $d \approx 0$ ) effizienter.
Die Berechnung der FIF-Basen erfordert sequentielle Iterationen, was den GPU-Parallelismus begrenzt (ca. 2,5-facher Overhead für Hybrid mit $K=2$ ).
Die Architektur profitiert von strukturierter Rauheit (deterministisch oder PDE-abgeleitet), nicht von unstrukturierter stochastischer Rauheit (wie einzelne Realisierungen von fraktionalem Brownschem Rauschen).

Zusammenfassend demonstriert FI-KAN, dass die Anpassung der geometrischen Struktur des neuronalen Netzwerks an die mathematischen Eigenschaften des Problems zu drastischen Verbesserungen in Genauigkeit, Robustheit und Interpretierbarkeit führt.