🤖 AI

TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions

Dieses Paper führt TruKAN ein, eine neuartige Kolmogorov-Arnold-Network-Architektur, die B-Spline-Basen durch abgeschnittene Potenzfunktionen ersetzt, um ein überlegenes Gleichgewicht zwischen Genauigkeit, Recheneffizienz und Interpretierbarkeit zu erreichen, wobei es signifikante Leistungssteigerungen gegenüber bestehenden KAN-Varianten bei der Integration in EfficientNet-V2-Frameworks für Computer-Vision-Aufgaben demonstriert.

Ursprüngliche Autoren: Ali Bayeh, Samira Sadaoui, Malek Mouhoub

Veröffentlicht 2026-02-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Bayeh, Samira Sadaoui, Malek Mouhoub

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Bilder von Katzen, Hunden und Autos zu erkennen. Um dies zu tun, benötigt der Roboter ein „Gehirn“, das aus mathematischen Schichten besteht, die Muster erkennen können.

Lange Zeit war das Standardgehirn für diese Aufgaben als MLP (Multi-Layer Perceptron) bekannt. Betrachten Sie ein MLP als eine Fließbandfertigung, bei der jeder Arbeiter (Neuron) genau das gleiche, vorgegebene Werkzeug (eine feste Aktivierungsfunktion wie ReLU) verwendet, um seine Arbeit zu erledigen. Es ist schnell und zuverlässig, aber es ist ein wenig starr.

Dann kam ein neuer Typ von Gehirn namens KAN (Kolmogorov-Arnold-Network) auf den Markt. KANs sind wie ein Team von Kunsthandwerkern. Anstatt ein vorgegebenes Werkzeug zu verwenden, lernt jeder einzelne Arbeiter sein eigenes, einzigartiges, maßgeschneidertes Werkzeug (einen „Spline“), um das spezifische Problem zu lösen, vor dem er steht. Dies macht KANs unglaublich intelligent und leicht verständlich (interpretierbar), weil man sich ihre Werkzeuge ansehen und genau verstehen kann, wie sie funktionieren.

Es gibt jedoch einen Haken: Das Erlernen dieser maßgeschneiderten Werkzeuge ist langsam und teuer. Es ist, als würde man jeden Arbeiter bitten, seinen eigenen Hammer von Grund auf neu von Hand zu schnitzen, jedes Mal, wenn sie eine neue Aufgabe beginnen. Das Paper bezeichnet dies als den „Rechenengpass“ (computational bottleneck).

Hier kommt TruKAN ins Spiel: Die intelligente Abkürzung

Die Autoren dieses Papers, Ali Bayeh, Samira Sadaoui und Malek Mouhoub, haben eine neue Architektur namens TruKAN eingeführt. Ihr Ziel war es, die Vorteile des „Kunsthandwerkers“ von KANs zu behalten, aber den Trainingsprozess so schnell und effizient wie die Standard-Fließbandfertigung zu machen.

So haben sie es gemacht, erklärt mit einer einfachen Analogie:

1. Das Ersetzen von „geschnitztem Holz“ durch „Lego-Steine“

Standard-KANs verwenden etwas namens B-Splines, um ihre maßgeschneiderten Werkzeuge zu bauen. Stellen Sie sich B-Splines als komplexe, geschwungene Holzstücke vor, die einen sehr spezifischen, rekursiven Schnitzprozess (den de Boor-Cox-Algorithmus) erfordern, um geformt zu werden. Es ist präzise, aber langsam.

TruKAN ersetzt diese durch Truncated Power Functions (abgeschnittene Potenzfunktionen).

Die Analogie: Betrachten Sie B-Splines als handgeschnitzte Holzverbindungen. Betrachten Sie Truncated Power Functions als Lego-Steine.
Anstatt eine Kurve von Grund auf neu zu schnitzen, baut TruKAN seine Kurven, indem es einfache, vordefinierte Lego-Teile (Polynome) zusammensteckt und „Knoten“ (Verbindungspunkte) hinzufügt, wo die Form sich biegen muss.
Dies ist mathematisch äquivalent zur alten Methode (sie können dieselben Formen bauen), aber es ist viel schneller zusammenzubauen, da man keinen komplexen, rekursiven Schnitzalgorithmus benötigt.

2. Der „gemeinsame vs. individuelle“ Bauplan

Das Paper untersucht zwei Möglichkeiten, diese Lego-Steine anzuordnen:

Gemeinsame Knoten (Shared Knots): Stellen Sie sich eine Baustelle vor, auf der alle denselben Satz vorgefertigter Verbindungspunkte verwenden. Dies ist effizient und hält das Team koordiniert.
Individuelle Knoten (Individual Knots): Stellen Sie sich vor, jeder Arbeiter erhält sein eigenes individuelles Set an Verbindungspunkten. Dies ist flexibler, nimmt aber mehr Platz und Zeit in Anspruch, um es zu organisieren.

Die Forscher fanden heraus, dass Gemeinsame Knoten oft am besten funktionierten, da sie den optimalen Mittelweg zwischen Geschwindigkeit und Genauigkeit boten.

3. Der „Stabilisator“ (Normalisierung)

Da diese Lego-ähnlichen Funktionen manchmal etwas wackelig (numerisch instabil) werden können, wenn man sie zu hoch stapelt, haben die Forscher einen „Stabilisator“ namens Layer Normalization hinzugefügt.

Die Analogie: Es ist wie das Hinzufügen eines Stoßdämpfers zu einem Auto. Es glättet die Unebenheiten in der Straße (den Trainingsprozess), damit das Auto nicht abstürzt (im Fehler explodiert), wenn es schnell fährt. Sie fanden heraus, dass das Hinzufügen dieses Stabilisators TruKAN signifikant genauer machte.

Die Ergebnisse: Geschwindigkeit und Intelligenz

Das Team testete TruKAN auf vier berühmten Bilderkennungs-Datensätzen (CIFAR-10, CIFAR-100, Oxford-Pets und STL-10). Sie verglichen es mit:

MLP: Die Standard-Fließbandfertigung.
Standard-KAN: Die langsamen, hand-schnitzenden Kunsthandwerker.
SineKAN: Eine Variation, die Sinuswellen verwendet (wie ein anderes Typ von Musikinstrument).

Die Erkenntnisse:

Genauigkeit: TruKAN war oft der Gewinner oder lag sehr dicht an der Spitze. Es erreichte die Werte der Standard-MLPs oder übertraf die anderen KAN-Varianten deutlich.
Geschwindigkeit: TruKAN trainierte viel schneller als die Standard-KANs. In einigen Tests war es 3- bis 4-mal schneller pro Schritt.
Speicher: TruKAN verbrauchte signifikant weniger Computerarbeitsspeicher (RAM) als die Standard-KANs. Eine Version verbrauchte weniger als 120 MB, während Standard-KANs über 500 MB verbrauchten.
Interpretierbarkeit: Genau wie das ursprüngliche KAN bleibt auch TruKAN „transparent“. Man kann sich das Modell ansehen und genau verstehen, wie es die Daten biegt, um eine Entscheidung zu treffen – im Gegensatz zur „Black Box“-Natur der Standard-MLPs.

Das Fazit

Das Paper argumentt, dass TruKAN das Beste aus beiden Welten ist. Es bewahrt die „erklärbare“ und „intelligente“ Natur von KANs, ersetzt aber das langsame, handgeschnitzte Rechnen durch eine schnellere, Lego-ähnliche Konstruktionsmethode.

Durch die Verwendung von Truncated Power Functions (die Legos) und Gemeinsamen Knoten (den effizienten Bauplan) ermöglicht TruKAN Computern, komplexe visuelle Aufgaben (wie das Identifizieren von Haustieren oder Autos) viel schneller und mit weniger Speicheraufwand zu erlernen, ohne die Fähigkeit zu verlieren, zu verstehen, wie der Computer denkt.

Was das Paper NICHT behauptet:

Es behauptet nicht, dass dies bereits für die medizinische Diagnose oder selbstfahrende Autos funktioniert (obwohl es dies als potenzielle zukünftige Bereiche erwähnt).
Es behauptet nicht, dass TruKAN für jede einzelne Aufgabe perfekt ist; es schnitt am besten bei den spezifischen Bilddatensätzen ab, die getestet wurden.
Es behauptet nicht, alle Probleme gelöst zu haben; die Autoren merken an, dass einige Variationen (wie individuelle Knoten ohne Stabilisierung) immer noch Schwierigkeiten bei der Generalisierung haben können.

Technische Zusammenfassung von „TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions“

Problemstellung

Kolmogorov-Arnold-Netzwerke (KANs) haben sich als vielversprechende Alternative zu Multi-Layer-Perzeptronen (MLPs) etabliert und bieten eine überlegene Interpretierbarkeit sowie die Fähigkeit, univariate kantenweise Funktionen zu lernen. Standardmäßige KANs verlassen sich jedoch auf B-Spline-Basisfunktionen für ihre lernbaren Aktivierungen. Die Evaluierung dieser B-Splines erfordert den rekursiven de Boor–Cox-Algorithmus, was rechenintensiv ist und oft dazu führt, dass KANs bis zu 10-mal langsamer trainiert werden als äquivalente MLPs. Zudem kann die Abhängigkeit von komplexen Spline-Algorithmen und festen Gitterstrukturen zu Skalierbarkeitsproblemen in hochdimensionalen Problemen und tiefen Architekturen führen, die durch verrauschte Gradienten und instabile Optimierung gekennzeichnet sind. Während jüngere Varianten wie SineKAN und FourierKAN versuchen, diese Probleme anzugehen, führen sie oft neue Kompromisse hinsichtlich der Interpretierbarkeit ein oder bleiben auf synthetische Benchmarks und einfache Datensätze wie MNIST beschränkt.

Methodik

Die Autoren schlagen TruKAN vor, eine neue Architektur, die die kanonische KAN-Topologie und die lernbaren Aktivierungen beibehält, aber die B-Spline-Basis durch eine Familie von abgeschnittenen Potenzfunktionen (truncated power functions) ersetzt, die aus der $k$ -Ordnung-Spline-Theorie abgeleitet sind.

Kernkomponenten der Architektur:

Abgeschnittene Potenzbasis: Anstelle von B-Splines verwendet TruKAN abgeschnittene Potenzfunktionen der Form $(x - t_j)^k_+$ . Theoretisch ist der von diesen Funktionen aufgespannte Raum identisch mit dem von B-Splines, aber ihre computergestützte Evaluierung ist verschieden. Während B-Splines einen kompakten Träger haben (was eine Komplexität von $O(k^2)$ pro Intervall via Rekursion erfordert), haben abgeschnittene Potenzfunktionen einen globalen Träger. Die Autoren argumentieren jedoch, dass in der Praxis keine hochauflösenden Gitter immer notwendig sind, was es TruKAN ermöglicht, effizient mit einer geringen Anzahl von Knoten zu arbeiten.
Hybride Schichtstruktur: Jede TruKAN-Schicht kombert zwei Komponenten:
- Eine abgeschnittene Potenzkomponente, um lokale, stückweise nichtlineare Funktionen zu erfassen.
- Eine Polynomkomponente (globaler Trend), um die verwendete Hilfs-SiLU-Aktivierung der Standard-KANs zu ersetzen. Dieser polynomielle Term liefert eine glatte, differenzierbare globale Abbildung, die das Fehlen einer expliziten globalen Nichtlinearität wie SiLU kompensiert.
Knotenkonfigurationen: Das Paper führt zwei Varianten bezüglich der Platzierung der Knoten ein:
- Gemeinsame Knoten (Shared Knots): Ein einziger Satz von Knotenpositionen wird über alle Ausgabekanäle hinweg geteilt.
- Individuelle Knoten (Individual Knots): Jeder Ausgabekanal hat seinen eigenen Satz von lernbaren Knotenpositionen.
- Sowohl feste (vordefinierte Intervalle) als auch lernbare (während des Trainings optimierte Knotenpositionen unter Einhaltung von Ordnung und Positivität) Strategien zur Knotenauswahl werden untersucht.
Trainingsrahmen:
- Optimierung: Um die Instabilität beim Training tiefer Netzwerke mit abgeschnittenen Potenzfunktionen zu adressieren (die aufgrund von exponentiellem Wachstum/Abfall unter Gradientenexplosion leiden können), setzen die Autoren eine hybride Optimierungsstrategie ein, bei der AdamW durch LookAhead ergänzt wird. Dies ersetzt das in vorangegangenen KAN-Studien übliche L-BFGS, um besser zu dem stochastischen Mini-Batch-Training zu passen.
- Normalisierung: Die Studie untersucht den Einfluss von Layer Normalization (und Batch Normalization) innerhalb der Klassifikator-Heads, da traditionelle Regularisierungstechniken wie Dropout in KANs gemischte Ergebnisse gezeigt haben.
- Backbone: Die Modelle werden in ein EfficientNet-V2-Framework integriert, wobei der Standard-Linear-Classifier-Head durch MLP-, KAN-, SineKAN- oder TruKAN-Schichten ersetzt wird.

Wesentliche Beiträge

Architektonische Innovation: Die Substitution von B-Splines durch abgeschnittene Potenzfunktionen, gekoppelt mit einem polynomischen globalen Term, schafft ein Modell, das die Ausdrucksstärke von KAN beibehält, aber die Evaluierung der Basisfunktionen vereinfacht.
Verbesserte Interpretierbarkeit: Durch die Verwendung von abgeschnittenen Potenzfunktionen wird der Beitrag jedes Knotens explizit. Ein nicht-null Koeffizient an einem Knoten $t_j$ zeigt direkt eine beabsichtigte $k$ -te Ordnung der Krümmung an diesem spezifischen Punkt an, was eine größere Transparenz bietet als der überlappende Träger von B-Splines.
Skalierbarkeit und Effizienz: Das Paper demonstriert, dass TruKAN effektiv auf tiefe Architekturen und komplexe Vision-Aufgaben skaliert werden kann, wodurch es über die Beschränkungen der synthetischen Daten früherer KAN-Studien hinausgeht.
Umfassendes Benchmarking: Die Autoren liefern eine rigorose Evaluierung über vier Computer-Vision-Datensätze (CIFAR-10, CIFAR-100, Oxford-IIIT Pets, STL-10) unter Verwendung sowohl kleiner als auch tiefer Netzwerk-Konfigurationen, wobei ein fairer Vergleich durch Angleichung der Parameteranzahl sichergestellt wird.

Experimentelle Ergebnisse

Die Evaluierung wurde auf vier Datensätzen mit EfficientNet-V2-Backbones und variierenden Classifier-Größen (kleine und große Architekturen) durchgeführt.

Genauigkeit und F1-Score:
- Kleine Architekturen: TruKAN-Varianten, insbesondere jene mit Layer Normalization und gemeinsamen Knoten (TruKAN-SN), übertrafen oder entsprachen konsistent den Baseline-Modellen KAN und SineKAN. Auf CIFAR-10 erreichte TruKAN-IN die höchste Genauigkeit (0,8927) und übertraf damit das beste MLP-Baseline-Modell. Auf STL-10 erreichte TruKAN-SN eine Genauigkeit von 0,9341 und lag nur geringfügig hinter dem normalisierten MLP zurück.
- Große Architekturen: TruKAN-Modelle zeigten eine überlegene Skalierbarkeit. Auf CIFAR-10 erreichte TruKAN-IN eine Genauigkeit von 0,8932 und übertraf damit die MLP-N-Baseline trotz geringerer Parameteranzahl. TruKAN-Varianten dominierten konsistent die KAN- und SineKAN-Baselines über alle Datensätze hinweg und erzielten oft Ergebnisse, die mit den stärksten MLPs vergleichbar oder besser waren.
- Einfluss der Normalisierung: Die Layer Normalization erwies sich als entscheidend für die TruKAN-Leistung und verbesserte die Generalisierung signifikant, insbesondere für Konfigurationen mit individuellen Knoten, die andernfalls unter Overfitting gelitten hätten.
Recheneffizienz:
- Trainingszeit: Shared-Knot-TruKAN-Modelle (TruKAN-FS) erreichten Trainingsschrittzeiten von ~0,0024s, was eine 3- bis 4-fache Verbesserung gegenüber Standard-KAN-Modellen (0,0087s - 0,0099s) darstellt.
- Speichernutzung: TruKAN-FS verbrauchte nur 118,04 MB des Peak-GPU-Speichers, was signifikant weniger ist als KAN-PBT (570,84 MB) und KAN-PBF (691,79 MB). Jedoch verursachten die Varianten mit individuellen Knoten (TruKAN-FI) hohe Speicherkosten (~2,6 GB) aufgrund der erweiterten Knotenspeicherung.
- Parameter: TruKAN-Modelle erreichten im Allgemeinen eine vergleichbare oder bessere Leistung mit weniger trainierbaren Parametern als ihre KAN- und SineKAN-Gegenstücke.

Bedeutung und Behauptungen

Das Paper behauptet, dass TruKAN erfolgreich den Kompromiss zwischen Recheneffizienz und der Einhaltung der KAN-Prinzipien löst. Durch den Ersatz des rekursiven B-Spline-Algorithmus durch abgeschnittene Potenzfunktionen und einen polynomischen globalen Term erreicht TruKAN:

Überlegene Effizienz: Signifikante Reduktionen der Trainingszeit und des Speicherverbrauchs im Vergleich zu Standard-KANs, was sie für komplexe Vision-Aufgaben praktikabel macht.
Beibehaltene Ausdrucksstärke: Das Modell bewahrt die theoretischen Approximationsfähigkeiten von KANs bei gleichzeitiger Verbesserung der Genauigkeit auf realen Datensätzen.
Verbesserte Interpretierbarkeit: Die explizite Natur der abgeschnittenen Potenzfunktionen ermöglicht eine klarere Inspektion der gelernten Kantenfunktionen und Knotenbeiträge im Vergleich zu B-Splines oder globalen Spektralmethoden wie SineKAN.

Die Autoren kommen zu dem Schluss, dass TruKAN einen praktischen Weg für KANs bietet und Vorteile über die begrenzten Settings früherer Studien hinaus aufzeigt. Sie räumen ein, dass trotz der verbesserten Stabilität Herausforderungen bestehen bleiben, etwa die Integration anderer Regularisierungstechniken (wie Dropout) und das Potenzial für Mixed-Precision-Training zur weiteren Steigerung der Effizienz. Zukünftige Arbeiten sollen diese Bereiche untersuchen und TruKAN auf Reinforcement Learning und Zeitreihenprognose anwenden.