🤖 machine learning

LTBs-KAN: Linear-Time B-splines Kolmogorov-Arnold Networks

LTBs-KAN is een nieuw type Kolmogorov-Arnold Network dat de computationele snelheid en efficiëntie aanzienlijk verbetert door gebruik te maken van lineaire B-splines en matrixfactorisatie, zonder aan prestaties in te boeten.

Oorspronkelijke auteurs: Eduardo Said Merin-Martinez, Andres Mendez-Vazquez, Eduardo Rodriguez-Tello

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Eduardo Said Merin-Martinez, Andres Mendez-Vazquez, Eduardo Rodriguez-Tello

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale schilder bent. Je wilt een prachtig landschap schilderen (een complexe berekening maken), maar je hebt twee soorten penselen:

De MLP-penseel (De Klassieke Methode): Dit is een heel snelle, strakke kwast. Hij kan heel snel streken zetten, maar hij is een beetje stijf. Als je een heel gedetailleerde krul wilt maken, moet je heel veel kleine, simpele streepjes zetten. Dat kost veel tijd en veel verf (parameters).
De KAN-penseel (De Nieuwe Methode): Dit is een magisch penseel. In plaats van alleen maar lijnen te trekken, kan dit penseel van vorm veranderen terwijl je het beweegt. Het kan vloeiende, elegante curves maken met één beweging. Het is veel slimmer en "expressiever", maar er is een groot probleem: het penseel is loodzwaar en traag. Elke keer dat je een curve wilt maken, moet het penseel ingewikkelde wiskundige berekeningen doen om zijn vorm te bepalen.

Wat is het probleem waar deze onderzoekers naar hebben gekeken?
De nieuwe "slimme" penselen (KANs) zijn fantastisch omdat ze de wereld beter begrijpen, maar ze zijn zo traag dat ze in de praktijk bijna onbruikbaar zijn voor grote taken (zoals het herkennen van foto's). Ze zijn ongeveer 10 keer langzamer dan de oude, stijve kwasten.

De oplossing: De LTBs-KAN (De "Turbo-Curve" Methode)
De onderzoekers van Cinvestav hebben een manier gevonden om dat zware penseel lichter en sneller te maken. Ze hebben drie slimme trucjes bedacht:

De Wiskundige Snelweg (LTBs Algorithm): In plaats van dat het penseel bij elke beweging opnieuw moet uitrekenen hoe de curve eruitziet (wat heel veel rekenkracht kost), hebben ze een soort "snelweg" aangelegd. Ze gebruiken een slimme wiskundige formule (B-splines) die de curves in één vloeiende beweging berekent, in plaats van stapje voor stapje. Het is alsof je niet meer elke pixel apart hoeft te kleuren, maar een stempel hebt die de perfecte curve in één keer zet.
De Slimme Verfdoos (Parameter Reductie): Normaal gesproken heb je voor elke kleur en elke beweging een enorme hoeveelheid verf nodig. De onderzoekers hebben ontdekt dat ze niet duizenden verschillende kleuren hoeven te hebben. Ze gebruiken een slimme truc (matrix factorisatie) waarbij ze een paar basiskleuren mengen om alle andere kleuren te maken. Hierdoor heeft het model veel minder "geheugen" nodig.
De Aanpasbare Ondergrond (Adaptive Grid): Als je een landschap schildert, wil je op de details (zoals een bloem) meer aandacht besteden dan aan de grote blauwe lucht. Hun systeem kijkt naar de data en past de "ondergrond" (de knooppunten van de curves) automatisch aan waar de meeste informatie zit.

Wat hebben ze bewezen?
Ze hebben hun nieuwe "turbo-penseel" getest op bekende taken, zoals het herkennen van handgeschreven cijfers (MNIST) en foto's van objecten (CIFAR-10).

Het resultaat: Hun methode is veel sneller dan de oude slimme KAN-modellen.
De winnaar bij foto's: Bij het herkennen van complexe plaatjes (CIFAR-10) presteerde hun nieuwe "Convolutionele" versie (een variant die gespecialiseerd is in plaatjes) zelfs beter dan de traditionele methoden.

Kortom:
Ze hebben een manier gevonden om de intelligentie en de mooie, vloeiende vormen van de nieuwe generatie AI te combineren met de snelheid die nodig is om echt nuttig te zijn. Het is alsof ze een Ferrari hebben gebouwd die niet alleen razendsnel is, maar ook de elegantie heeft van een kunstwerk.

Technische Samenvatting: LTBS-KAN

1. Het Probleem: De Efficiëntie-paradox van KANs

Kolmogorov-Arnold Networks (KANs) zijn een recent alternatief voor traditionele Multi-Layer Perceptrons (MLPs). In plaats van vaste activatiefuncties op de knopen (nodes) te gebruiken, plaatsen KANs leerbare functies (meestal B-splines) op de verbindingen (edges). Hoewel dit de interpreteerbaarheid en expressiviteit verhoogt, is er een groot nadeel: de computationele complexiteit.

De huidige implementaties van KANs maken gebruik van het Boor-Mansfield-Cox algoritme om splines te berekenen. Dit algoritme is computationeel zwaar en traag, waardoor KANs vaak tot wel 10 keer langzamer zijn dan MLPs bij een vergelijkbaar aantal parameters. Dit beperkt hun praktische inzetbaarheid voor grootschalige deep learning-toepassingen.

2. Methodologie: De LTBS-KAN Aanpak

De auteurs stellen de LTBS-KAN (Linear-Time B-splines KAN) voor, een architectuur die de computationele last drastisch vermindert via drie innovatieve mechanismen:

LTBs-Algoritme (Parallelle Lineaire Berekening): In plaats van de recursieve Boor-Mansfield-Cox methode, gebruikt het LTBS-algoritme een nieuwe methode om de Bernstein-Bézier-coëfficiënten van B-splines te berekenen. Dit algoritme werkt in lineaire tijd $O(n)$ ten opzichte van het aantal gridpunten ( $n$ ). Het is ontworpen voor parallelle verwerking op GPU's, waarbij de complexiteit van de spline-evaluatie wordt teruggebracht van kwadratisch naar lineair ten opzichte van de spline-orde.
Adaptieve Knot & Grid Updates: Om de nauwkeurigheid te behouden, past het model het "grid" (de knooppunten van de spline) dynamisch aan op basis van het bereik van de huidige inputdata (min/max waarden). Dit zorgt ervoor dat de splines altijd optimaal geplaatst zijn binnen het actieve domein van de data.
Parameterreductie via Matrix Factorisatie: Om de enorme hoeveelheid parameters die splines met zich meebrengen te beheersen, introduceert het model een product-of-sums matrixfactorisatie in de forward pass. Hierdoor wordt de gewichtsmatrix $W$ gerepresenteerd als een gewogen som van een kleine set vaste matrices, wat de totale parametercount aanzienlijk verlaagt zonder veel precisieverlies.
KAN-ConvNet: De auteurs breiden het concept uit naar convolutionele neurale netwerken (CNN's) door de LTBS-KAN operatie toe te passen op lokale patches (via een im2col operatie), waardoor een "spline-gebaseerde convolutie" ontstaat.

3. Belangrijkste Bijdragen

Een nieuw algoritme (LTBs): Een parallel algoritme voor de snelle berekening van B-spline coëfficiënten in lineaire tijd.
Efficiënte implementatie: Gebruik van tensor-operaties die optimaal gebruikmaken van GPU-versnelling.
Structurele optimalisatie: Een methode voor parameterreductie die KANs competitief maakt qua modelgrootte.
Nieuwe architectuur: De introductie van de KAN-ConvNet, een convolutionele variant die de expressiviteit van splines combineert met de ruimtelijke hiërarchie van CNN's.

4. Resultaten en Experimenten

De effectiviteit werd getest op drie datasets: MNIST, Fashion-MNIST en CIFAR-10.

MNIST: LTBS-KAN presteert beter dan bijna alle andere KAN-implementaties (zoals EfficientKAN, FastKAN en BSRBF-KAN) op het gebied van nauwkeurigheid en snelheid, terwijl het een gunstige balans houdt tussen snelheid en aantal parameters.
Fashion-MNIST: Hier laten andere modellen (zoals FastKAN) iets hogere scores zien. De auteurs wijzen dit toe aan het "bias-variance dilemma": de complexere splines van LTBS-KAN vereisen meer data of extra regularisatie om niet te overfitten op deze specifieke dataset.
CIFAR-10 (Beeldherkenning): De voorgestelde LTBS-KAN ConvNet presteert superieur aan zowel de standaard MLP als de klassieke AlexNet. Het overtreft zelfs de EfficientKAN-ConvNet in nauwkeurigheid en F1-score, wat bewijst dat de spline-gebaseerde convolutie zeer krachtig is voor complexe visuele patronen.

5. Betekenis en Conclusie

De LTBS-KAN overbrugt de kloof tussen de theoretische superioriteit van Kolmogorov-Arnold-netwerken en de praktische noodzaak voor snelheid. Door de computationele complexiteit van splines te reduceren naar lineaire tijd en door slimme parameterreductie toe te passen, maakt dit werk KANs bruikbaar voor real-world toepassingen zoals computer vision. Het werk legt een fundament voor een nieuwe generatie neurale netwerken die zowel interpreteerbaar als efficiënt zijn.