🤖 machine learning

LTBs-KAN: Linear-Time B-splines Kolmogorov-Arnold Networks

Ce travail propose les LTBs-KAN, une nouvelle architecture de réseaux de Kolmogorov-Arnold utilisant des B-splines à complexité linéaire et une factorisation matricielle pour améliorer significativement la vitesse et l'efficacité paramétrique par rapport aux KAN traditionnels.

Auteurs originaux : Eduardo Said Merin-Martinez, Andres Mendez-Vazquez, Eduardo Rodriguez-Tello

Publié 2026-04-27

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Eduardo Said Merin-Martinez, Andres Mendez-Vazquez, Eduardo Rodriguez-Tello

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le problème : Le "cerveau" trop lent

Imaginez que vous essayez d'apprendre à un enfant à reconnaître des objets.

L'approche classique (le MLP) : C'est comme si l'enfant utilisait des règles très rigides et carrées (des lignes droites). C'est très rapide, mais parfois un peu "bête" car il a du mal avec les formes complexes.
La nouvelle approche (le KAN) : C'est comme si l'enfant utilisait des courbes ultra-flexibles et élégantes (des "splines"). C'est beaucoup plus intelligent et précis pour comprendre les nuances, mais il y a un énorme problème : l'enfant est d'une lenteur extrême. Pour chaque courbe qu'il dessine, il doit faire des calculs mathématiques incroyablement compliqués, ce qui ralentit tout le processus.

La solution : Le "LTBs-KAN" (Le mode Turbo)

Les chercheurs ont créé une nouvelle méthode appelée LTBs-KAN. Leur but ? Garder l'intelligence des courbes (la précision) tout en retrouvant la vitesse de l'approche classique.

Voici comment ils ont fait, avec trois métaphores :

1. L'algorithme LTBs : Le "Chef d'orchestre" plutôt que le "Soliste"

Dans les anciens modèles, pour dessiner une courbe, l'ordinateur devait calculer chaque petit point un par un, de manière très laborieuse (c'est ce qu'on appelle la méthode de Boor-Mansfield-Cox). C'est comme si un musicien devait lire chaque note une par une pour jouer une mélodie.

Les chercheurs ont inventé un algorithme qui travaille en parallèle. Au lieu de calculer point par point, ils utilisent des "blocs" de calcul. C'est comme si, au lieu d'un seul musicien, on avait tout un orchestre qui joue la partition d'un seul coup. On passe d'un travail de précision lent à un travail de groupe ultra-rapide.

2. La factorisation : Le "Lego intelligent"

Pour que le modèle ne soit pas trop lourd (trop de mémoire), ils ont utilisé une astuce de mathématiques appelée "factorisation".

Imaginez que vous deviez construire un immense château en Lego. Au lieu d'acheter des millions de briques différentes (ce qui coûterait cher et prendrait de la place), vous achetez seulement quelques types de briques de base, mais vous apprenez à les assembler de mille façons différentes. Le modèle devient ainsi beaucoup plus léger et compact, tout en restant aussi puissant.

3. L'adaptation de la grille : Le "Zoom intelligent"

Le modèle possède une fonction appelée "GridUpdate". Imaginez que vous regardiez une carte. Si vous regardez une forêt, vous n'avez pas besoin de voir chaque feuille. Mais si vous zoomez sur une fleur, vous avez besoin de détails.

Le LTBs-KAN est capable de "zoomer" ou de "dézoomer" automatiquement sur les données qu'il reçoit pour que ses courbes soient toujours parfaitement ajustées à ce qu'il est en train d'étudier. Il ne gaspille pas d'énergie là où ce n'est pas nécessaire.

Les résultats : Est-ce que ça marche ?

Ils ont testé leur invention sur des images (des chiffres écrits à la main, des vêtements, des objets du quotidien).

Sur les chiffres (MNIST) : C'est un succès ! Leur modèle est l'un des plus intelligents et des plus rapides parmi les nouvelles méthodes.
Sur les images complexes (CIFAR-10) : Ils ont même réussi à transformer ce système en "yeux" pour une intelligence artificielle (une version appelée ConvNet). Résultat : leur modèle est devenu plus performant que les modèles classiques pour reconnaître les objets.

En résumé

Ce papier, c'est l'histoire d'une équipe qui a réussi à donner des muscles et de la vitesse à un cerveau très intelligent mais trop lent. Ils ont transformé un artiste perfectionniste et lent en un athlète de haut niveau : précis, agile et extrêmement rapide.

Résumé Technique : LTBS-KAN (Linear-Time B-splines Kolmogorov-Arnold Networks)

1. Problématique

Les réseaux de Kolmogorov-Arnold (KAN) représentent une alternative prometteuse aux perceptrons multicouches (MLP) grâce à leur capacité d'interprétabilité et leur expressivité accrue, obtenue en plaçant des fonctions apprenables (splines) sur les arêtes du graphe plutôt que des fonctions d'activation fixes sur les nœuds. Cependant, les KAN souffrent d'un inconvénient majeur : leur lenteur de calcul. L'utilisation de l'algorithme de Boor-Mansfield-Cox pour le calcul des fonctions B-splines entraîne une complexité algorithmique élevée, rendant l'entraînement et l'inférence beaucoup plus lents que les MLP traditionnels.

2. Méthodologie proposée

Les auteurs introduisent le LTBs-KAN, une architecture conçue pour optimiser la complexité temporelle et la gestion des paramètres. La méthodologie repose sur trois piliers :

Algorithme LTBs (Linear-Time B-splines) : Au lieu d'utiliser des méthodes récursives coûteuses, les auteurs proposent un algorithme de calcul parallèle des coefficients de Bernstein-Bézier pour les B-splines. Cet algorithme réduit la complexité du calcul des coefficients à un temps linéaire $O(n)$ par rapport au nombre de nœuds de la grille ( $n$ ), en utilisant une approche par blocs (initialisation des bornes et récursion vers l'arrière).
Mise à jour adaptative de la grille (GridUpdate) : Pour maintenir la précision, le réseau adapte dynamiquement le vecteur de nœuds (knots) en fonction de l'étendue empirique des données d'entrée (min/max) de chaque batch, assurant ainsi que les splines restent dans le domaine de données pertinent.
Réduction de paramètres par factorisation : Pour limiter la croissance du nombre de paramètres, les auteurs remplacent la transformation linéaire classique par une décomposition "produit-de-sommes" de matrices. La matrice de poids est représentée comme une somme pondérée de matrices fixes, ce qui réduit considérablement l'empreinte mémoire sans sacrifier la performance.
Extension Convolutionnelle (KAN-ConvNet) : Les auteurs étendent le concept de KAN aux réseaux de neurones convolutifs (CNN) en remplaçant les noyaux de convolution linéaires par des opérateurs de spline basés sur l'algorithme LTBs, permettant une expressivité locale accrue.

3. Contributions clés

Nouvel algorithme LTBs : Un algorithme de calcul parallèle des coefficients de B-splines offrant une complexité optimale.
Architecture LTBs-KAN : Une implémentation de couche KAN qui combine efficacité temporelle et réduction de paramètres via la factorisation matricielle.
Architecture KAN-ConvNet : Une nouvelle approche de convolution basée sur les splines qui préserve l'équivariance par translation tout en augmentant la capacité de représentation non linéaire.
Analyse de complexité : Une démonstration théorique que la complexité du passage avant (forward pass) est de l'ordre de $O(n)$ , rendant le modèle viable pour des applications pratiques.

4. Résultats expérimentaux

Les performances ont été évaluées sur trois jeux de données :

MNIST : Le LTBs-KAN surpasse toutes les autres implémentations de KAN (EfficientKAN, FastKAN, etc.) en termes d'équilibre entre précision et nombre de paramètres, se rapprochant des performances du MLP tout en étant plus compact.
Fashion-MNIST : Les résultats montrent que bien que certains modèles (comme FastKAN) soient légèrement plus rapides, le LTBs-KAN maintient une expressivité comparable, soulignant le compromis biais-variance lié à la complexité des splines.
CIFAR-10 : L'architecture LTBs-KAN ConvNet obtient les meilleurs résultats de l'étude, surpassant le Simple AlexNet et le MLP en précision et en score F1, démontrant la supériorité de l'approche convolutionnelle basée sur les splines pour les images complexes.

5. Signification et impact

Ce travail est significatif car il lève l'un des principaux obstacles à l'adoption des réseaux de Kolmogorov-Arnold : l'inefficacité computationnelle. En transformant un processus de calcul de spline complexe en une opération de temps linéaire et parallélisable sur GPU, les auteurs ouvrent la voie à l'utilisation des KAN dans des architectures de deep learning de grande échelle et dans des domaines exigeant une haute expressivité et une interprétabilité, comme la vision par ordinateur.