🤖 AI

TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions

Cet article présente TruKAN, une nouvelle architecture de réseau de Kolmogorov-Arnold qui remplace les bases de B-splines par des fonctions de puissance tronquées afin d'atteindre un équilibre supérieur entre précision, efficacité computationnelle et interprétabilité, démontrant des gains de performance significatifs par rapport aux variantes existantes de KAN lorsqu'elles sont intégrées dans des cadres EfficientNet-V2 pour des tâches de vision par ordinateur.

Auteurs originaux : Ali Bayeh, Samira Sadaoui, Malek Mouhoub

Publié 2026-02-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Bayeh, Samira Sadaoui, Malek Mouhoub

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître des images de chats, de chiens et de voitures. Pour ce faire, le robot a besoin d'un « cerveau » composé de couches mathématiques capables de détecter des motifs.

Pendant longtemps, le cerveau standard pour ces tâches s'appelait un MLP (Perceptron Multicouche). Considérez un MLP comme une ligne de montage d'usine où chaque travailleur (neurone) utilise exactement le même outil prédéfini (une fonction d'activation fixe comme ReLU) pour faire son travail. C'est rapide et fiable, mais c'est un peu rigide.

Ensuite, un nouveau type de cerveau appelé KAN (Réseau Kolmogorov-Arnold) est arrivé. Les KAN sont comme une équipe de maîtres artisans. Au lieu d'utiliser un outil prédéfini, chaque travailleur apprend son propre outil unique et sur mesure (une « spline ») pour résoudre le problème spécifique auquel il est confronté. Cela rend les KAN incroyablement intelligents et faciles à comprendre (interprétables) car vous pouvez regarder leurs outils et voir exactement comment ils fonctionnent.

Cependant, il y a un piège : Apprendre ces outils personnalisés est lent et coûteux. C'est comme demander à chaque travailleur de tailler son propre marteau à la main à chaque fois qu'il commence un nouveau travail. L'article appelle cela le « goulot d'étranglement computationnel ».

Entrée en scène de TruKAN : Le raccourci intelligent

Les auteurs de cet article, Ali Bayeh, Samira Sadaoui et Malek Mouhoub, ont introduit une nouvelle architecture appelée TruKAN. Leur objectif est de conserver les avantages de « maître artisan » des KAN, tout en rendant le processus d'apprentissage aussi rapide et efficace que la ligne de montage standard.

Voici comment ils y sont parvenus, en utilisant une analogie simple :

1. Remplacer le « bois sculpté » par des « briques Lego »

Les KAN standards utilisent ce qu'on appelle des B-splines pour construire leurs outils personnalisés. Imaginez les B-splines comme des pièces de bois complexes et courbes qui nécessitent un processus de sculpture récursif très spécifique (l'algorithme de de Boor-Cox) pour être façonnées. C'est précis, mais lent.

TruKAN remplace ces éléments par des Fonctions de Puissance Tronquées.

L'analogie : Considérez les B-splines comme des joints en bois sculptés à la main. Considérez les Fonctions de Puissance Tronquées comme des briques Lego.
Au lieu de sculpter une courbe à partir de zéro, TruKAN construit ses courbes en emboîtant de simples pièces prédéfinies (des polynômes) et en ajoutant des « nœuds » (points de connexion) là où la forme doit se courber.
C'est mathématiquement équivalent à l'ancienne méthode (ils peuvent construire les mêmes formes), mais c'est beaucoup plus rapide à assembler car vous n'avez pas besoin de l'algorithme de sculpture récursive complexe.

2. Le plan « Partagé vs Individuel »

L'article explore deux façons d'organiser ces briques Lego :

Nœuds Partagés : Imaginez une équipe de construction où tout le monde utilise le même ensemble de points de connexion pré-mesurés. C'est efficace et cela permet de garder l'équipe coordonnée.
Nœuds Individuels : Imaginez que chaque travailleur reçoive son propre ensemble personnalisé de points de connexion. C'est plus flexible, mais cela prend plus d'espace et de temps pour l'organisation.

Les chercheurs ont découvert que les Nœuds Partagés fonctionnaient souvent mieux, offrant un compromis idéal entre vitesse et précision.

3. Le « Stabilisateur » (Normalisation)

Parce que ces fonctions de type Lego peuvent parfois devenir un peu instables (numériquement instables) lorsqu'elles sont empilées trop haut, les chercheurs ont ajouté un « stabilisateur » appelé Normalisation de Couche.

L'analogie : C'est comme ajouter un amortisseur à une voiture. Cela lisse les bosses sur la route (le processus d'apprentissage) pour que la voiture ne s'écrase pas (explosion de l'erreur) lorsqu'elle va vite. Ils ont constaté que l'ajout de ce stabilisateur rendait TruKAN nettement plus précis.

Les Résultats : Vitesse et Intelligence

L'équipe a testé TruKAN sur quatre ensembles de données célèbres de reconnaissance d'images (CIFAR-10, CIFAR-100, Oxford-Pets et STL-10). Ils l'ont comparé à :

MLP : La ligne de montage standard.
KAN Standard : Les maîtres artisans sculptant à la main, mais lents.
SineKAN : Une variante utilisant des ondes sinusoïdales (comme un type différent d'instrument de musique).

Les conclusions :

Précision : TruKAN était souvent le vainqueur ou un très proche second. Il égalait ou battait les MLP standards et écrasait les autres variantes de KAN.
Vitesse : TruKAN s'entraînait beaucoup plus vite que les KAN standards. Dans certains tests, il était 3 à une fois plus rapide par étape.
Mémoire : TruKAN utilisait nettement moins de mémoire informatique (RAM) que les KAN standards. Une version utilisait moins de 120 Mo, tandis que les KAN standards utilisaient plus de 500 Mo.
Interprétabilité : Tout comme l'original KAN, TruKAN reste « transparent ». Vous pouvez toujours regarder le modèle et voir exactement comment il courbe les données pour prendre une décision, contrairement à la nature de « boîte noire » des MLP standards.

L'essentiel

L'article soutient que TruKAN est le meilleur des deux mondes. Il conserve la nature « explicable » et « intelligente » des KAN, mais remplace la lente construction mathématique sculptée à la main par une méthode de construction plus rapide, de type Lego.

En utilisant les Fonctions de Puissance Tronquées (les Legos) et les Nœuds Partagés (le plan efficace), TruKAN permet aux ordinateurs d'apprendre des tâches visuelles complexes (comme identifier des animaux de compagnie ou des voitures) beaucoup plus rapidement et avec moins de mémoire, sans perdre la capacité de comprendre comment l'ordinateur réfléchit.

Ce que l'article ne prétend PAS :

Il ne prétend pas que cela fonctionne pour le diagnostic médical ou les voitures autonomes pour le moment (bien qu'il mentionne ces domaines comme des zones futures potentielles).
Il ne prétend pas que TruKAN est parfait pour chaque tâche ; il a obtenu ses meilleurs résultats sur les ensembles de données d'images spécifiques qu'ils ont testés.
Il ne prétend pas avoir résolu tous les problèmes ; ils notent que certaines variations (comme les nœuds individuels sans stabilisation) peuvent encore éprouver des difficultés de généralisation.

Résumé technique de « TruKAN : Vers des réseaux Kolmogorov-Arnold plus efficaces utilisant des fonctions de puissance tronquées »

Énoncé du problème

Les réseaux Kolmogorov-Arnold (KAN) sont apparus comme une alternative prometteuse aux perceptrons multicouches (MLP), offrant une interprétabilité supérieure et la capacité d'apprendre des fonctions univariées sur les arêtes. Cependant, les KAN standards reposent sur des fonctions de base B-splines pour leurs activations apprenables. L'évaluation de ces B-splines nécessite l'algorithme récursif de de Boor–Cox, ce qui est coûteux en termes de calcul, rendant souvent l'entraînement des KAN jusqu'à 10 fois plus lent que celui des MLP équivalents. De plus, le recours à des algorithmes de spline complexes et à des structures de grille fixes peut entraîner des problèmes d'évolutivité dans les problèmes de haute dimension et les architectures profondes, caractérisés par des gradients bruités et une optimisation instable. Bien que des variantes récentes telles que SineKAN et FourierKAN tentent de remédier à ces problèmes, elles introduisent souvent de nouveaux compromis concernant l'interprétabilité ou restent limitées à des benchmarks synthétiques et des jeux de données simples comme MNIST.

Méthodologie

Les auteurs proposent TruKAN, une nouvelle architecture qui conserve la topologie canonique des KAN et ses activations apprenables, mais remplace la base B-spline par une famille de fonctions de puissance tronquées dérivées de la théorie des splines d'ordre $k$ .

Composants architecturaux fondamentaux :

Base de puissance tronquée : Au lieu des B-splines, TruKAN utilise des fonctions de puissance tronquées de la forme $(x - t_j)^k_+$ . Théoriquement, l'espace engendré par ces fonctions est identique à celui des B-splines, mais leur évaluation computationnelle est distincte. Alors que les B-splines ont un support compact (nécessitant une complexité de $O(k^2)$ par intervalle via la récursion), les fonctions de puissance tronquées ont un support global. Cependant, les auteurs soutiennent qu'en pratique, des grilles à haute résolution ne sont pas toujours nécessaires, permettant à TruKAN de fonctionner efficacement avec un petit nombre de nœuds.
Structure de couche hybride : Chaque couche TruKAN combine deux composants :
- Un composant de puissance tronquée pour capturer les non-linéarités locales et par morceaux.
- Un composant polynomial (tendance globale) pour remplacer l'activation auxiliaire SiLU utilisée dans les KAN standards. Ce terme polynomial fournit une cartographie globale lisse et dérivable, compensant l'absence d'une non-linéarité globale explicite comme SiLU.
Configurations de nœuds : Le papier introduit deux variantes concernant le placement des nœuds :
- Nœuds partagés (Shared Knots) : Un ensemble unique d'emplacements de nœuds est partagé entre tous les canaux de sortie.
- Nœuds individuels (Individual Knots) : Chaque canal de sortie possède son propre ensemble de positions de nœuds apprenables.
- Les stratégies de nœuds à la fois fixes (intervalles prédéfinis) et apprenables (optimisées pendant l'entraînement avec des contraintes d'ordre et de positivité) sont explorées.
Cadre d'entraînement :
- Optimisation : Pour remédier à l'instabilité de l'entraînement des réseaux profonds avec des fonctions de puissance tronquées (qui peuvent souffrir d'une explosion de gradient due à la croissance ou décroissance exponentielle), les auteurs emploient une stratégie d'optimisation hybride utilisant AdamW enveloppé par LookAhead. Cela remplace le L-BFGS standard utilisé dans les études KAN antérieures pour mieux s'adapter à l'entraînement stochastique par mini-lots.
- Normalisation : L'étude examine l'impact de la Normalisation de Couche (Layer Normalization) (et de la Normalisation de Lot/Batch Normalization) au sein des têtes de classification, car les techniques de régularisation traditionnelles comme le dropout ont montré des résultats mitigés dans les KAN.
- Backbone : Les modèles sont intégrés dans un cadre EfficientNet-V2, remplaçant la tête de classification linéaire standard par des couches MLP, KAN, SineKAN ou TruKAN.

Contributions clés

Innovation architecturale : La substitution des B-splines par des fonctions de puissance tronquées, couplée à un terme global polynomial, crée un modèle qui maintient l'expressivité des KAN tout en simplifiant l'évaluation des fonctions de base.
Interprétabilité accrue : En utilisant des fonctions de puissance tronquées, la contribution de chaque nœud devient explicite. Un coefficient non nul à un nœud $t_j$ indique directement une courbure d'ordre $k$ intentionnelle à ce point spécifique, offrant une transparence plus grande que le support chevauchant des B-splines.
Évolutivité et efficacité : Le papier démontre que TruKAN peut être efficacement mis à l'échelle vers des architectures profondes et des tâches de vision complexes, allant au-delà des limites des données synthétiques des études KAN précédentes.
Évaluation exhaustive : Les auteurs fournissent une évaluation rigoureuse sur quatre jeux de données de vision par ordinateur (CIFAR-10, CIFAR-100, Oxford-IIIT Pets, STL-10) en utilisant des configurations de réseaux petites et profondes, assurant une comparaison équitable en égalisant le nombre de paramètres.

Résultats expérimentaux

L'évaluation a été menée sur quatre jeux de données avec des backbones EfficientNet-V2 et des tailles de classificateurs variables (architectures petites et grandes).

Précision et score F1 :
- Petites architectures : Les variantes TruKAN, particulièrement celles avec Normalisation de Couche et Nœuds Partagés (TruKAN-SN), ont systématiquement surpassé ou égalé les modèles de base KAN et SineKAN. Sur CIFAR-10, TruKAN-IN a atteint la précision la plus élevée (0,8927), surpassant le meilleur baseline MLP. Sur STL-10, TruKAN-SN a atteint une précision de 0,9341, ne suivant de près que le MLP normalisé par une marge négligeable.
- Grandes architectures : Les modèles TruKAN ont démontré une meilleure évolutivité. Sur CIFAR-10, TruKAN-IN a atteint 0,8932 de précision, surpassant la base MLP-N malgré l'utilisation de moins de paramètres. Les variantes TruKAN ont systématiquement dominé les bases KAN et SineKAN sur tous les jeux de données, atteignant souvent des résultats comparables ou supérieurs aux meilleurs MLP.
- Impact de la normalisation : La normalisation de couche s'est révélée cruciale pour la performance de TruKAN, améliorant significativement la généralisation, particulièrement pour les configurations à nœuds individuels qui, autrement, souffraient de surapprentissage.
Efficacité computationnelle :
- Temps d'entraînement : Les modèles TruKAN à nœuds partagés (TruKAN-FS) ont atteint des temps de pas d'entraînement de ~0,0024s, représentant une amélioration de 3 à 4 fois par rapport aux modèles KAN standards (0,0087s - 0,0099s).
- Utilisation de la mémoire : TruKAN-FS n'a consommé que 118,04 Mo de mémoire GPU de pointe, nettement moins que KAN-PBT (570,84 Mo) et KAN-PBF (691,79 Mo). Cependant, les variantes à nœuds individuels (TruKAN-FI) ont engendré des coûts de mémoire élevés (~2,6 Go) en raison de l'expansion du stockage des nœuds.
- Paramètres : Les modèles TruKAN ont généralement obtenu des performances comparables ou meilleures avec moins de paramètres entraînables que leurs homologues KAN et SineKAN.

Signification et affirmations

Le papier affirme que TruKAN résout avec succès le compromis entre efficacité computationnelle et respect des principes de KAN. En remplaçant l'algorithme récursif des B-splines par des fonctions de puissance tronquées et un terme global polynomial, TruKAN parvient à :

Une efficacité supérieure : Réductions significatives du temps d'entraînement et de l'utilisation de la mémoire par rapport aux KAN standards, les rendant viables pour des tâches de vision complexes.
Une expressivité maintenue : Le modèle préserve les capacités d'approximation théoriques des KAN tout en améliorant la précision sur des jeux de données réels.
Une interprétabilité améliorée : La nature explicite des fonctions de puissance tronquées permet une inspection plus claire des fonctions d'arêtes apprises et des contributions des nœuds par rapport aux B-splines ou aux méthodes spectrales globales comme SineKAN.

Les auteurs concluent que TruKAN offre une voie pratique pour l'avenir des KAN, démontrant des avantages au-delà des cadres contraints des études précédentes. Ils reconnaissent que bien que la méthode améliore la stabilité, des défis subsistent concernant l'intégration d'autres techniques de régularisation (comme le dropout) et le potentiel de l'entraînement en précision mixte pour accroître davantage l'efficacité. Des travaux futurs sont proposés pour explorer ces domaines et appliquer TruKAN à l'apprentissage par renforcement et à la prévision de séries temporelles.