KANELÉ: Kolmogorov-Arnold Networks for Efficient LUT-based Evaluation

Ce papier présente KANELÉ, un cadre innovant exploitant les propriétés des réseaux de Kolmogorov-Arnold (KAN) pour leur déploiement efficace sur FPGA via des tables de recherche, permettant ainsi des gains de vitesse et d'efficacité énergétique significatifs par rapport aux approches existantes.

L'essentiel

🍰 KANELÉ : La Recette Gâteau pour des Cerveaux Artificiels Ultra-Rapides

Imaginez que vous voulez construire un cerveau artificiel (une intelligence artificielle) capable de fonctionner à la vitesse de l'éclair, directement sur une puce électronique spéciale appelée FPGA (une sorte de "circuit reconfigurable" utilisé dans les robots, les satellites ou les voitures autonomes).

Le problème ? Les cerveaux artificiels classiques sont comme des usines géantes : ils consomment énormément d'énergie, prennent beaucoup de place et sont lents.

Les auteurs de cet article (du MIT) ont une idée géniale : au lieu de construire une usine, pourquoi ne pas utiliser une boulangerie ? Ils appellent leur invention KANELÉ, en référence à un petit gâteau français (le Kanelle) qui est compact, riche en saveurs et très efficace.

Voici comment ça marche, étape par étape :

1. Le Problème : Les "Calculs" vs Les "Tableaux de Réponses"

Les réseaux de neurones classiques (MLP) fonctionnent comme des calculatrices géantes. À chaque fois qu'ils doivent prendre une décision, ils font des milliers de multiplications et d'additions complexes. C'est lent et ça chauffe.

Sur les puces FPGA, il existe un outil magique appelé LUT (Look-Up Table ou "Table de Recherche"). Imaginez un tableau de réponses pré-calculées. Au lieu de faire 2 + 2, le système regarde simplement dans le tableau : "Ah, la réponse à 2+2 est 4". C'est instantané !

Mais les réseaux classiques sont maladroits pour utiliser ces tableaux. Ils sont trop complexes à transformer en simples listes de réponses.

2. La Solution Magique : Le Théorème KAN

Les chercheurs ont utilisé une structure mathématique spéciale appelée Réseaux KAN (Kolmogorov-Arnold Networks).

• L'analogie : Imaginez un réseau de neurones classique comme un grand mur de briques où chaque brique fait un calcul compliqué.
• L'approche KAN : C'est comme un jeu de construction où chaque brique est une fonction simple (une courbe) que l'on peut apprendre.

La grande astuce de KANELÉ est de dire : "Si chaque fonction est simple et définie sur un petit domaine, on peut la transformer en une simple liste de réponses (une LUT)."

C'est comme si, au lieu d'apprendre à un robot à calculer comment marcher, on lui donnait un livre contenant toutes les positions possibles de ses jambes. Il n'a plus qu'à tourner la page.

3. Les Trois Super-Pouvoirs de KANELÉ

A. La "Taille" Parfaite (Quantification et Élagage)
Pour que le gâteau rentre dans la boîte (la puce électronique), il faut le réduire.

• Quantification : C'est comme arrondir les mesures. Au lieu de dire "il fait 2,3456 degrés", on dit "il fait 2 degrés". On perd un tout petit peu de précision, mais on gagne énormément de place.
• Élagage (Pruning) : C'est le plus génial. Dans les réseaux classiques, si vous enlevez une partie, tout s'effondre. Dans KANELÉ, les fonctions sont additives (elles s'ajoutent les unes aux autres). Si une fonction ne sert à rien, on la retire simplement du calcul, comme on enlève un ingrédient inutile d'une recette. Le gâteau reste bon, mais plus léger !

B. Une Vitesse Éclair
Grâce à cette méthode, KANELÉ est 2 700 fois plus rapide que les anciennes tentatives de mettre des réseaux KAN sur des puces.

• Analogie : Si l'ancienne méthode mettait 1 heure pour faire une tâche, KANELÉ le fait en 1,3 seconde.

C. Économie d'Énergie et d'Espace
KANELÉ n'a presque plus besoin de gros composants coûteux (comme les DSP ou la mémoire BRAM). Il utilise uniquement les "briques de base" de la puce (les LUT).

• Résultat : Il consomme 4 000 fois moins de ressources que les versions précédentes. C'est comme passer d'un camion de déménagement à un vélo électrique pour le même trajet.

4. À Quoi Ça Sert ? (Les Expériences)

Les chercheurs ont testé KANELÉ sur plein de choses :

• Reconnaissance d'images : Il reconnaît des chiffres écrits à la main presque aussi bien que les géants, mais avec beaucoup moins de place.
• Physique et Science : Il excelle là où les formules mathématiques sont importantes (comme prédire le comportement de particules).
• Contrôle de Robots : C'est le test le plus impressionnant. Ils ont mis un KAN dans un simulateur de robot (une guépe qui court).
  • Le résultat : Le petit cerveau KAN (avec 5 fois moins de paramètres) a appris à courir mieux et plus vite que le gros cerveau classique, tout en étant capable de fonctionner en temps réel sur une puce électronique.

🚀 En Résumé

KANELÉ, c'est comme si on avait découvert que pour faire rouler une voiture, il ne fallait pas un moteur complexe, mais une série de petits leviers bien placés.

En transformant les mathématiques complexes en simples "listes de réponses" (LUT) et en supprimant tout ce qui est inutile, les chercheurs ont créé une intelligence artificielle :

1. Ultra-rapide (presque instantanée).
2. Ultra-économique (tient dans de toutes petites puces).
3. Idéale pour le monde réel (robots, drones, satellites) où chaque gramme et chaque milliseconde comptent.

C'est une preuve que parfois, pour aller plus vite, il ne faut pas calculer plus, mais mieux organiser ce que l'on sait déjà.

Résumé technique

1. Problématique et Contexte

L'inférence de réseaux de neurones sur les FPGA (Field-Programmable Gate Arrays) est cruciale pour les applications nécessitant une faible latence et une consommation énergétique réduite. Les architectures traditionnelles basées sur les Tableaux de Recherche (LUT - Lookup Tables) ont démontré une grande efficacité en remplaçant les opérations arithmétiques lourdes (comme les multiplications MAC) par des accès directs à des tables précalculées.

Cependant, l'implémentation des Réseaux de Kolmogorov-Arnold (KAN) sur FPGA a jusqu'à présent été considérée comme peu pratique. Les KANs, inspirés du théorème de représentation de Kolmogorov-Arnold, remplacent les fonctions d'activation fixes des MLP (Perceptrons Multicouches) par des fonctions d'activation 1D apprenables (généralement des splines). Une implémentation FPGA directe précédente [41] a conclu que les KANs étaient inefficaces en raison de l'évaluation coûteuse des splines et d'une consommation excessive de ressources (BRAM, DSP), entraînant une latence élevée.

Le défi principal était donc de concevoir une méthode permettant d'exploiter la structure mathématique des KANs pour les mapper directement sur les ressources logiques natives des FPGA (les LUTs) sans recourir à des blocs arithmétiques coûteux, tout en maintenant une haute précision et une faible latence.

2. Méthodologie : Le Framework KANELÉ

Les auteurs proposent KANELÉ, un framework de co-conception matériel-logiciel qui transforme l'inférence des KANs en une opération purement basée sur des LUTs.

A. Architecture et Représentation

Contrairement aux MLPs qui utilisent des multiplications matricielles, les KANs décomposent une fonction multivariée en une somme de fonctions univariées apprenables :
$$f(x_1, \dots, x_n) = \sum \Phi_q \left( \sum \phi_{q,p}(x_p) \right)$$
Dans KANELÉ, chaque fonction d'activation $\phi_{q,p}$ est modélisée comme une combinaison linéaire de fonctions de base B-spline. La clé de l'approche réside dans le fait que ces fonctions sont définies sur un domaine fixe et peuvent être discrétisées et quantifiées.

B. Entraînement avec Quantification et Élagage (QAT & Pruning)

Pour adapter le modèle au matériel :

1. Quantification Sensible à l'Entraînement (QAT) : Utilisant la bibliothèque AMD Brevitas, le modèle est entraîné avec une précision limitée (ex: 6-8 bits). Des quantificateurs sont placés aux entrées et sorties des couches pour que le modèle s'adapte à la précision matérielle.
2. Élagage (Pruning) : C'est l'avantage structurel majeur des KANs. Contrairement aux réseaux LUT classiques où les LUTs sont enchaînées (rendant l'élagage difficile), la structure additive des KANs permet de supprimer indépendamment les connexions (splines) dont la contribution est faible (mesurée par la norme $L_2$). Cela réduit drastiquement le nombre de LUTs nécessaires sans briser la structure du réseau.

C. Flux de Travail (Toolflow)

Le framework automatise le passage du modèle PyTorch à la conception VHDL :

1. Conversion : Les fonctions d'activation apprenables et quantifiées sont converties en LUTs Logiques (L-LUTs). Chaque connexion active devient une table de vérité stockée dans un fichier JSON.
2. Génération RTL : Un outil génère automatiquement le code VHDL, incluant des arbres d'addition pipelinés pour accumuler les sorties des LUTs et des registres entre les couches pour maximiser la fréquence d'horloge.
3. Synthèse : Le design est synthétisé sur des FPGA Xilinx (ex: xcvu9p, xczu7ev) sans utiliser de blocs DSP ou BRAM, uniquement des LUTs et des Flip-Flops (FF).

3. Contributions Clés

1. Architecture KAN adaptée aux FPGA (KANELÉ) : Première formulation KAN entièrement basée sur les LUTs, éliminant le besoin de DSP et de BRAM. Elle réduit la latence jusqu'à 2700x et l'utilisation des ressources de plus de 4000x par rapport aux implémentations FPGA précédentes de KANs.
2. Élagage Naturel et Efficace : Exploitation de l'indépendance additive des KANs pour permettre un élagage structurel qui est à la fois mathématiquement naturel et compatible avec le matériel, contrairement aux réseaux LUT séquentiels.
3. Framework Open-Source : Un flux de travail automatisé (co-design) permettant de compiler des KANs en implémentations FPGA optimisées en quelques secondes, supportant divers domaines (biologie, physique, vision, contrôle).
4. Extension aux Systèmes de Contrôle : Démonstration de l'efficacité des KANs quantifiés dans des tâches de contrôle en temps réel (Reinforcement Learning), surpassant les MLPs avec moins de paramètres.

4. Résultats Expérimentaux

Les auteurs ont évalué KANELÉ sur plusieurs benchmarks :

• Comparaison avec les Réseaux LUT (LUT-NN) :

  • Sur les ensembles de données JSC CERNBox et OpenML, KANELÉ atteint une précision compétitive (75,1% et 76,0%) tout en utilisant 18x moins de LUTs que les architectures de pointe comme NeuralLUT-Assemble.
  • Sur MNIST, bien que légèrement moins performant que des architectures spécialisées pour l'image (comme TreeLUT) en termes de latence pure, KANELÉ offre un excellent compromis précision/ressources, utilisant 20x moins de LUTs que PolyLUT pour une perte de précision minime.
  • KANELÉ maintient des fréquences d'horloge élevées (> 800 MHz) et un produit Surface × Délai (Area×Delay) de pointe.

• Comparaison avec les KANs FPGA précédents (Tran et al.) :

  • Sur les benchmarks Moons, Wine et Dry Bean, KANELÉ élimine totalement l'utilisation de BRAM et DSP.
  • Réduction massive : Jusqu'à 4000x de réduction en LUTs et 2600x de réduction en latence (ex: 7,1 ns contre 18 960 ns sur Dry Bean).
  • Précision maintenue ou améliorée (ex: 98,2% sur Wine vs 98,1% pour le modèle précédent).

• Benchmark MLPerf Tiny (ToyADMOS) :

  • Comparé à hls4ml, KANELÉ réduit l'utilisation des LUTs de 41,7% et des FF de 71,4%.
  • Il offre un débit 330x supérieur et une latence 643x plus faible, avec une réduction de l'énergie par inférence de 9840x.

• Contrôle par Renforcement (HalfCheetah) :

  • Un acteur KAN quantifié (8 bits) avec 5x moins de paramètres qu'un MLP a obtenu une récompense moyenne supérieure (2762 vs 1558).
  • En déploiement FPGA, le KAN 8 bits est réalisable avec une latence de 4,5 ns, tandis que le MLP 8 bits ne rentre même pas dans les ressources du FPGA (estimé à 893 ns via HLS).

5. Signification et Impact

L'article KANELÉ marque un tournant dans la perception des KANs pour le matériel embarqué. Il démontre que la structure mathématique des KANs, souvent jugée trop coûteuse pour le matériel, est en réalité parfaitement alignée avec les capacités natives des FPGA (logique LUT et addition).

• Changement de paradigme : Le passage d'une émulation arithmétique (DSP) à une configuration logique directe (LUT) permet des gains d'efficacité extrêmes.
• Applications critiques : La faible latence et la faible consommation énergétique rendent les KANs viables pour des applications en temps réel strictes telles que la correction d'erreurs quantiques, la stabilisation du plasma, l'optique adaptative et la robotique.
• Avenir : Ce travail ouvre la voie à l'adoption généralisée des KANs dans les systèmes embarqués, combinant interprétabilité, efficacité des paramètres et performance matérielle.

En résumé, KANELÉ transforme les KANs d'une curiosité théorique coûteuse en une architecture d'inférence pratique, haute performance et économe en ressources pour les FPGA.