🤖 machine learning

An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models

Cet article démontre que, bien que les réseaux de Kolmogorov-Arnold (KAN) offrent une efficacité paramétrique en tant que branches résiduelles dans les modèles de physique informés récurrents à contraintes strictes, ils sont nettement moins performants que les perceptrons multicouches (MLP) sur les cœurs RISC-V embarqués en termes de latence d'exécution, de consommation d'énergie et de robustesse à la quantification, faisant des MLP l'option par défaut la plus fiable pour de tels déploiements.

Auteurs originaux : Enzo Nicolas Spotorno, Josafat Leal Filho

Publié 2026-08-04

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Enzo Nicolas Spotorno, Josafat Leal Filho

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un robot qui doit comprendre les lois de la physique pour se déplacer correctement. Si vous apprenez simplement au robot à deviner comment les choses bougent en regardant des millions d'images, il pourrait être confus face à quelque chose de nouveau, ou pire, il pourrait commettre une erreur dangereuse parce qu'il a « halluciné » une loi de la physique qui n'existe pas. Pour corriger cela, les scientifiques utilisent une astuce ingénieuse appelée un modèle « informé par la physique ». Considérez cela comme si vous donniez au robot un manuel de lois connues (comme la gravité ou la friction) et que vous lui disiez : « Tu connais ces règles parfaitement. Maintenant, utilise simplement ton cerveau pour comprendre les petits détails désordonnés que le manuel a manqués. » Ce « cerveau » est généralement un programme informatique simple et rapide appelé réseau de neurones.

Récemment, un nouveau type de réseau de neurones appelé Réseau de Kolmogorov-Arnold (ou KAN pour faire court) est devenu très populaire. Il a été commercialisé comme une version super-efficace et légère de l'ancien « cerveau », promettant de faire le même travail avec moins de nombres stockés en mémoire. C'est un événement majeur pour les petits appareils alimentés par batterie, comme les drones ou les capteurs médicaux, où chaque bit de mémoire et chaque goutte d'énergie comptent. Mais il y a un piège : bien que les KAN soient excellents pour gagner de l'espace sur le papier, ils peuvent être maladroits et lents lorsqu'ils fonctionnent réellement sur une véritable petite puce informatique. La grande question est la suivante : ce nouveau « cerveau » efficace permet-il réellement d'économiser de l'énergie et du temps lorsqu'il est déployé dans le monde réel, ou son calcul sophistiqué le rend-il trop lent pour être utile ?

Ce document met cette question à l'épreuve en opposant l'ancien « cerveau » (appelé MLP) au nouveau KAN sur une petite puce informatique réelle (un processeur RISC-V). Les chercheurs n'ont pas seulement observé la qualité de leur apprentissage ; ils ont mesuré exactement le temps nécessaire pour prendre une décision et la quantité de batterie que chacun a consommée. Ils ont découvert que, bien que le KAN soit effectivement plus petit en taille, il est étonnamment lent et gourmand en énergie. En exécutant la même tâche, le KAN s'est avéré être 8,0 à 13,5 fois plus lent que le traditionnel MLP. Pire encore, il a consommé 5,6 à 11,3 fois plus d'énergie pour chaque étape de son calcul.

Les chercheurs ont également testé ce qui se passe lorsque l'on tente de rendre ces modèles encore plus petits en arrondissant leurs nombres (un processus appelé quantification), ce qui est courant pour économiser de l'espace sur les petits appareils. Ici, les KAN se sont effondrés beaucoup plus rapidement. Dans un test, les prédictions du KAN sont devenues totalement erronées après seulement 6,5 étapes, tandis que le traditionnel MLP continuait de fonctionner correctement pendant 282 étapes — une différence de fiabilité de 43 fois. L'étude conclut que sur ces petites puces informatiques standards, la promesse d'efficacité du KAN ne tient pas ses engagements. À moins que les ingénieurs ne conçoivent un matériel spécial spécifiquement pour les KAN, l'ancien MLP reste le choix le plus fiable, le plus rapide et le plus économe en énergie pour faire fonctionner des modèles basés sur la physique sur des dispositifs embarqués.

Résumé Technique : Évaluation sur RISC-V embarqué des réseaux de Kolmogorov–Arnold dans les modèles physiques informés par l'apprentissage récurrents à contraintes strictes

Énoncé du problème
Les réseaux de neurones informés par la physique récurrents à contraintes strictes (HRPINN) intègrent la dynamique physique connue dans un intégrateur numérique récurrent, limitant la composante neuronale à l'apprentissage uniquement de la dynamique résiduelle. Les réseaux de Kolmogorov–Arnold (KAN) ont été proposés comme des alternatives économes en paramètres aux perceptrons multicouches (MLP) pour ces branches résiduelles, mais leur profil d'exécution diffère considérablement en raison des activations par B-splines apprenables. Des travaux antérieurs ont établi que les KAN peuvent égaler ou sous-performer les MLP en termes de précision de découverte, mais n'ont pas évalué leur efficacité computationnelle ou leur fiabilité lors du déploiement. Cet article examine si l'efficacité paramétrique des KAN se traduit par un coût de déploiement sur des cœurs scalaires embarqués, en abordant spécifiquement trois hypothèses : (H1) les KAN induisent une latence d'exécution par étape plus élevée que les MLP de précision comparable ; (H2) cette différence de latence entraîne une consommation d'énergie plus élevée par étape d'intégration ; et (H3) les KAN perdent la fidélité de la trajectoire plus tôt que les MLP sous l'effet de la quantification post-entraînement au sein d'une boucle récurrente fermée.

Méthodologie
L'étude évalue des poids identiques de branches résiduelles MLP et KAN déployés sur une plateforme StarFive VisionFive 2 (SiFive U74, RV64GC), un cœur RISC-V sans extensions vectorielles. Ce choix matériel garantit que les deux architectures compilent vers des séquences d'instructions scalaires, isolant la différence de performance sur le mélange d'opérations et les modèles d'accès mémoire des topologies elles-mêmes.

Modèles et benchmarks : L'évaluation utilise deux systèmes de référence : l'oscillateur de Duffing (résiduel additivement séparable) et l'oscillateur de Van der Pol (résiduel multiplicativement couplé). L'architecture HRPINN utilise un intégrateur d'Euler explicite.
Implémentation : Un moteur d'inférence scalaire sans allocation a été développé en C++17. Le moteur supporte le FP32 et la quantification statique post-entraînement (INT16, INT8, INT6, INT4). Deux variantes KAN ont été testées : une implémentation par défaut correspondant aux numériques de PyTorch et une variante optimisée précalculant les réciproques des différences de nœuds.
Métriques :
- Latence : Mesurée comme le temps médian par appel pour la branche résiduelle et l'étape complète de l'HRPINN.
- Énergie : Mesurée via un compteur de Coulombs USB intégré sur une fenêtre d'exécution de 120 secondes, calculant la différence d'énergie par étape ( $E_{step} = (P_{load} - P_{idle}) / \text{steps/s}$ ).
- Fiabilité : Évaluée en exécutant des déploiements en boucle fermée de 2 000 étapes à partir de 20 conditions initiales. La divergence est définie comme l'étape où la distance euclidienne entre le déploiement quantifié et la base FP32 dépasse 0,1.
- Attribution : L'impact de la quantification a été isolé en quantifiant des composants spécifiques (poids, activations, état ou entrées) individuellement.

Résultats clés
Les expériences ont confirmé les trois hypothèses :

Latence (H1) : Les KAN sont nettement plus lents que les MLP. Pour des paires de précision comparable, la branche résiduelle KAN s'est exécutée 13,5× et 8,0× plus lentement que leurs homologues MLP. Pour l'ensemble des quatre niveaux de taille de paramètres correspondants, le ratio de latence variait de 4,7× à 14,5×. Normalisé par paramètre, les KAN ont passé 41 à 93 ns par paramètre contre 6,2 à 8,0 ns pour les MLP. La variante optimisée par réciproque n'a récupéré que 6 à 18 % de cette latence, laissant un écart substantiel.
Énergie (H2) : La consommation d'énergie est directement proportionnelle à la latence. Les paires KAN ont consommé 11,3× et 5,6× plus d'énergie par étape d'intégration que les MLP (par exemple, 3,7 µJ contre 0,33 µJ pour la plus petite paire). La différence de puissance active incrémentielle entre les architectures était indiscernable de zéro, confirmant que la pénalité énergétique est entièrement pilotée par le temps d'exécution plutôt que par une consommation de puissance plus élevée par cycle.
Fiabilité sous quantification (H3) : Les KAN divergent beaucoup plus tôt que les MLP sous quantification. En mode de quantification complète INT8, le KAN Duffing "Very Small" a divergé à une médiane de 6,5 étapes, tandis que le MLP "Tiny" correspondant a divergé après 282 étapes (une différence de 43×).
- Analyse d'attribution : La divergence est principalement causée par la quantification des poids, et non par une mauvaise assignation des intervalles de nœuds côté entrée. La quantification des seules entrées n'a eu qu'un effet négligeable. Cependant, la quantification des poids a provoqué une chute sévère de la précision de découverte des KAN (par exemple, le $R^2$ de Duffing chutant de 0,90 à -0,10 à l'INT8), tandis que les MLP sont restés stables. La distribution hétérogène des coefficients de spline des KAN les rend très sensibles à la mise à l'échelle par tenseur, ce qui comprime de manière disproportionnée les petits coefficients.

Signification et conclusions
L'article conclut que l'efficacité paramétrique rapportée pour les KAN sur les résiduels séparables ne se transfère pas au coût de déploiement sur les cœurs scalaires embarqués. La formulation par B-splines introduit des coûts d'exécution et de précision qui compensent les économies de paramètres.

Orientation de déploiement : Pour le déploiement d'HRPINN embarqués, une branche résiduelle MLP est l'option par défaut la plus fiable, à moins qu'une co-conception de la quantification ne soit employée.
Limites de l'optimisation : L'ingénierie de noyau classique (par exemple, les tables de recherche pour les fonctions transcendantes ou les réciproques précalculées) ne peut combler qu'une fraction de l'écart de latence. Un noyau scalaire entièrement optimisé resterait encore un ordre de grandeur derrière les MLP.
Directions futures : Les auteurs suggèrent que les travaux futurs devraient se concentrer sur des schémas de quantification co-conçus (par exemple, la mise à l'échelle par arête ou par canal pour les poids de spline) et évaluer ces architectures sur des cœurs dotés de capacités vectorielles, bien que la récursion des KAN, gourmande en opérations de "gather" et de branchements, soit intrinsèquement plus difficile à vectoriser que les produits matriciels denses.

L'étude souligne que, bien que les KAN puissent être défendables là où l'empreinte mémoire est la contrainte limitante et où l'exécution reste en FP32 ou INT16, ils manquent actuellement de la robustesse et de l'efficacité requises pour un déploiement généralisé dans les systèmes cyber-physiques (CPS) embarqués sous une quantification post-entraînement standard.

Articles similaires