🌀 nonlinear sciences

Physical Analogue Kolmogorov-Arnold Networks based on Reconfigurable Nonlinear-Processing Units

Cet article présente une architecture de réseau de Kolmogorov-Arnold (aKAN) physique, évolutive et native au matériel, utilisant des unités de traitement non linéaire reconfigurables (RNPU), qui permet d'obtenir des réductions significatives d'énergie, de latence et de surface par rapport aux perceptrons multicouches numériques tout en maintenant une approximation de fonction précise pour l'inférence en périphérie.

Auteurs originaux : Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un ordinateur à reconnaître des formes, comme distinguer un chat d'un chien ou prédire la météo. Pendant des décennies, la méthode standard pour y parvenir a été d'utiliser des « Perceptrons Multicouches » (MLP). Considérez un MLP comme une immense chaîne de montage dans une usine. D'abord, une énorme équipe d'ouvriers (couches linéaires) effectue des calculs simples — l'addition et la multiplication de nombres. Ensuite, un superviseur distinct et rigide (une fonction d'activation fixe) examine le résultat et décide : « D'accord, c'est un "oui" ou un "non" ». Le problème est que cette chaîne de montage est gigantesque, gourmande en énergie, et le superviseur est coincé à faire exactement la même chose à chaque fois, peu importe la tâche.

Le document que vous avez partagé présente une nouvelle façon plus intelligente de construire ces ordinateurs en utilisant des Réseaux de Kolmogorov-Arnold Physiques Analogiques (aKANs). Voici comment ils fonctionnent, expliqués simplement :

1. La « Peinture Intelligente » au lieu de la chaîne de montage

Au lieu d'une longue chaîne de montage où les mathématiques se produisent d'abord et la décision est prise ensuite, les auteurs ont construit un système où les mathématiques et la décision se produisent en même temps, à l'intérieur même du matériau.

Ils utilisent de minuscules puces de silicium appelées Unités de Traitement Non Linéaire Reconfigurables (RNPU).

L'analogie : Imaginez un interrupateur standard. Il est soit ALLUMÉ, soit ÉTEINT. Maintenant, imaginez un « variateur intelligent » qui ne se contente pas de s'allumer ou de s'éteindre, mais qui change d'intensité et de couleur en fonction de la force avec laquelle vous appuyez sur le bouton et de la façon dont vous tournez un cadran séparé.
La réalité : Un RNPU est un dispositif de silicium microscopique. Vous lui injectez une tension d'entrée (la « pression du bouton ») et vous pouvez ajuster son comportement en réglant des tensions de contrôle (les « cadrans »). Le dispositif transforme physiquement l'électricité en une forme courbe complexe directement à l'intérieur du silicium. Il ne calcule pas la courbe ; il est la courbe.

2. L'arête « Caméléon »

Dans les réseaux traditionnels, les « arêtes » (les connexions entre les neurones) ne font que transporter des nombres. Dans ce nouveau système, les arêtes sont des caméléons.

Les auteurs connectent plusieurs de ces « variateurs intelligents » (RNPU) pour former un Processeur d'Arête (Edge Processor).
En mélangeant et en associant ces unités, ils peuvent créer presque n'importe quelle forme de fonction mathématique dont ils ont besoin. Si la tâche nécessite une ligne ondulée, le silicium se courbe pour créer une vague. Si elle nécessite un pic acéré, le silicium se courbe pour créer un pic.
C'est comme avoir un sculpteur capable de remodeler instantanément l'argile en n'importe quelle forme nécessaire, plutôt qu'une usine qui ne produit que des briques préfabriquées.

3. Pourquoi est-ce une avancée majeure (Économies d'énergie et d'espace)

Le document a testé ce nouveau système par rapport à l'ancien style d'ordinateurs en « chaîne de montage ».

Le résultat : Pour accomplir le même travail (comme prédire une courbe ou trier des données), le nouveau système a utilisé 100 fois moins d'énergie et a occupé 10 fois moins d'espace sur une puce informatique.
La métaphore : Si l'ancien ordinateur était un énorme camion gourmand en essence livrant un seul colis, ce nouveau système est un vélo électrique léger livrant le même colis. Il accomplit la tâche avec une fraction infime de carburant et d'espace routier.

4. Comment ils l'ont testé

Les chercheurs n'ont pas seulement simulé cela sur un ordinateur ; ils l'ont réellement construit avec des disposités de silicium.

Ils ont entraîné le système à l'aide de logiciels pour déterminer les réglages parfaits pour les « cadrans » (tensions de contrôle) sur les puces de silicium.
Ensuite, ils l'ont testé sur du matériel réel. Ils l'ont utilisé pour ajuster des courbes complexes (comme des ondes sinusoïdales et des fonctions de Bessel) et pour trier des données (comme déterminer si un motif en spirale tourne vers la gauche ou la droite).
Résultat clé : Même si les puces de silicium étaient légèrement différentes les unes des autres (comme le fait que chaque main est légèrement différente), le système était robuste. Il pouvait toujours apprendre et s'adapter, prouvant que cette approche de « calcul physique » est fiable.

5. L L'astuce de l'« Élagage » (Pruning)

Une caractéristique ingénieuse qu'ils ont démontrée est l'élagage.

Imaginez que vous ayez une équipe de 100 sculpteurs, mais que vous n'ayez besoin que de 5 d'entre eux pour faire une statue. Le système peut identifier automatiquement quels sculpteurs ne travaillent pas beaucoup et les « éteindre ».
Cela rend le dispositif final encore plus petit et plus efficace, en supprimant les parties inutiles sans perdre la capacité de résoudre le problème.

Résumé

Le document affirme qu'en s'éloignant des mathématiques numériques rigides pour utiliser plutôt les propriétés physiques naturelles du silicium pour effectuer le gros du travail, nous pouvons construire des réseaux de neurones qui sont :

Minuscules : Bien plus petits que les puces actuelles.
Efficaces : Utilisant une fraction de la puissance de la batterie.
Flexibles : Les « arêtes » du réseau peuvent changer de forme pour s'adapter au problème spécifique, plutôt que d'être bloquées dans une approche universelle.

Cela ouvre la voie à l'intégration d'une IA puissante directement dans de petits appareils alimentés par batterie (comme des capteurs ou des objets connectés) sans avoir besoin d'un immense centre de données pour effectuer la réflexion.

Résumé Technique : Réseaux de Kolmogorov-Arnold Physiques Analogiques basés sur des Unités de Traitement Non Linéaires Reconfigurables

Énoncé du Problème
L'apprentissage profond moderne repose largement sur les Perceptrons Multicouches (MLP), qui effectuent des multiplications matrice-vecteur linéaires suivies de fonctions d'activation non linéaires fixes. Bien que les opérations linéaires soient efficacement accélérées par le matériel numérique et mixte actuel (par exemple, les GPU, les réseaux de crossbars memristifs), les fonctions d'activation non linéaires restent un goulot d'étranglement pour une implémentation native matérielle. De plus, le coût computationnel de l'apprentissage profond augmente de manière insoutenable, et la nature de « boîte noire » des MLP limite l'interprétabilité. Les réseaux de Kolmogorov-Arnold (KAN) offrent une alternative théorique en déplaçant la charge de calcul des activations de nœuds fixes vers des fonctions non linéaires apprenables sur les arêtes du réseau. Cependant, implémenter efficacement ces non-linéarités apprenables dans le matériel sans recourir à des approximations numériques (comme les tables de correspondance ou LUT) ou à des émulations complexes au niveau des circuits reste un défi ouvert.

Méthodologie
Les auteurs proposent une architecture KAN analogique physique (aKAN) qui réalise les fonctions d'arête apprenables directement dans la matière en utilisant des Unités de Traitement Non Linéaires Reconfigurables (RNPU).

Dispositif RNPU : La primitive centrale est un dispositif nanoscopique à multi-terminaux en silicium (une plaque de silicium dopée au bore avec huit électrodes). En appliquant des tensions de contrôle spécifiques à ses électrodes, la caractéristique de transfert entrée-sortie en régime permanent du dispositif peut être continuellement ajustée pour approximer diverses fonctions non linéaires.
Processeur d'Arête (EP) : Pour augmenter l'expressivité et la précision, plusieurs RNPU sont combinés en parallèle au sein d'un Processeur d'Arête. L'EP additionne les sorties mises à l'échelle de chaque RNPU pour former une fonction d'arête univariée complexe et apprise.
Architecture : L'aKAN consiste en un réseau reconfigurable d'EP interconnectés via des matrices de commutation programmables. Les variables d'entrée sont encodées linéairement sous forme de tensions, traitées par les EP (agissant comme des applications non linéaires), puis mises à l'échelle pour les couches suivantes. Le système comprend une interface mixte-signal (DAC, ADC, amplificateurs de transimpédance) pour gérer les tensions de contrôle et les courants de lecture.
Entraînement et Validation : Les auteurs utilisent un flux de travail hybride. Ils entraînent d'abord le réseau en logiciel à l'aide de modèles de substitution (MLP pilotés par les données et calibrés selon les caractéristiques expérimentales des RNPU) pour identifier les tensions de contrôle et les coefficients de combinaison linéaire optimaux. Ces paramètres sont ensuite transférés vers le matériel physique pour vérification expérimentale. En raison des contraintes de mesure de courant (configuration à dispositif unique), les réseaux multi-RNPU sont évalués par multiplexage temporel, où un seul dispositif physique émule séquentiellement les RNPU entraînés.

Contributions Clés

Non-linéarité Native au Matériel : L'article démontre une primitive de calcul physique scalable où les fonctions d'arête non linéaires sont réalisées intrinsèquement par la physique des dispositifs ajustables plutôt que par émulation numérique.
Processeurs d'Arête Reconfigurables : L'introduction de l'EP, qui agrège plusieurs RNPU, permet d'approximer des fonctions complexes (par exemple, les fonctions de Bessel) qu'un seul dispositif ne pourrait atteindre seul.
Analyse au Niveau Système : Les auteurs fournissent une comparaison complète au niveau système entre les aKAN et les MLP numériques à virgule fixe, incluant des estimations pour l'énergie, la surface de silicium et la latence, en tenant compte de la surcharge des périphériques mixtes-signaux.
Élagage et Robustesse : L'étude démontre que les aKAN peuvent être élagués structurellement (via une régularisation L1 sur les gains des EP) pour réduire l'utilisation matérielle tout en maintenant les performances. Elle montre également que l'architecture est robuste à la variabilité d'un dispositif à l'autre, car les combinaisons hétérogènes de différents RNPU physiques n'altèrent pas la précision de l'approximation.

Résultats

Approximation de Fonctions : En utilisant des modèles calibrés expérimentalement et des mesures matérielles, l'aKAN parvient à approximer des fonctions complexes (ondes sinusoïdales, fonctions de Bessel $J_0(20x)$ ) avec des erreurs quadratiques moyennes (MSE) atteignant $\sim 10^{-2}$ ou moins. La performance augmente avec le nombre de RNPU par EP.
Régression et Classification : Dans les tâches de régression, les aKAN atteignent des performances comparables aux modèles de référence MLP logiciels (avec des activations ReLU ou tanh) tout en nécessitant souvent moins de paramètres entraînables. Dans les tâches de classification binaire (Moons, Spirals, MAGIC, COD-RNA, Skin Segmentation), les aKAN atteignent une précision compétitive, parfois avec jusqu'à $\sim 5\times$ moins de paramètres que les ReLU-MLP.
Efficacité Matérielle : Les estimations au niveau système pour une charge de travail représentative ( $e^{\sin(\pi x_1) + x_2^2}$ $e^{s i n (π x_{1}) + x_{2}^{2}}$ ) indiquent :
- Énergie : Environ 200 pJ par inférence, ce qui représente une réduction de >100 $\times$ par rapport à un MLP numérique à virgule fixe pour un niveau d'erreur similaire.
- Surface : Une réduction de >10 $\times$ de la surface de silicium estimée par rapport à la référence numérique.
- Latence : Une latence d'inférence de bout en bout d'environ 0,6 $\mu$ s.
- Note : Les auteurs précisent explicitement que la consommation d'énergie actuelle est dominée par les circuits périphériques mixtes-signaux (DAC, ADC, TIA) plutôt que par le cœur de la RNPU elle-même.

Signification
Cet article établit les RNPU comme des primitives de calcul non linéaires scalables et natives du matériel. Il identifie les architectures KAN analogiques comme une voie réaliste vers un matériel de réseaux neuronaux efficace en termes d'énergie, de latence et d'empreinte, particulièrement pour l'inférence en périphérie (edge). En déplaçant le paradigme de l'accélération de l'algèbre linéaire vers l'intégration de mappings non linéaires expressifs directement dans le substrat physique, ce travail suggère une voie vers une inférence compacte et à faible consommation où le calcul non linéaire est natif et programmable. Les auteurs soulignent que, bien que le système actuel soit limité par la surcharge périphérique, la co-conception future des dispositifs, des circuits et des architectures pourrait davantage libérer le potentiel de la « matière intelligente » pour le calcul neuronal.