Résumé technique : Transformers à décharges élastiques pour une compréhension efficace des gestes

1. Énoncé du problème

Le déploiement des réseaux de neurones à décharges (SNN), en particulier des Transformers à décharges, sur du matériel neuromorphique (par exemple, Intel Loihi, IBM TrueNorth) pour la santé et la reconnaissance des gestes se heurte à deux goulots d'étranglement critiques :

1. Rigidité architecturale : Les architectures SNN existantes sont statiques, avec des nombres de paramètres et des graphes de calcul fixes. Déployer ces modèles sur divers puces neuromorphiques aux contraintes de mémoire et d'alimentation variables nécessite l'entraînement et le déploiement de modèles entièrement séparés pour chaque cible matérielle, annulant ainsi les avantages d'efficacité d'une approche unifiée.
2. Incompatibilité matérielle et inefficacité énergétique : De nombreux Transformers à décharges actuels reposent sur des multiplications matricielles globales (GEMM) ou des multiplications matricielles par lots (BMM). Ces opérations ne sont pas prises en charge nativement par les puces neuromorphiques pilotées par des décharges, obligeant à décharger les charges de travail vers des CPU haute consommation, ce qui érode les économies d'énergie. De plus, les stratégies d'échelle standard (réduction de la largeur/profondeur du modèle) échouent souvent à réduire proportionnellement la consommation d'énergie, car l'étape initiale d'extraction des caractéristiques (embedding de patches) reste une source dominante d'activité de décharges, indépendamment de la taille du modèle.

2. Méthodologie : L'architecture NESTformer

Les auteurs proposent NESTformer (Neuromorphic Elastic Spiking Transformer), une architecture novatrice conçue pour intégrer l'adaptabilité en temps d'exécution directement dans le paradigme à décharges. Le cadre repose sur trois principes fondamentaux :

• Architecture imbriquée : Les configurations plus petites sont des sous-ensembles stricts des plus grandes, permettant le partage des poids.
• Élasticité consciente des décharges : La réduction de taille est optimisée pour minimiser à la fois les paramètres et l'activité des décharges.
• Conception consciente du matériel : L'architecture évite les opérations dépendantes du CPU, en utilisant des structures natives au matériel neuromorphique.

Le modèle traite les entrées basées sur des événements à travers trois blocs de construction élastiques contrôlés par un paramètre de granularité $g$ :

A. Auto-attention élastique à décharges

Inspirée par l'apprentissage de représentations Matryoshka, ce bloc permet le découpage dynamique des tenseurs de requête ($Q$), de clé ($K$) et de valeur ($V$) pour ajuster le nombre de têtes d'attention actives ($h_g$) lors de l'inférence.

• Compatibilité neuromorphique : Pour éliminer les multiplications matricielles globales, les auteurs introduisent un mécanisme d'attention par ligne. Au lieu de calculer une carte d'attention dense, l'opération est décomposée en une séquence de deux opérations Leaky Integrate-and-Fire (LIF) : $attng = LIF(Q_g \cdot K_g^T)$ suivie de $O_g = LIF(attng \cdot V_g)$. Cela convertit les scores d'attention en décharges binaires, garantissant que la multiplication subséquente est une accumulation strictement pilotée par des décharges, compatible avec le matériel événementiel.

B. MLP élastique à décharges

Le module de perceptron multicouche (MLP) utilise des dimensions cachées variables basées sur des nombres de filtres espacés logarithmiquement. En ajustant dynamiquement la dimension cachée ($h_g$) d'un minimum à un maximum, le modèle peut réduire considérablement le nombre de paramètres (qui constituent environ 60 % des transformers standard) sans réentraînement.

C. Extraction de caractéristiques élastique (XiSPS)

Pour répondre au goulot d'étranglement où l'embedding de patches génère la majorité des décharges, les auteurs introduisent XiSPS (Elastic Spiking Patch Splitting). Contrairement aux embeddings statiques, XiSPS prend en charge des compromis dynamiques en temps d'exécution entre la granularité des caractéristiques et la consommation d'énergie. Il adapte un facteur de compression réglable $\gamma$ pour réduire la charge de calcul et le nombre de paramètres au niveau de l'entrée, garantissant que les économies d'énergie évoluent linéairement avec la taille du modèle.

D. Stratégie d'entraînement

Le modèle emploie une stratégie d'échantillonnage stochastique plutôt que l'entraînement traditionnel en « sandwich ». Pendant l'entraînement, une seule configuration de granularité est échantillonnée par étape à partir d'une distribution biaisée $P(g)$ favorisant les configurations plus grandes. Cela garantit que l'ensemble complet des paramètres reçoit des mises à jour fréquentes, stabilisant les poids partagés utilisés par tous les sous-réseaux plus petits. Des formes de tenseurs statiques avec masquage binaire sont utilisées pour maintenir un graphe de calcul cohérent.

3. Contributions clés

1. Premier Transformer élastique à décharges : NESTformer est le premier transformer SNN capable d'adaptabilité en temps d'exécution (mise à l'échelle de l'empreinte mémoire et du calcul) sans réentraînement, couvrant une plage énergétique de 3,8 $\times$.
2. Attention native neuromorphique : Un nouveau schéma de calcul d'attention par ligne remplace les multiplications matricielles globales par des opérations synaptiques séquentielles, permettant un véritable déploiement sur du matériel neuromorphique sans déchargement vers le CPU.
3. Mise à l'échelle linéaire de l'énergie : Les auteurs démontrent que, contrairement aux architectures précédentes où les économies d'énergie sont sous-linéaires, l'élasticité de NESTformer réduit directement le taux global de décharge des décharges. Cela se traduit par une réduction proportionnelle de la consommation d'énergie à mesure que la taille du modèle diminue.
4. Performances de l'état de l'art : L'approche atteint une précision compétitive ou supérieure sur les benchmarks de gestes et d'images tout en consommant significativement moins d'énergie que les architectures actuelles de l'état de l'art (SOTA).

4. Résultats expérimentaux

Les auteurs ont validé NESTformer sur l'ensemble de données clinique EHWGesture, ainsi que sur des benchmarks standards : DVS128 Gesture, CIFAR10-DVS, et statique CIFAR-10/100.

• EHWGesture (Geste clinique) :

  • La plus grande configuration ($g_3$) a atteint 75,98 % de précision, surpassant le QKFormer-5-320 SOTA (75,28 %) et le CNN efficace PhiNet (71,25 %).
  • Efficacité énergétique : NESTformer ($g_3$) a consommé 46,1 $\mu$J par inférence, soit moins de la moitié de l'énergie du QKFormer-5-320 (100,9 $\mu$J) et des ordres de grandeur inférieurs aux bases CNN (6 900–460 000 $\mu$J).
  • Élasticité : La configuration $g_2$ a conservé 99,8 % de la précision maximale (75,86 %) tout en réduisant l'énergie de près de 40 % (28,7 $\mu$J). La plus petite configuration ($g_0$) a maintenu une précision de 71,01 % à seulement 13,3 $\mu$J.

• Benchmarks généraux :

  • DVS128 Gesture : NESTformer ($g_3$) a égalé le Spike-Driven Transformer SOTA (99,30 %) et surpassé QKFormer (98,60 %). La configuration ultra-légère $g_0$ a atteint 97,57 % de précision avec 5,3 fois moins de paramètres que la plus grande configuration.
  • CIFAR10-DVS : A atteint 83,61 % de précision ($g_3$), surpassant le Spikformer standard (80,90 %).
  • CIFAR-100 : La configuration $g_3$ a atteint 81,30 % de précision, établissant un nouveau SOTA pour les transformers à décharges sur cet ensemble de données.

• Compromis temporels : L'analyse sur EHWGesture a révélé que l'évaluation de la qualité de l'action (AQA) bénéficie d'une résolution temporelle plus élevée ($T=64$), tandis que la reconnaissance des gestes atteint son pic à des pas de temps plus faibles ($T=16$ à $32$). NESTformer permet aux utilisateurs de sélectionner la combinaison optimale de granularité et de pas de temps pour des exigences de tâche spécifiques.

5. Signification et revendications

L'article revendique que NESTformer comble le fossé entre le calcul neuromorphique efficace et les architectures de transformers élastiques. Sa signification principale réside dans la possibilité de déployer un modèle unifié unique sur tout le spectre du matériel neuromorphique — des périphériques de bord ultra-basse consommation aux serveurs haute précision — sans besoin de réentraînement.

En résolvant le problème de contraintes de mémoire par le découpage dynamique et en réduisant directement le taux global de décharge des décharges, NESTformer offre un double avantage unique :

1. Flexibilité de déploiement : Mise à l'échelle instantanée des empreintes de paramètres pour s'adapter à des spécifications matérielles diverses.
2. Vraie efficacité énergétique : Une réduction linéaire de la consommation d'énergie proportionnelle à la réduction de la taille du modèle, une capacité précédemment indisponible dans les réseaux de neurones artificiels (ANN) standard et les SNN fixes.

Les auteurs concluent que cette approche permet une reconnaissance continue et en temps réel des gestes sur des périphériques de bord aux ressources limitées, préservant la vie privée des utilisateurs et réduisant la latence de communication tout en maintenant une haute précision.