⚡ electrical engineering

Neuromorphic Energy-Aware Learning for Adaptive Deep Brain Stimulation

Cet article présente un cadre d'apprentissage sensible à l'énergie qui co-optimise la stimulation des actionneurs et l'efficacité de l'inférence en incorporant l'énergie de l'actionneur dans les récompenses de l'apprentissage par renforcement et en déployant un réseau de neurones impulsionnels compressé sur du matériel neuromorphique, atteignant des réductions significatives tant des oscillations pathologiques que de la consommation d'énergie pour la stimulation cérébrale profonde adaptative dans la maladie de Parkinson.

Auteurs originaux : Binh Nguyen, Colleen Josephson, Mircea Teodorescu, Gert Cauwenberghs, Jason Eshraghian

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Binh Nguyen, Colleen Josephson, Mircea Teodorescu, Gert Cauwenberghs, Jason Eshraghian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un minuscule robot, alimenté par une batterie, qui vit à l'intérieur du cerveau d'une personne. Son travail est de jouer le rôle de « policier de la circulation » pour les signaux électriques du cerveau. Lorsque le cerveau se retrouve coincé dans un rythme chaotique (ce qui arrive dans la maladie de Parkinson), ce robot doit envoyer de douces impulsions électriques pour lisser tout cela. C'est ce qu'on appelle la stimulation cérébrale profonde (DBS).

Pendant des années, les scientifiques ont essayé de rendre le « cerveau » du robot (la puce informatique) plus intelligent et plus économe en énergie. Mais il y a un piège : le bras du robot (la partie qui envoie les impulsions) consomme beaucoup plus d'énergie que son cerveau.

Pensez-y comme à une voiture hybride. Vous pouvez construire le moteur le plus efficace au monde (le contrôleur), mais si la voiture traîne constamment une lourde ancre derrière elle (la stimulation), elle finira quand même par tomber en panne d'essence. L'article soutient que pour prolonger la durée de vie de la batterie, on ne peut pas seulement rendre le cerveau efficace ; il faut apprendre au cerveau à être paresseux quant à l'utilisation de son ancre.

Voici comment les chercheurs ont résolu ce problème, décomposé en étapes simples :

1. Le professeur « conscient de l'énergie »

Les chercheurs ont créé une nouvelle façon d'entraîner le cerveau du robot. Habitement, on entraîne un robot en lui disant : « Bon travail si tu corriges le tremblement ! » Mais cette nouvelle méthode ajoute une seconde règle : « Bon travail si tu corriges le tremblement ET que tu n'as pas utilisé beaucoup d'électricité pour le faire. »

Ils appellent cela l'Apprentissage Conscient de l'Énergie (Energy-Aware Learning). C'est comme former un livreur non pas seulement pour qu'il livre le colis à la maison, mais pour qu'il le fasse en empruntant l'itinéraire le plus économe en carburant possible. Si le livreur prend un raccourci qui économise de l'essence mais rate la maison, il reçoit une mauvaise note. S'il utilise un énorme camion gourmand en essence pour aller à la maison, il reçoit aussi une mauvaise note. Il doit trouver l'équilibre parfait.

2. Le cerveau « à impulsions » contre le cerveau « standard »

Pour rendre le robot assez petit pour tenir dans un corps humain, ils ont utilisé un type spécial de puce informatique appelée Neuromorphique.

Les puces standard (comme celles de votre téléphone) : Elles sont comme une ampoule qui reste allumée 24h/24, même quand il n'y a rien à regarder. Elles vérifient constamment les signaux du cerveau, même quand le cerveau est calme. Cela gaspille beaucoup de batterie.
Les puces Neuromorphiques (Le Xylo) : Elles sont comme un détecteur de mouvement. Elles ne « s'éveillent » et ne travaillent que lorsqu'un signal spécifique (une « impulsion » ou « spike ») se produit. Si le cerveau est calme, la puce dort. Cela est incroyablement efficace.

Les chercheurs ont entraîné un Réseau de Neurones à Impulsions (SNN) sur cette puce de type détecteur de mouvement. Il apprend à écouter le rythme naturel et chaotique du cerveau et n'envoie une impulsion que lorsque c'est absolument nécessaire.

3. Le tour de magie de la « distillation » (Enseigner à l'élève)

Le robot « professeur » était intelligent mais un peu trop gros et bavard pour l'implant minuscule. Ainsi, les chercheurs ont utilisé un tour appelé Distillation de Connaissances (Knowledge Distillation).
Imaginez un professeur brillant (le Professeur) qui sait tout mais qui parle trop. Il engage un étudiant (l'Étudiant) pour apprendre la matière. Le but n'est pas seulement que l'étudiant donne les bonnes réponses, mais qu'il apprenne à donner ces réponses en utilisant moins de mots.
Ils ont forcé l'étudiant à être « parcimonieux » (sparse) — ce qui signifie qu'il devait émettre très peu de signaux électriques pour faire le travail. Le résultat est un robot étudiant minuscule et super efficace, capable de tenir sur la petite puce sans vider la batterie.

4. Les résultats : Un miracle d'efficacité

Lorsqu'ils ont testé ce nouveau système dans une simulation informatique d'un cerveau atteint de Parkinson, les résultats ont été impressionnants :

Arrêter le chaos : Le robot a réussi à réduire les mauvais rythmes cérébraux de 45 %, ce qui est une amélioration énorme pour le patient.
Économiser la batterie : Parce que le robot a appris à être paresseux, il a réduit la quantité d'électricité envoyée au cerveau de 80 % par rapport aux anciennes méthodes « toujours actives ».
La puissance de la puce : La minuscule puce consommait si peu d'énergie que si on l'intégrait dans une batterie d'implant standard, elle pourrait fonctionner pendant plus d'un an sans nécessiter une chirurgie pour remplacer la batterie. En revanche, si on essayait de faire fonctionner cela sur une puce standard (comme celle d'un smartphone haut de gamme), la batterie se viderait en moins d'une heure.

La vue d'ensemble

Le message principal de l'article est que vous ne pouvez pas simplement rendre le cerveau informatique efficace ; vous devez rendre l'ensemble du système efficace. En apprenant à l'IA à se soucier du coût de l'électricité qu'elle envoie, ils ont créé un système qui est à la fois un excellent médecin (soignant la maladie) et un excellent comptable (économisant la batterie).

Il ne s'agit pas seulement de fabriquer une meilleure puce ; il s'agit de réaliser que dans un implant médical, l'« actionneur » (la partie qui fait le travail) est souvent le plus gros consommateur d'énergie. Si vous n'apprenez pas à l'IA à être douce avec cette partie, tous les autres gains d'efficacité n'ont aucune importance. Cette nouvelle approche résout ces deux problèmes à la fois.

Résumé Technique : Apprentissage Neuromorphique Sensible à l'Énergie pour la Stimulation Cérébrale Profonde Adaptative

Énoncé du Problème

Le déploiement de contrôleurs par réseaux de neurones sur des architectures de bord (edge) et neuromorphiques a permis de réduire avec succès les coûts d'inférence computationnelle. Cependant, dans les systèmes en boucle fermée physiques comme la stimulation cérébrale profonde (SCP) pour la maladie de Parkinson (MP), l'énergie dépensée par l'actionneur (le neurostimulateur) rivalise ou dépasse souvent l'énergie requise pour l'inférence une fois que le contrôleur fonctionne sur un matériel efficace. Les dispositifs de SCP conventionnels délivrent des impulsions haute fréquence continues, quel que soit l'état clinique, ce qui entraîne un gaspillage de batterie et des effets secondaires induits par la stimulation. Bien que la SCP adaptative (aSCP) module les paramètres en fonction de biomarqueurs, les approches existantes reposent souvent sur un matériel conventionnel et un traitement agrégé par fenêtres qui rejette la structure temporelle fine des pics (spikes). De plus, la réduction de l'énergie d'inférence seule est insuffisante ; un contrôleur aSCP efficace doit co-optimiser l'efficacité thérapeutique avec la charge physique délivrée par le stimulateur, car l'actionneur devient la demande de puissance dominante dans les systèmes implantables.

Méthodologie

Environnement de Simulation Biophysique

Les auteurs ont validé les politiques de contrôle à l'aide d'une simulation biophysiquement détaillée du circuit Cortico-Basal Ganglia-Thalamocortical (CBGT) du rat, basée sur le modèle de rat lésé par la 6-hydroxydopamine (6-OHDA). Le réseau comprend 80 neurones à compartiment unique répartis dans huit populations (corticale, STN, GPe, GPi, Striatum, Thalamus) modélisés avec une dynamique de Hodgkin-Huxley. Les états parkinsoniens ont été induits en réduisant le courant M striatal et la force corticostriatale tout en augmentant l'inhibition intra-GPe, reproduisant des oscillations $\alpha$ - $\beta$ (7–35 Hz) exagérées.

Architecture Deep Spiking Q-Network (DSQN)

Un Deep Spiking Q-Network (DSQN) a été implémenté pour sélectionner les paramètres de stimulation discrets (fréquence, largeur d'impulsion, amplitude).

Entrée : Le réseau reçoit une matrice de pics binaires à 80 canaux provenant du modèle CBGT, regroupée spatialement en 16 canaux via un pooling moyen pour correspondre aux contraintes matérielles.
Architecture : Deux couches cachées de 128 neurones Leaky Integrate-and-Fire (LIF) avec une dynamique de courant synaptique explicite.
Décodage de l'action : Un schéma de codage de population partitionné décode les actions. La couche de sortie (9 neurones) est divisée en trois sous-populations correspondant à la fréquence, la largeur d'impulsion et l'amplitude. Un mécanisme de type "winner-take-all" (WTA) sur la fenêtre de simulation détermine l'action discrète (diminuer, maintenir, augmenter).
Entraînement : L'agent utilise le Q-learning hors politique (off-policy) avec un tampon de rejeu d'expérience, optimisé via des gradients de substitution dans PyTorch/Rockpool.

Formulation de Récompense Sensible à l'Énergie

L'innovation centrale est une fonction de récompense qui optimise conjointement la suppression des symptômes et la conservation de l'énergie. La récompense $r_t$ est discontinue :

Si la puissance instantanée de la bande $\beta$ ( $\beta_t$ ) dépasse un seuil ( $\tau_\beta$ ), l'agent reçoit une pénalité proportionnelle à l'excès.
Si $\beta_t \le \tau_\beta$ , l'agent reçoit une récompense basée sur l'efficacité thérapeutique et un terme d'énergie normalisé ( $E_t/E_{max}$ ), où $E_t$ est la valeur efficace (RMS) du courant de stimulation. Cela force la politique à minimiser la délivrance de charge uniquement après avoir assuré la suppression thérapeutique.

Distillation de Connaissances à Contrainte de Parcimonie

Pour déployer la politique sur un matériel à ultra-basse consommation, un DSQN "enseignant" dense a été distillé en SNN "étudiants" parcimonieux.

Fonction de Perte : La perte totale combine la divergence de Kullback-Leibler (KL) entre les valeurs Q de l'enseignant et de l'étudiant ainsi qu'une pénalité de parcimonie.
Pénalité de Parcimonie : Un terme de divergence KL de Bernoulli régularise le taux de décharge moyen des couches cachées vers une parcimonie cible $\rho$ , minimisant les opérations synaptiques (SynOps).
Cartographie Matérielle : Les réseaux étudiants distillés ont été quantifiés (précision de 8 bits) et déployés sur le processeur neuromorphique SynSense XyloAudio 3.

Benchmarking

L'implémentation neuromorphique a été comparée à :

La SCP conventionnelle (cDBS) : Stimulation continue à des paramètres fixes.
La aSCP clinique : Basculement heuristique à double seuil basé sur la puissance $\beta$ .
Le Réseau de Neurones Artificiels (ANN) : DQN à codage de taux (feedforward).
Le Réseau de Neurones Récurrents (RNN) : DQN basé sur GRU.
Tous ont été comparés sur un NVIDIA Jetson Orin Nano (CUDA) pour les métriques de puissance et de latence.

Contributions Clés

Contrôle Sensible à l'Énergie : Le cadre introduit une récompense par apprentissage par renforcement qui pénalise directement la délivrance de charge de stimulation. Cela garantit que la politique optimise la demande de puissance de premier ordre de l'implant (l'actionneur) plutôt que seulement le coût d'inférence.
Benchmarking Neuromorphique : L'étude démontre une réduction de 28,1 $\times$ de l'énergie par inférence lors du déploiement du SNN sur le SynSense XyloAudio 3 par rapport à un ANN équivalent sur le Jetson Orin Nano, tout en opérant dans l'enveloppe de puissance sub-milliwatt requise pour les implants chroniques.
Validation Biophysique : Le système parvient à une réduction de 45,2 % de la puissance de la bande $\alpha$ - $\beta$ pathologique et à une réduction de 80,0 % de la charge de stimulation cumulée par rapport à la SCP continue dans un modèle CBGT biophysique.

Résultats

Efficacité Thérapeutique

Dans le modèle biophysique de déplétion dopaminergique, le contrôleur SNN a réduit la puissance intégrée de la bande $\alpha$ - $\beta$ de 45,2 % (IC 95 % [42,6, 47,7]) sur 10 graines (seeds). Le contrôleur a détecté rapidement les états pathologiques et a initié une stimulation haute fréquence pour briser la synchronie récurrente entre le STN et le GPe. Contrairement à la ligne de base non stimulée, le SNN a restauré un régime de décharge désynchronisé.

Efficacité Énergétique de la Stimulation

Réduction de Charge : Le SNN a obtenu une réduction de 80,0 % de la charge cumulée délivrée par rapport à la cDBS.
Comparaison aux Heuristiques : Le SNN a surpassé l'heuristique de aSCP clinique à double seuil, délivrant 53,5 % de charge en moins tout en maintenant une suppression de $\beta$ plus profonde (réduction de 85,9 % contre 56,2 % pour l'heuristique).
Échecs de Base : L'ANN de base a convergé vers une stratégie dégénérée (stimulation minimale, aucune suppression de $\beta$ ), tandis que l'ANN de base RNN a adopté une stratégie statique et agnostique de l'état (paramètres maximaux continus), consommant 50,6 % d'énergie de plus que la cDBS.

Efficacité Matérielle et Compression

Compromis de Parcimonie : Grâce à la distillation sous contrainte de parcimonie, la meilleure politique étudiante a atteint une efficacité thérapeutique équivalente (réduction de $\beta$ de 45,9 %) à l'enseignante à 16,8 SynOps/ms, soit une réduction de 3,6 $\times$ du débit synaptique.
Consommation de Puissance : Le SNN Xylo a consommé 0,52 mW de puissance système moyenne, contre environ 5,7 W pour les bases Jetson.
Énergie par Inférence : L'implémentation neuromorphique a consommé 1,64 $\times$ 10 $^{-4}$ J par inférence, représentant une réduction de 28,1 $\times$ par rapport à l'ANN et de 72,5 $\times$ par rapport au RNN.
Projection de la Durée de Vie de la Batterie : Avec la politique SNN, la consommation totale du système (stimulation + inférence) est projetée à environ 0,57 mW, permettant plus d'un an de fonctionnement continu sur une batterie IPG standard non rechargeable de 5 Wh. En revanche, les contrôleurs basés sur Jetson épuiseraient la batterie en moins d'une heure.

Signification et Revendications

L'article affirme que l'efficacité matérielle est une propriété apprenable du contrôleur neuronal. En intégrant l'énergie de l'actionneur directement dans l'objectif d'apprentissage, le cadre répond aux deux principales demandes de puissance dans les neurostimulations implantables : l'inférence et la stimulation.

Les auteurs soutiennent que réduire le coût d'inférence seul est nécessaire mais non suffisant ; une fois que le contrôleur est efficace, l'actionneur devient la charge à réduire. Le cadre de co-optimisation proposé est distinct des approches qui optimisent les protocoles de stimulation ou l'efficacité de l'inférence de manière isolée. Les résultats démontrent qu'un contrôleur neuromorphique peut fonctionner dans des contraintes strictes de thermique et de batterie (enveloppe sub-milliwatt) tout en découvrant des stratégies économes en charge que les objectifs standards omettraient. Le travail suggère que pour les implants chroniques, l'échange de latence du matériel neuromorphique est acceptable compte tenu des contraintes critiques de puissance et d'énergie, résolvant la barrière matérielle qui empêchait auparavant l'utilisation de contrôleurs par réseaux de neurones pour de telles applications. La formulation de la récompense sensible à l'énergie est présentée comme transférable à d'autres systèmes de neurostimulation réactifs (ex: épilepsie, douleur) où l'énergie de l'actionneur devient le coût dominant.