Résumé technique : Apprentissage neuromorphique respectueux de l'énergie pour la stimulation cérébrale profonde adaptative

Énoncé du problème

Le déploiement de contrôleurs à réseaux de neurones dans des systèmes physiques en boucle fermée, tels que les stimulateurs impulsionnels implantables (IPG) pour la stimulation cérébrale profonde (DBS), se heurte à un goulot d'étranglement énergétique critique. Bien que le calcul neuromorphique et l'informatique de périphérie (edge computing) aient réussi à réduire le coût d'inférence des contrôleurs neuronaux, l'énergie consommée par l'actionneur (le neurostimulateur délivrant la charge électrique) rivalise ou dépasse souvent le coût d'inférence du contrôleur. Dans la DBS pour la maladie de Parkinson (MP), la stimulation continue (cDBS) consomme une puissance de l'ordre de centaines de microwatts à un milliwatt, un régime comparable à celui des contrôleurs neuromorphiques efficaces. Par conséquent, l'optimisation de l'efficacité de l'inférence seule est insuffisante ; la politique de contrôle doit également minimiser la charge physique délivrée aux tissus afin de prolonger la durée de vie de la batterie et de prévenir les dommages thermiques. De plus, les approches conventionnelles de la DBS adaptative (aDBS) reposent sur des caractéristiques agrégées par fenêtre (par exemple, la puissance spectrale moyenne) qui rejettent la structure temporelle fine des pointes (spikes), et utilisent souvent du matériel (par exemple, des GPU) dont la consommation dépasse l'enveloppe de sous-milliwatt requise pour les implants chroniques.

Méthodologie

Les auteurs proposent un cadre d'Apprentissage Respectueux de l'Énergie (Energy-Aware Learning) qui co-optimise l'efficacité thérapeutique et l'énergie de stimulation au sein d'un système en boucle fermée.

1. Environnement de simulation biophysique :

   • Le système est entraîné dans un modèle biophysique de circuit cortico-striato-thalamo-cortical (CBGT) avec déplétion dopaminergique, basé sur le modèle de rat lésé par la 6-OHDA.
   • Le modèle comprend 80 neurones répartis dans huit populations (incluant le STN, le GPe, le GPi, le Striatum, le Thalamus) utilisant des dynamiques de Hodgkin-Huxley et d'Izhikevich.
   • L'observation de l'état est le raster de pointes brut à 80 canaux, qui est spatialement sous-échantillonné à 16 canaux via un regroupement moyen (average pooling) pour correspondre aux contraintes matérielles.

2. Agent d'apprentissage par renforcement (Enseignant) :

   • Un Réseau Q de Spikes Profond (DSQN) est entraîné par apprentissage hors politique (off-policy Q-learning).
   • Fonction de récompense : Il s'agit d'une fonction discontinue qui donne la priorité à la suppression des oscillations pathologiques $\alpha$-$\beta$ (7–35 Hz) dans le GPi. Si la puissance $\beta$ dépasse un seuil ($\tau_\beta$), l'agent est pénalisé. Si elle est inférieure au seuil, la récompense est une somme pondérée du maintien thérapeutique et d'une pénalité respectueuse de l'énergie basée sur la racine carrée de la moyenne (RMS) du courant de stimulation. Cela force l'agent à apprendre des stratégies économes en charge.
   • Espace d'action : L'agent module trois paramètres de DBS discrets : la Fréquence ($f$), l'Amplitude ($A$) et la Largeur d'impulsion ($\delta$).

3. Distillation de connaissances à contrainte de parcimonie :

   • Pour déployer la politique sur un matériel à ultra-basse consommation, un SNN (réseau de neurones à impulsions) « enseignant » est distillé vers des SNN « étudiants ».
   • La perte de distillation combine la divergence de Kullback-Leibler entre les valeurs Q de l'enseignant et de l'étudiant avec une pénalité de parcimonie explicite. Cette pénalité régularise le taux de décharge moyen des couches cachées vers une parcimonie cible ($\rho$), minimisant directement les opérations synaptiques (SynOps) pour réduire la puissance dynamique.

4. Déploiement matériel :

   • La politique étudiante distillée est déployée sur le processeur neuromorphique SynSense XyloAudio 3.
   • Les performances sont comparées à un réseau de neurones artificiels (ANN) et à un réseau récurrent à portes (GRU) exécutés sur un NVIDIA Jetson Orin Nano.

Résultats Clés

Efficacité Thérapeutique

• Le contrôleur SNN a réduit la puissance de la bande pathologique $\alpha$-$\beta$ de 45,2 % (IC 95 % [42,6, 47,7]) par rapport à la ligne de base de la MP non stimulée.
• Le contrôleur a détecté avec succès l'état pathologique et a modulé les paramètres de stimulation (augmentant la fréquence à 180 Hz tout en diminuant l'amplitude) pour briser la synchronie pathologique entre le STN et le GPe.

Efficacité Énergétique de la Stimulation

• Par rapport à la DBS continue (cDBS), la politique SNN respectueuse de l'énergie a réalisé une réduction de 80,0 % de la charge de stimulation cumulative.
• Elle a surpassé une heuristique clinique à double seuil (standard actuel de l'aDBS), qui n'a obtenu qu'une réduction de 57,0 %. Le SNN a délivré 53,5 % de charge en moins que l'heuristique tout en maintenant une suppression plus profonde de la puissance $\beta$.
• Échecs des modèles de référence :
  • L'ANN (codage par taux) a convergé vers une politique dégénérée de stimulation quasi nulle (réduction de charge de 94,8 %) mais a échoué à supprimer les oscillations $\beta$.
  • Le RNN a échoué à apprendre la régulation descendante adaptative, bloquant les paramètres à leurs valeurs maximales et consommant 50,6 % d'énergie de plus que la cDBS.

Efficacité Matérielle et Budget de Puissance

• Puissance d'inférence : Le SNN Xylo a consommé 0,52 mW (incluant l'E/S et l'étage avant analogique), tandis que l'ANN et le RNN sur Jetson ont consommé respectivement 5,7 W et 5,6 W.
• Énergie par inférence : Le SNN Xylo a atteint une réduction de 28,1× de l'énergie par inférence par rapport à l'ANN et de 72,5× par rapport au RNN.
• Compromis de latence : La latence d'inférence du SNN était de 315,10 ms (contre 0,81 ms pour l'ANN), mais cela reste dans l'échelle de temps physiologique des variations d'enveloppe de la bande $\beta$ (~1 s).
• Impact au niveau du système : En combinant la puissance d'inférence et de stimulation, le système basé sur Xylo consomme un total d'environ 0,57 mW. Cela projette plus d'un an de fonctionnement continu sur une batterie d'IPG non rechargeable standard de 5 Wh. En revanche, un système basé sur Jetson épuiserait la batterie en moins d'une heure.

Signification et Revendications

L'article soutient que l'efficacité matérielle est une propriété apprenable du contrôleur neuronal. En intégrant la consommation d'énergie de l'actionneur directement dans la récompense de l'apprentissage par renforcement, la politique découvre des stratégies économes en charge que les objectifs standards ignorent.

Les auteurs affirment que ce cadre répond aux demandes de puissance de « premier ordre » de la neuromodulation implantable en co-optimisant le contrôleur et l'actionneur. Ils démontrent que :

1. L'inférence de sous-milliwatt est un prérequis : Sans cela, la consommation du contrôleur rend tout gain de stimulation irrelevant.
2. La faible consommation d'inférence seule est insuffisante : Le stimulateur reste un coût énergétique important ; ainsi, la politique de contrôle doit activement minimiser la livraison de charge.
3. La dynamique de pointes agit comme un biais inductif : Les dynamiques de type Leaky Integrate-and-Fire du SNN et ses activations binaires parcs-moniques empêchent la convergence vers les politiques dégénérées (soit aucune stimulation, soit une stimulation maximale) trouvées par l'ANN et le RNN.

Ce travail valide que l'informatique neuromorphique, lorsqu'elle est combinée à un apprentissage respectueux de l'énergie, peut résoudre les contraintes de puissance qui ont jusqu'alors empêché l'utilisation de contrôleurs par réseaux de neurones complexes dans les implants chroniques alimentés par batterie. Les résultats sont ancrés dans un modèle biophysique de rongeur, les auteurs notant que bien que les valeurs absolues soient des approximations, les économies fractionnaires (par exemple, 80 % de réduction de charge) devraient se traduire dans des contextes cliniques.