Dynamic neural manifolds for flexible closed-loop control on neuromorphic hardware

Résumé Technique : Variétés Neurales Dynamiques pour un Contrôle en Boucle Fermée Flexible sur Matériel Neuromorphique

Énoncé du Problème
Les circuits neuraux biologiques présentent des comportements flexibles en faisant évoluer une activité séquentielle le long de variétés (manifolds) dynamiques et de faible dimension. Bien que les modèles de réseaux à impulsions aient lié ces activités séquentielles à des mécanismes de circuit spécifiques (les rendant paramétrables), la traduction de ce cadre en un contrôle en boucle fermée, efficace en énergie et en temps réel sur du matériel neuromorphique reste un défi. Les approches existantes manquent souvent de la capacité de reconfigurer dynamiquement la géométrie neurale en réponse au feedback sensoriel, ce qui est essentiel pour l'intelligence artificielle explicable et les systèmes autonomes adaptatifs. Les auteurs visent à combler cette lacune en implémentant un cadre de variété neurale dynamique sur la puce neuromorphique SpiNNaker 2 afin de permettre le contrôle en boucle fermée en temps réel d'un agent robotique.

Méthodologie
Les auteurs ont implémenté une architecture de circuit basée sur un réseau en anneau avec une connectivité récurrente asymétrique, conçue pour générer des « bosses » (bumps) stables d'activité neurale qui progressent le long de l'anneau, créant ainsi des séquences oscillatoires.

1. Implémentation Matérielle (SpiNNaker 2) :

   • Conversion en Impulsions (Spiking) : Le modèle original basé sur le taux a été adapté pour la communication par impulsions de SpiNNaker 2. Les neurones convertissent leurs taux internes en impulsions de manière probabiliste (le taux comme probabilité d'impulsion). Pour optimiser les performances, une règle déterministe approxime la fréquence des impulsions sans nécessiter de génération de nombres aléatoires coûteuse.
   • Optimisation de la Parcimonie et de la Mémoire : Pour répondre aux contraintes de la mémoire SRAM intégrée, les auteurs ont introduit de la parcimonie dans la matrice de connectivité (probabilité de connexion de 50 %). Ils ont exploité la structure circulante de la matrice de poids, ne stockant qu'une seule ligne de poids et un masque de bits pour la connectivité, plutôt que la matrice complète.
   • Streaming en Boucle Fermée : En raison des contraintes de mémoire empêchant l'enregistrement interne à long terme, le système diffuse les impulsions vers un ordinateur hôte via l'interface HostIF. L'hôte traite le feedback sensoriel et renvoie les paramètres de contrôle vers la puce en temps réel, créant une boucle fermée avec une faible latence (environ 3 pas de temps).

2. Mécanismes de Contrôle (« Boutons de Réglage ») :
   L'architecture utilise trois mécanismes de circuit spécifiques pour manipuler la variété neurale :

   • Courant Additif ($I$) : Module la taille (largeur) de la bosse d'activité, contrôlant le rayon de la trajectoire neurale.
   • Gain Multiplicatif ($S$) : Module la vitesse de propagation de la bosse, contrôlant la vélocité de la trajectoire neurale.
   • Inhibition Hétérogène ($p_{inh}$) : Silencie sélectivement des sous-ensembles aléatoires de neurones via des ensembles inhibiteurs. Cela fait pivoter l'espace de sous-dimension (subspace) neural, permettant au système de basculer entre des états comportementaux distincts (ex: différents types de mouvements).

3. Application (Navigation dans un Labyrinthe Virtuel) :
   Un agent robotique à deux roues navigue dans un labyrinthe virtuel. Un programme de politique externe génère un plan de haut niveau (ex : « aller à l'ouest ») et des adaptations locales basées sur les entrées sensorielles (distance aux murs, type de sol). Ces entrées sont mappées sur les paramètres de contrôle du réseau en anneau ($S, I, p$). Une couche de lecture linéaire (readout), entraînée via une exploration aléatoire de l'espace des paramètres de contrôle, décode l'activité des impulsions du réseau en anneau en commandes motrices (vitesses des roues et déclenchements de sauts).

Résultats Clés

• Fidélité des Paramètres : L'implémentation sur SpiNNaker 2 a reproduit avec succès la dynamique du modèle original sur CPU basé sur le taux.
  • Contrôle de la Forme : Le courant additif $I$ contrôlait linéairement la taille de la bosse et le rayon de la trajectoire.
  • Contrôle de la Vitesse : Le gain multiplicatif $S$ contrôlait de manière fiable la vitesse de rotation de la bosse d'activité.
  • Rotation de l'Espace de Sous-dimension : L'inhibition sélective a réussi à faire pivoter l'espace de sous-dimension neural. L'angle principal entre les espaces correspondait au comportement d'échelle analytique ($\arccos(1 - p_{inh})$), confirmant que les états comportementaux distincts sont géométriquement séparables.
• Efficacité : L'implémentation a fonctionné bien en dessous du seuil de pas de temps de 1 ms en temps réel. Le temps d'exécution a évolué linéairement avec le nombre d'impulsions traitées. Des bosses plus larges (contrôlées par $I$) augmentaient le temps d'exécution, tandis qu'une inhibition plus élevée (silenciant plus de neurones) le réduisait.
• Performance en Boucle Fermée : L'agent robotique a navigué avec succès dans un labyrinthe, changeant dynamiquement de comportement (mouvement vers l'avant, virage, saut) et ajustant sa vitesse/trajectoire en fonction du feedback sensoriel en temps réel. Le système a démontré que les entrées sensorielles pouvaient moduler l'inhibition, le gain et les courants pour reconfigurer la géométrie de la variété à la volée.

Signification et Revendications
L'article affirme établir les variétés neurales dynamiques comme une approche réalisable pour des architectures neuromorphiques explicables. En faisant correspondre les mécanismes de circuit de bas niveau (gain, inhibition, courants) aux caractéristiques géométriques de haut niveau (vitesse de trajectoire, forme, orientation de l'espace), les auteurs fournissent un cadre où l'état interne du système est mathématiquement interprétable.

Ce travail sert de preuve de concept que :

1. Des variétés neurales complexes et dynamiques peuvent être implémentées efficacement sur du matériel neuromorphique (SpiNNaker 2).
2. De tels systèmes peuvent supporter un contrôle flexible en boucle fermée où le feedback sensoriel façonne directement la dynamique neurale pour piloter le comportement.
3. Ce cadre offre un substrat pour étudier la dynamique neurale biologique et concevoir des systèmes autonomes aux comportements prévisibles et explicables, avec un potentiel d'extension vers des tâches de contrôle moteur plus complexes à l'avenir.

Les auteurs notent que bien que le travail actuel suppose un modèle de monde pré-appris pour la planification, le cadre est conçu pour s'interfacer avec des architectures d'apprentissage de plus haut niveau, et les travaux futurs pourraient explorer l'apprentissage direct de modèles de monde au-dessus de cette couche de contrôle moteur.