Résumé Technique : Entraîner des neurones de silicium lents pour contrôler des robots extrêmement rapides avec l'apprentissage par renforcement à impulsions (Spiking Reinforcement Learning)

Énoncé du Problème

La robotique autonome fait face à un goulot d'étranglement critique en matière d'efficacité énergétique. Bien que les réseaux de neurones à grande échelle aient atteint un succès sans précédent, leurs coûts d'entraînement et d'inférence (mégawattheures et épuisement rapide des batteries) sont incompatibles avec les plateformes mobiles qui opèrent sur des budgets de l'ordre du milliwatt. À l'inverse, le cerveau humain réalise un apprentissage moteur complexe avec environ 20 W de puissance et peu d'exemples d'entraînement. Si le matériel neuromorphique offre une voie vers l'efficacité énergétique grâce à un traitement asynchrone et piloté par événements, les démonstrations existantes d'apprentissage par renforcement (RL) par réseaux de neurones à impulsions (SNN) se sont largement limitées à des tests simplifiés (par exemple, des jeux en 2D avec des actions discrètes et des observations de faible dimension).

Le défi central abordé dans ce travail est de passer à l'échelle l'apprentissage par renforcement neuromorphique pour la manipulation robotique réelle, caractérisée par :

1. Une haute dimensionnalité : Un espace d'état continu en 6D (position/vitesse du palet et coordonnées de l'effecteur terminal).
2. Des contraintes physiques : Un contrôle précis de l'effecteur terminal avec des latences mécaniques.
3. Des dynamiques temporelles : Des trajectoires de palet à 1,0–1,5 m/s nécessitant une planification prédictive avec un contrôle à 50 Hz et une intégration physique de 1 ms.

Les auteurs étudient si un réseau compact de neurones de silicium « lents » fonctionnant sur un processeur neuromorphique mixte (analogique-numérique) peut contrôler un robot « extrêmement rapide » dans une tâche de hockey sur table à haute vitesse.

Méthodologie

Configuration Expérimentale

Le système fonctionne dans une configuration de Hardware-in-the-Loop (HIL) utilisant la simulation MuJoCo d'un environnement de hockey sur table.

• Robotique : Un manipulateur anthropomorphe contrôle un effecteur en forme de maillet sur une table de 1,038 × 1,948 m.
• Boucle de Contrôle : Opère à 50 Hz. L'agent sélectionne l'une des deux actions discrètes correspondant à des primitives de mouvement prédéfinies (Cible Home ou Cible Forward). Ces primitives sont exécutées comme des trajectoires balistiques en boucle ouverte via un solveur de cinématique inverse intégré.
• Physique : Intégrée à 1000 Hz pour modéliser la dynamique sans friction du palet et les collisions élastiques.

Architecture du Réseau

Le système utilise la puce neuromorphique mixte analogique-numérique DYNAP-SE. L'architecture est une configuration de calcul de réservoir (reservoir computing) avec une lecture plastique :

• Couche d'Entrée : 60 générateurs d'impulsions basés sur FPGA. Six variables d'état (position $x, y$ et vitesse $v_x, v_y$ du palet, ainsi que $x, y$ de l'effecteur) sont encodées sous forme de codes de population via des profils d'activité gaussiens sur 10 neurones chacun.
• Couche Cachée (Réservoir) : 1020 neurones AdEx-LIF de silicium avec des synapses feedforward aléatoires fixes. Cette couche capture la structure temporelle de la tâche sans nécessiter de mises à jour de poids.
• Couche de Lecture (Readout) : 2 unités linéaires représentant la probabilité de sélectionner l'Action 0 ou l'Action 1. Les poids connectant la couche cachée à la lecture sont plastiques.
• Règle d'Apprentissage : Le système utilise l'e-prop (élasticité de propagation), une règle d'apprentissage locale qui approxime la rétropropagation à travers le temps (BPTT). La mise à jour des poids dépend uniquement de l'activité pré- et post-synaptique locale combinée à un signal de récompense global, permettant un apprentissage entièrement en ligne. La règle de mise à jour est :
  $$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$$
  Où $\bar{s}$ est l'activité filtrée, $r_t$ est la récompense, et $\pi$ est la probabilité de l'action.

Fonction de Récompense

Une récompense scalaire $r_t$ est calculée à chaque étape pour encourager le mouvement vers l'avant du palet et un timing d'interception précis :

• +20 : Récompense terminale si le palet passe la cible ($x_p > 1,5$ m) avec un élan vers l'avant ($v_x > 0,1$ m/s).
• $0,2 v_x$ : Récompense de lissage proportionnelle à la vitesse vers l'avant si l'effecteur terminal est à moins de 0,08 m du palet.
• -0,1 : Pénalité par étape pour minimiser la durée de l'épisode.

Protocole d'Entraînement

L'entraînement s'exécute sur 2000 épisodes par essai expérimental, répété pour 10 graines aléatoires indépendantes afin de tenir compte de la stochasticité de la puce. Le système apprend uniquement en mode « éveillé » (pas de phase de « rêve » hors ligne dans cette implémentation spécifique), en s'appuyant sur l'interaction en temps réel.

Contributions Clés

Le papier revendique trois contributions principales dans le passage de l'apprentissage par renforcement neuromorphique des jeux aux robots physiques :

1. Au-delà des jeux simples : Transition des jeux de grille simples vers un hockey sur table réel avec un encodage d'état continu à précision adaptative.
2. Du Discret au Continu : Démonstration de l'apprentissage par renforcement neuromorphique pour des primitives de mouvement continues exécutant des trajectoires balistiques à 50 Hz, nécessitant des décisions prédictives plutôt qu'au niveau de l'image (frame-level).
3. Généralisation sous Incertitude : Atteinte d'un apprentissage robuste (96–98 % de succès) malgré la randomisation des positions et vitesses du palet (1,0–1,5 m/s), prouvant que le système peut s'adapter à des conditions initiales variées.

Résultats

• Efficacité de l'Apprentissage : Le système a atteint un jeu robuste en 1500–2000 épisodes.
• Performance :
  • Palet Stationnaire : 100 % de succès en 200 essais.
  • Vitesse Constante : 100 % de succès après 1000 épisodes.
  • Vitesse Variable (1,0–1,5 m/s) : Le succès s'est stabilisé au-dessus de 96 % après 1500 épisodes.
  • Position et Vitesse Randomisées : Le succès s'est stabilisé au-dessus de 98 % après 1300 épisodes.
• Tests de Scalabilité :
  • Les plages de vitesse étroites ([0,7, 0,9] m/s) ont atteint >97 % de succès en ~150 épisodes.
  • Les plages plus larges ([0,7, 1,5] m/s) ont nécessité ~700 épisodes et ont montré une légère baisse du succès asymptotique (97 % à 93 %), indiquant une dégradation progressive plutôt qu'une défaillance catastrophique.
• Consolidation Comportementale : Le comportement de pré-entraînement était erratique et stochastique. Après entraînement, l'agent présente une stratégie déterministe et temporellement précise, caractérisée par un engagement précoce sur une trajectoire d'interception suivi de manœuvres correctives précises.

Signification et Revendications

Les auteurs positionnent ce travail comme la première réponse affirmative à la question de savoir si les systèmes d'apprentissage par renforcement neuromorphiques peuvent passer à des états de plus haute dimension, à un contrôle en temps continu et à des contraintes temporelles serrées typiques de la robotique réelle.

• Combler le fossé : Ce travail démontre que les approches inspirées du cerveau peuvent traiter des tâches d'interaction rapides (vitesses de palet de 1,5 m/s) tout en supportant un apprentissage « toujours actif » (always-on) pour les machines intelligentes.
• Efficacité : Le système a atteint une performance stable en utilisant seulement 1020 neurones, soit une réduction de 10x par rapport aux simulations précédentes d'apprentissage par renforcement bio-inspiré pour le hockey sur table qui nécessitaient environ 10 000 neurones.
• Praticité : En co-concevant le matériel et les algorithmes d'apprentissage (en utilisant l'e-prop sur DYNAP-SE), le système permet un apprentissage en temps réel avec un ordinateur et une puce neuromorphique en boucle (in-the-loop), validant la faisabilité de l'entraînement de réseaux de neurones à impulsions pour des systèmes robotiques autonomes sans dépendre de règles d'apprentissage non locales et coûteuses en calcul.

L'article conclut qu'un apprentissage sensorimoteur complexe est réalisable avec un processeur neuromorphique mixte compact, soulignant le potentiel d'un contrôle adaptatif et économe en énergie pour la robotique autonome.