Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing

Dans le monde de l'intelligence artificielle, il existe une volonté constante de créer des machines capables d'apprendre et de s'adapter à leur environnement, tout comme un enfant apprend à marcher ou un oiseau apprend à voler. Ce domaine, connu sous le nom d'apprentissage par renforcement, enseigne aux programmes informatiques à prendre des décisions en les récompensant pour les bons choix et en les pénalisant pour les mauvais. Depuis des années, ces systèmes sont devenus incroyablement habiles à résoudre des problèmes complexes, allant du jeu vidéo au contrôle de robots. Cependant, le matériel qui fait fonctionner ces programmes intelligents est souvent encombrant et consomme une quantité énorme d'électricité, un peu comme un puissant ordinateur de bureau faisant tourner un jeu vidéo gourmand. Les scientifiques se tournent désormais vers un type différent d'architecture informatique inspirée par le cerveau humain, appelée matériel neuromorphique. Ces puces spécialisées sont conçues pour être beaucoup plus économes en énergie et plus rapides dans le traitement de l'information, mais elles fonctionnent d'une manière fondamentalement différente des ordinateurs que nous utilisons quotidiennement. Le défi consiste à comprendre comment prendre les algorithmes complexes et performants qui fonctionnent bien sur les ordinateurs standards et les traduire afin qu'ils puissent fonctionner sur ces puces de type cérébral sans perdre leur capacité d'apprentissage.

Une équipe de chercheurs s'est lancée dans la résolution de ce casse-tête spécifique en testant une nouvelle approche sur un ordinateur standard avant même de l'essayer sur le matériel spécialisé. Ils se sont concentrés sur un type de tâche difficile appelé contrôle continu, où une machine doit effectuer des ajustements fluides et constants pour rester en équilibre ou avancer, de manière similaire à un robot essayant de traverser une pièce sans tomber. Les chercheurs ont créé un nouveau système nommé SANSAC, qui signifie Spiking Actor Network Soft Actor Critic. Pour comprendre ce qui le rend spécial, il est utile de savoir que les réseaux d'intelligence artificielle standards utilisent des neurones qui émettent un signal constant, alors que le nouveau système utilise des neurones « à impulsions » (spiking). Ces neurones à impulsions sont plus proches des cellules biologiques ; ils restent silencieux jusqu'à ce qu'ils reçoivent suffisamment d'entrées pour envoyer une impulsion électrique unique et brève, ou « spike », puis redeviennent silencieux. Cette méthode est la clé pour créer des logiciels pouvant éventuellement fonctionner sur les puces neuromorphiques économes en énergie. L'équipe voulait voir si le remplacement du cerveau standard de leur robot apprenant par cette version à impulsions nuirait à ses performances, ou s'il pourrait apprendre tout aussi bien.

Pour trouver la réponse, les chercheurs ont soumis le système traditionnel et leur nouveau système à impulsions à un test rigoureux dans un environnement simulé connu sous le nom de Bipedal Walker. Dans cette simulation, un robot bipède doit apprendre à marcher vers l'avant sans tomber. L'équipe a entraîné les deux versions du logiciel pendant un maximum de 1 200 tentatives, ou épisodes, pour voir à quelle vitesse et avec quelle efficacité elles pouvaient apprendre à marcher. Ils ont testé les systèmes avec différentes tailles de mémoire interne, allant de très petite à assez grande, pour s'assurer que les résultats tenaient la route sous diverses conditions. Les résultats ont été étonnamment encourageants. Le nouveau système à impulsions a appris à marcher aussi bien que le système traditionnel. Dans les tests les plus difficiles, les deux systèmes ont atteint un taux de réussite d'environ 70 à 80 pour cent, ce qui signifie qu'ils pouvaient accomplir la tâche de marche la plupart du temps. Les chercheurs n'ont constaté aucune différence statistique significative dans la performance des deux systèmes, prouvant que l'approche à impulsions ne sacrifie pas l'intelligence au profit de l'efficacité.

Cependant, un compromis clair a été observé lors des tests. Bien que le système à impulsions ait été aussi performant, il a pris nettement plus de temps pour l'entraînement sur l'ordinateur standard. Les chercheurs ont noté que la version à impulsions nécessitait environ deux fois plus de temps pour compléter le même nombre d'épisodes d'entraînement que la version traditionnelle. Cela s'explique par le fait que l'ordinateur standard est conçu pour traiter l'information de manière linéaire, tandis que le système à impulsions repose sur des séquences et des temporalités qui sont difficiles à simuler sur un tel matériel. Les chercheurs ont expliqué que ce ralentissement est un artefact dû à l'exécution de la simulation sur la mauvaise machine ; sur les puces neuromorphiques réelles conçues à cet effet, le système serait probablement beaucoup plus rapide car ces puces traitent ces impulsions en parallèle, tout comme un vrai cerveau le fait. L'étude n'a pas mesuré la consommation d'énergie sur l'ordinateur standard car les données étaient incohérentes, mais l'objectif était de prouver que l'algorithme fonctionne avant de le transférer vers le matériel où il excellera.

L'étude a également examiné ce qui se passe lorsque les systèmes sont réduits, avec moins de connexions internes. Comme prévu, les deux systèmes ont éprouvé des difficultés lorsque le réseau était trop petit pour gérer la complexité de la tâche, avec des taux de réussite chutant à seulement 10 pour cent. Mais dans la gamme de tailles intermédiaire, le système à impulsions est resté compétitif, montrant qu'il est assez robuste pour gérer un apprentissage complexe même lorsque les ressources sont limitées. Les chercheurs ont conclu que leur travail fournit une base solide pour l'avenir de l'intelligence artificielle neuromorphique. Ils ont démontré qu'il est possible de concevoir des algorithmes d'apprentissage prêts pour ces nouvelles puces économes en énergie sans avoir à accepter une baisse de performance. Bien que la voie à suivre nécessite encore des tests sur du matériel neuromorphique physique pour confirmer les bénéfices énergétiques, cet article confirme que la logique logicielle est saine. Les conclusions suggèrent que l'avenir d'une informatique efficace de type cérébral n'est pas seulement un rêve théorique, mais une réalité pratique qui peut être construite dès aujourd'hui, à condition d'être prêt à attendre un peu plus longtemps pour terminer l'entraînement sur nos ordinateurs actuels.