Hardware-Aware On-Chip Learning with a Scalable Single-Transistor-based Neuromorphic Platform

Les ordinateurs modernes sont incroyablement puissants, mais ils sont aussi gourmands. À mesure que l'intelligence artificielle gagne en complexité, l'énergie requise pour la faire fonctionner est devenue un goulot d'étranglement, en particulier pour les appareils qui doivent fonctionner pendant de longues périodes sur de petites batteries, comme les robots ou les capteurs dans la nature. Pour résoudre ce problème, les scientifiques se sont tournés vers une autre façon de concevoir l'informatique, une méthode qui imite le cerveau humain. Au lieu de traiter l'information dans un flux continu et régulier comme une calculatrice traditionnelle, ces systèmes « neuromorphiques » utilisent de minuscules éclats d'informations asynchrones appelés pics (spikes). Cette méthode est beaucoup plus efficace car le système ne travaille que lorsqu'il y a quelque chose de nouveau à traiter. Cependant, apprendre à ces machines semblables au cerveau à accomplir de nouvelles tâches pendant qu'elles fonctionnent a été un obstacle majeur. Dans la plupart des conceptions, l'état interne d'un neurone — sa « mémoire » de ce qu'il vient de recevoir — est caché à l'intérieur du matériel, ce qui rend presque impossible pour le système d'ajuster ses propres connexions et d'apprendre de ses erreurs sans des capteurs externes coûteux et énergivores.

Une équipe de chercheurs de l'Université Nationale de Séoul et de l'Institut Coréen des Sciences et Technologies a désormais démontré un moyen d'enseigner à ces systèmes sans jamais avoir besoin de regarder à l'intérieur des neurones. Ils ont construit une nouvelle sorte de puce où le processus d'apprentissage repose uniquement sur des signaux déjà visibles à la surface : le courant électrique circulant entre les composants et le timing des pics eux-mêmes. En concevant le matériel et le logiciel d'apprentissage pour qu'ils travaillent ensemble, ils ont créé un système capable d'apprendre sur la puce, en utilisant un seul transistor pour agir simultanément comme une synapse, un neurone et un générateur de signal d'apprentissage. Cette approche élimine le besoin de lire la tension interne cachée d'un neurone, une étape qui nécessitait auparavant des circuits volumineux et gourmands en énergie. Le résultat est une plateforme unifiée qui est non seulement plus petite et plus simple, mais aussi capable d'apprendre de manière continue, en s'adaptant aux nouvelles informations tout en se souvenant de ce qu'elle a déjà appris.

Le cœur de cette percée réside dans la manière dont les chercheurs ont résolu le problème de l'« accès à l'état ». Dans un cerveau artificiel traditionnel, pour apprendre à un neurone à émettre un pic au bon moment, l'ordinateur doit savoir exactement quelle charge électrique se trouve à l'intérieur de lui à un instant donné. Dans le matériel physique, cette charge est piégée à l'intérieur du dispositif, et la mesurer nécessite des circuits complexes et énergivores qui vont à l'encontre de l'objectif d'un système à faible consommation. Les chercheurs ont réalisé qu'ils n'avaient pas besoin de mesurer cette charge cachée s'ils pouvaient utiliser le courant circulant dans le neurone comme un indicateur (proxy). Ils ont développé une méthode appelée gradient substitut basé sur le courant. Au lieu de demander « à quel point la batterie du neurone est-elle pleine ? », le système demande « quel est le courant qui circule en ce moment ? ». Si le courant se situe dans une plage spécifique et saine, le système sait que le neurone apprend correctement. Si le courant est trop élevé ou trop bas, il sait qu'un ajustement est nécessaire. Cela permet à la puce de générer ses propres signaux d'apprentissage en utilisant uniquement les données naturellement disponibles aux points de connexion entre les neurones.

Pour rendre cela opérationnel dans le monde réel, l'équipe a fabriqué une puce spéciale en utilisant un processus de fabrication standard, mais avec une astuce ingénieuse. Ils ont utilisé un type unique de transistor qui pouvait accomplir trois tâches différentes selon sa configuration. Un groupe de ces transistors agissait comme des synapses, les connexions qui stockent la force d'une mémoire. Un autre groupe agissait comme des neurones, qui accumulent une charge électrique jusqu'à atteindre un point de rupture et émettent un pic. Le troisième groupe agissait comme le mécanisme d'apprentissage, surveillant le courant et décidant quand envoyer un signal de correction. Parce que tous les trois composants sont construits à partir du même bloc de base, ils peuvent être regroupés de manière dense sur une seule puce. Les chercheurs ont montré que ces transistors pouvaient stocker de manière fiable différents niveaux de poids, intégrer des signaux entrants au fil du temps et émettre des pics selon un schéma qui imite les neurones biologiques. Crucialement, le composant d'apprentissage pouvait détecter si le système fonctionnait correctement ou incorrectement en regardant simplement le courant, sans avoir besoin d'accéder à la tension interne cachée du neurone.

L'équipe a testé ce système via des simulations informatiques approfondies utilisant le comportement réel mesuré de leurs puces physiques. Ils ont entraîné le réseau sur une variété de tâches, allant de la reconnaissance de chiffres manuscrits à l'identification d'objets complexes dans des images et l'interprétation de flux vidéo provenant de caméras à événements. Dans ces tests, la nouvelle méthode a obtenu des performances comparables aux méthodes d'apprentissage traditionnelles qui reposent sur un accès complet aux états internes. Le système a été capable d'apprendre de nouvelles classes d'objets sans oublier celles qu'il avait déjà maîtrisées, une capacité connue sous le nom d'apprentissage continu. C'est une réussite significative car de nombreuses tentatives précédentes pour enseigner à ces systèmes directement sur la puce se soldaient par un « oubli catastrophique », où l'apprentissage de quelque chose de nouveau effaçait les anciens souvenirs. En utilisant leurs nouveaux signaux d'apprentissage, les chercheurs ont montré que le système pouvait s'adapter aux nouvelles informations tout en conservant ses connaissances antérieures, même lorsque le matériel lui-même était imparfait et bruyant.

Les implications pour l'efficacité énergétique sont substantielles. Les chercheurs ont estimé qu'en utilisant leur approche analogique basée sur les pics, l'énergie requise pour effectuer une inférence — prendre une décision basée sur de nouvelles données — pourrait être réduite de plus de 60 % par rapport aux systèmes entièrement numériques. Dans certaines configurations spécifiques, les économies étaient encore plus élevées, dépassant les 85 %. Cela s'explique par le fait que le système évite le coût énergétique massif de la conversion des signaux analogiques en nombres numériques et inversement, et qu'il ne consomme de l'énergie que lorsqu'un pic se produit réellement. Bien que le processus d'enseignement de la puce nécessite initialement quelques impulsions à haute tension qui consomment de l'énergie, les chercheurs ont noté que ce coût est un événement ponctuel ou rare, tandis que les économies d'énergie lors de l'utilisation quotidienne sont continues et significatives.

Ce travail ne prétend pas avoir résolu tous les problèmes de l'intelligence artificielle, ni suggère que ces puces sont prêtes à remplacer les processeurs de vos smartphones dès demain. Les chercheurs ont pris soin de préciser que, bien que les signaux d'apprentissage fonctionnent bien, le coût énergétique complet d'un système d'apprentissage totalement intégré n'a pas encore été mesuré dans un dispositif réel. Il reste des défis pour passer à l'échelle supérieure dans la fabrication et pour intégrer les circuits de contrôle nécessaires à la gestion de ces puces. Cependant, l'étude constitue une preuve de concept claire qu'il est possible de construire un ordinateur semblable au cerveau qui apprend de lui-même sans avoir besoin de voir ses propres pensées internes. En concevant le matériel pour qu'il parle le même langage que l'algorithme d'apprentissage, l'équipe a ouvert la voie à des machines adaptatives et économes en énergie, capables d'apprendre et d'évoluer dans le monde réel, tout comme les cerveaux biologiques qu'elles sont conçues pour émuler.