NeuroSynth: A Biologically Inspired Continual Reinforcement Learning Architecture for Mitigating Catastrophic Forgetting
Cet article présente NeuroSynth, une architecture d'apprentissage par renforcement continu d'inspiration biologique qui atténue l'oubli catastrophique grâce à un mécanisme de consolidation à double voie, démontrant une amélioration significative de la rétention des connaissances des tâches antérieures par rapport aux références standards PPO et EWC dans des tâches de navigation séquentielle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le secret du cerveau pour ne jamais oublier (et pourquoi les robots peinent)
Imaginez que vous essayez d'apprendre un nouveau jeu vidéo. Vous devenez très doué au premier niveau, mais dès que vous commencez le deuxième, votre cerveau semble appuyer sur un bouton « réinitialiser », et vous oubliez comment jouer au premier. Ce n'est pas seulement une bizarrerie humaine ; c'est un casse-tête majeur pour l'intelligence artificielle (IA). Dans le monde de l'apprentissage automatique, on appelle cela l'« oubli catastrophique ». Cela se produit lorsqu'une IA apprend une nouvelle tâche et écrase accidentellement le code qu'elle utilisait pour l'ancienne tâche, comme si l'on écrivait une nouvelle chanson sur une cassette en effaçant, par la même occasion, le tube des années 90.
Les scientifiques étudient la manière dont notre propre cerveau résout ce problème. Ils pensent que notre cerveau utilise un système ingénieux en deux parties. Une partie, l'hippocampe, est comme un bloc-notes ultra-rapide qui saisit instantanément les nouvelles informations. L'autre partie, le néocortex, est comme une bibliothèque à cuisson lente qui prend du temps pour organiser et stocker ces notes dans la mémoire à long terme. Bien que nous puissions apprendre de nouvelles choses sans perdre les anciennes, la plupart des systèmes d'IA sont construits comme un seul cerveau géant qui essaie de tout faire en même la même chose, ce qui mène à cet effet frustrant du bouton « réinitialiser ». La grande question est : pouvons-nous construire une IA qui apprend comme un humain, conservant ses anciennes compétences tout en maîtrisant les nouvelles ?
NeuroSynth : L'IA qui se souvient de ses racines
Voici NeuroSynth, une nouvelle architecture d'IA créée par Yash Kini, un chercheur lycéen, conçue pour stopper cette perte de mémoire. Voyez NeuroSynth non pas comme un cerveau unique, mais comme une équipe de deux spécialistes travaillant ensemble : un « Planificateur » et un « Formateur d'habitudes ».
Le Planificateur est inspiré par l'hippocampe du cerveau. C'est l'apprenant rapide. Face à un nouveau défi, le Planificateur intervient, trouve une solution rapidement, puis — point crucial — fige sa connaissance. C'est comme prendre une photo parfaite de la solution et la verrouiller dans un coffre-fort pour qu'elle ne puisse jamais être effacée accidentellement. Le Formateur d'habitudes, inspiré par le cortex cérébral, est le travailleur flexible. Il reste ouvert et continue d'apprendre de nouvelles choses. Mais voici le tour de magie : le Formateur d'habitudes ne se contente pas d'apprendre de son côté. Il regarde constamment la photo figée dans le coffre-fort (le Planificateur) et pratique les anciens mouvements en utilisant une technique appelée « replay » (imaginer l'ancien jeu) et « distillation » (copier le style du Planificateur). De cette façon, l'IA peut apprendre un nouveau niveau sans supprimer l'ancien.
Pour tester si cette équipe inspirée du cerveau fonctionnait mieux qu'une IA standard, les chercheurs ont soumis trois modèles différents à un test dans un labyrinthe numérique appelé NeuroMaze-CL. L'objectif était simple : naviguer dans une grille pour trouver une sortie spécifique. Le pièu ? La sortie changeait à chaque fois. L'IA devait apprendre la première sortie, puis la deuxième, puis la troisième, sans jamais avoir le droit de pratiquer à nouveau les deux premières. Cette règle de « non-revisitation » était conçue pour forcer l'IA à oublier, tout comme un étudiant qui ne serait autorisé à étudier que pour l'examen final sans jamais revoir ses anciennes notes.
Les résultats ont été une victoire claire pour l'approche inspirée du cerveau. Le modèle d'IA standard, appelé PPO, a été un désastre total en matière de mémoire. Après avoir appris le troisième labyrinthe, il avait complètement oublié le premier, atteignant un taux de réussite de seulement 0,33 % sur la Tâche A. C'était comme si l'IA n'avait jamais vu le premier labyrinthe. Le second modèle, EWC, a tenté de protéger ses anciens souvenirs en étant très prudent avec ses mises à jour, mais il était si prudent qu'il peinait à apprendre les nouveaux labyrinthes efficacement.
NeuroSynth, cependant, a trouvé le juste milieu. Après le même entraînement, il se souvenait du premier labyrinthe avec un taux de réussite de 18,00 % — nettement supérieur à la performance quasi nulle de PPO. Il n'a pas seulement retenu la première tâche ; il a aussi mieux conservé la deuxième tâche, atteignant un taux de réussite de 35,33 % sur la Tâche B contre 0,00 % pour PPO. En ce qui concerne la tâche finale, la plus difficile (Tâche C), NeuroSynth a mieux performé que le modèle prudent EWC (9,00 % contre 2,00 %), bien que cette différence spécifique ne soit pas statistiquement assez forte pour être qualifiée de victoire définitive.
L'étude suggère qu'en séparant l'« apprentissage rapide » du « souvenir lent » et en utilisant le replay pour pratiquer les anciennes compétences, nous pouvons construire une IA qui soit à la fois stable et flexible. Bien que cela ne soit pas encore une solution miracle pour tous les problèmes de la robotique ou de l'IA médicale, cela montre que copier le système à deux voies du cerveau est une voie prometteuse pour empêcher les robots d'appuyer sur ce bouton frustrant de « l'oubli » chaque fois qu'ils apprennent quelque chose de nouveau. Comme le note l'auteur, c'est une étape vers des machines capables de véritablement apprendre toute une vie de compétences sans perdre celles qu'elles ont déjà maîtrisées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.