Metaplasticity as adaptive gradient preconditioning for incremental learning

Le cerveau humain possède une capacité remarquable à apprendre de manière continue. Un enfant peut apprendre à reconnaître un chien, puis apprendre à faire du vélo, puis apprendre une nouvelle langue, le tout sans oublier comment identifier un chien. Ce flux fluide de nouvelles connaissances n'écrase pas les anciens souvenirs. En revanche, les systèmes d'intelligence artificielle, qui sont construits sur des modèles mathématiques inspirés du cerveau, luttent profondément avec cette même tâche. Lorsque ces programmes informatiques apprennent une nouvelle tâche, ils souffrent souvent d'un « oubli catastrophique », un phénomène où l'apprentissage nouveau efface violemment l'ancien. Le système devient instable, incapable de s'accrocher à son passé tout en essayant de saisir son présent. Les scientifiques cherchent depuis longtemps à résoudre ce « dilemme stabilité-plasticité », tentant de trouver un moyen pour que les machines soient assez flexibles pour apprendre de nouvelles choses, mais assez stables pour conserver ce qu'elles savent déjà.

Pendant des décennies, les chercheurs ont tenté d'imiter la solution du cerveau en ajoutant des règles supplémentaires ou en sauvegardant d'anciennes données pour les réviser plus tard. Cependant, ces approches exigent souvent que l'ordinateur sache exactement quand une tâche se termine et une autre commence, ou elles demandent des quantités massives de mémoire pour stocker des exemples passés. Ces exigences semblent artificielles et ne reflètent pas la façon dont l'intelligence biologique fonctionne réellement. Une nouvelle étude de chercheurs de l'Université de Sydney propose une voie différente. Au lieu de forcer l'ordinateur à mémoriser d'anciennes données ou de s'arrêter pour calculer l'importance après la fin d'une tâche, ils suggèrent que le système ajuste sa propre vitesse d'apprentissage en temps réel, moment par moment, tout comme le fait une synapse vivante. Ils appellent cette approche SynGAP, une méthode qui traite le processus d'apprentissage non pas comme une série d'étapes distinctes, mais comme un fleuve continu, où le courant façonne naturellement les berges.

L'idée centrale s'inspire d'un concept biologique connu sous le nom de métaplasticité. Dans le cerveau, une synapse n'est pas seulement un simple interrupteur qui s'allume ou s'éteint ; elle possède une histoire. L'état d'une synapse change en fonction de la fréquence à laquelle elle a été utilisée par le passé, la rendant plus ou moins susceptible de changer à nouveau. C'est la « plasticité de la plasticité ». Si une connexion a été renforcée sur une longue période, le cerveau la rend plus difficile à modifier, protégeant ainsi ce souvenir. Si une connexion est nouvelle ou peu utilisée, elle reste flexible. Les chercheurs ont réalisé que les réseaux de neurones artificiels pourraient bénéficier de ce même principe. Au lieu d'attendre la fin d'une tâche pour décider quelles parties du réseau sont importantes, leur méthode permet au réseau de surveiller constamment sa propre histoire. Il garde une moyenne glissante de la contribution de chaque partie du réseau aux apprentissages passés, créant ainsi une mémoire de l'importance qui se met à jour avec chaque nouvelle donnée.

Pour mettre cela en pratique, l'équipe a développé un système qui agit comme une valve dynamique pour le processus d'apprentissage. Lorsque l'ordinateur tente d'apprendre quelque chose de nouveau, il calcule les ajustements standards nécessaires pour améliorer ses performances. Cependant, avant que ces ajustements ne soient appliqués, ils passent par un filtre. Ce filtre vérifie l'historique de chaque connexion. Si une connexion a été cruciale pour des tâches passées, le filtre ralentit doucement le changement, empêchant le nouvel apprentissage de détruire l'ancien. Si la connexion n'est pas critique, le filtre permet au changement de se produire librement. Crucialement, cela se produit sans que l'ordinateur ait besoin de savoir quelle tâche il est en train d'accomplir, et sans avoir besoin de stocker une vaste bibliothèque d'anciens exemples pour y revenir. Le système progresse simplement, ajustant sa propre sensibilité en fonction de ce qu'il a déjà appris.

Les chercheurs ont testé cette approche sur deux tests de référence exigeants où un ordinateur doit apprendre à reconnaître différentes catégories d'images les unes après les autres. Dans un test, le système devait apprendre 100 classes d'images différentes, réparties en dix groupes. Les méthodes d'apprentissage standard, qui tentent simplement de minimiser les erreurs au fur et à mesure, ont presque entièrement oublié les premiers groupes, conservant moins de 10 % de précision sur les anciennes tâches. Les méthodes qui tentaient de sauvegarder d'anciennes données ou d'ajouter des pénalités supplémentaires au processus d'apprentissage ont été plus performantes, mais ont tout de même éprouvé des difficultés, oubliant souvent plus de la moitié de ce qu'elles avaient appris. La nouvelle méthode SynGAP, quant à elle, a atteint un niveau de réussite nettement plus élevé. Elle a conservé une précision moyenne de près de 27 % sur les anciennes tâches, ce qui est plus de quatre fois supérieur à la méthode de régularisation standard et près de 10 % de mieux que la méthode reposant sur la sauvegarde de données anciennes. Elle a également réduit la mesure de l'oubli de plus de 10 % par rapport à ces techniques établies.

Dans un second test impliquant un flux continu de reconnaissance d'objets, les résultats étaient similairement solides. La nouvelle méthode a atteint une précision d'environ 68 %, surpassant les meilleurs outils d'apprentissage standard d'environ 10 points de pourcentage. Plus important encore, le système ne s'est pas rigidifié. Certaines méthodes qui protègent trop bien les anciens souvenirs rendent impossible l'apprentissage de toute nouvelle chose. Les chercheurs ont constaté que leur approche trouvait un équilibre délicat : elle protégeait le passé sans figer l'avenir. Le système restait assez flexible pour s'adapter aux nouvelles informations tout en gardant intact la structure centrale de ses connaissances anciennes.

Le succès de cette approche réside dans la manière dont elle modifie la nature de la mise à jour de l'apprentissage. Les méthodes traditionnelles tentent souvent de résoudre le problème en ajoutant une pénalité à l'objectif final, disant essentiellement à l'ordinateur : « Ne t'éloigne pas trop de là où tu étais ». Cela peut déformer le chemin d'apprentissage et créer des conflits à mesure que le nombre de tâches augmente. La nouvelle méthode, en revanche, modifie l'étape d'apprentissage elle-même. Elle agit comme un guide géométrique, dirigeant l'ordinateur loin des directions qui détruiraient les anciens souvenirs, tout en lui permettant de se déplacer librement dans les directions qui n'interfèrent pas. Cela se produit de manière continue, dicté par le flux même des données, plutôt que par des signaux externes ou des souvenirs stockés. Les chercheurs ont démontré qu'en formalisant mathématiquement ce processus biologique, ils pouvaient créer un système à la fois robuste et efficace, nécessitant très peu de mémoire supplémentaire pour fonctionner.

Bien que le système soit hautement efficace, les chercheurs notent qu'il ne s'agit pas d'une solution parfaite pour tous les scénarios possibles. Il repose actuellement sur une vision simplifiée de la géométrie interne du réseau, ce qui fonctionne bien pour de nombreux cas, mais pourrait nécessiter un raffinement pour des problèmes extrêmement complexes. Il nécessite également une petite quantité de données stockées pour fonctionner, bien que bien moins que les méthodes précédentes. Malgré ces limites, ce travail constitue une avancée significative. Il montre qu'en observant attentivement la façon dont les systèmes biologiques gèrent la tension entre stabilité et changement, et en traduisant ces principes en un processus continu et en temps réel, nous pouvons construire une intelligence artificielle qui apprend davantage comme un esprit vivant. L'étude suggère que la clé pour prévenir l'oubli catastrophique n'est pas d'arrêter l'apprentissage ou de thésauriser le passé, mais de laisser l'histoire de l'apprentissage façonner la manière même dont l'avenir est appris.