Imaginez que vous appreniez à un robot à jouer à tous les jeux vidéo existants. Autrefois, les scientifiques pensaient que la seule façon d'y parvenir était de construire un cerveau unique et super intelligent à l'intérieur de la tête du robot. Ils lui présenteraient un niveau, le laisseraient apprendre, puis passeraient au niveau suivant. Mais voici le problème : chaque fois que le robot apprenait un nouveau jeu, il semblait oublier comment jouer aux précédents. C'était comme essayer d'écrire un nouveau chapitre dans un journal intime, mais l'encre des pages précédentes continuait de s'étaler et de disparaître. Ce problème, connu sous le nom d'« oubli catastrophique », était le grand casse-tête d'un domaine appelé l'Apprentissage Continu (Continual Learning).

Pendant longtemps, la solution semblait simple : il suffisait de modifier le cerveau interne du robot (ses « paramètres ») pour l'adapter au nouveau jeu sans effacer les anciens. Mais nous sommes maintenant dans l'ère des modèles d'IA massifs et ultra-puissants capables de discuter, d'écrire du code et de résoudre des énigmes complexes. Ces modèles sont si vastes et complexes que l'ancienne approche consistant à simplement « ajuster le cerveau » ne fonctionne plus. Nous avons besoin d'une nouvelle façon de penser. Au lieu de se demander seulement comment mettre à jour le cerveau, nous devons nous demander : Quand le robot doit-il apprendre ? Où doit-il conserver ses connaissances ? Et Comment doit-il se mettre à jour ?

Ce document, intitulé « Continual Learning in Transition », est comme une carte de ce nouveau territoire. Les auteurs soutiennent que nous nous éloignons de l'idée que le cerveau d'un robot est le seul endroit où l'apprentissage se produit. Ils suggèrent que pour que l'IA devienne véritablement une intelligence générale — quelque chose capable de s'adapter à un monde changeant comme un humain — nous devons examiner l'ensemble du système. Il ne s'agit pas seulement du cerveau ; il s'agit du carnet de notes du robot, de sa boîte à outils et de son livre de règles. Le document passe en revue une quantité massive de nouvelles recherches pour montrer que l'apprentissage n'est plus un événement unique qui se produit avant que le robot ne parte au travail. L'apprentissage est un voyage continu qui se déroule avant, pendant et même après le déploiement du robot, en utilisant non seulement son cerveau, mais aussi sa mémoire externe et ses outils.

Les trois grandes questions : Quand, Où et Comment

Les auteurs proposent une nouvelle façon d'examiner toutes ces différentes méthodes en utilisant trois questions simples. Voyez cela comme l'organisation d'une immense bibliothèque sur la façon dont les robots apprennent.

1. Quand : La chronologie de l'apprentissage
Autrefois, l'apprentissage se faisait en un seul gros bloc : on entraînait le modèle, puis on l'envoyait travailler, et c'était tout. Le modèle était figé.

• La nouvelle vision : L'apprentissage est désormais un marathon, pas un sprint. Il se déroule en trois phases distinctes :
  • Pré-entraînement : Le robot apprend à partir d'un flux massif de données, comme s'il lisait l'intégralité d'Internet avant même de commencer un travail spécifique.
  • Post-entraînement : Après l'apprentissage initial, le robot est affiné. Il apprend à suivre des instructions, à être poli ou à résoudre des énigmes spécifiques. C'est comme un camp d'entraînement spécialisé.
  • Temps d'inférence (Le « Maintenant ») : C'est le grand changement. Le robot apprend pendant qu'il travaille. S'il rencontre une nouvelle situation ou reçoit un retour, il peut se mettre à jour à la volée. C'est comme un étudiant qui ne se contente pas d'étudier avant l'examen, mais qui continue d'apprendre et d'ajuster ses réponses pendant qu'il passe le test.

2. Où : Le stockage de la connaissance
Traditionnellement, toute la connaissance était stockée à l'intérieur du cerveau du robot (ses paramètres internes). Si vous vouliez ajouter un nouveau fait, vous deviez réécrire le cerveau.

• La nouvelle vision : Le cerveau n'est plus l'unique unité de stockage. Les auteurs introduisent l'idée du « Harness » (le harnais), qui est tout ce qui se trouve à l'extérieur du cerveau et que le robot utilise.
  • Mémoire : Imaginez un carnet de notes que le robot transporte. Il peut y noter des faits, des conversations ou des expériences sans modifier son cerveau. Il peut relire ce carnet plus tard pour se souvenir des choses.
  • Compétences (Skills) : Considérez-les comme des outils dans une boîte à outils. Au lieu de coder une nouvelle compétence directement dans le cerveau, le robot peut ramasser un nouvel outil (comme un générateur de code ou une calculatrice) et l'utiliser. Il peut même construire de nouveaux outils au fur et à mesure.
  • Protocoles : Ce sont les livres de règles ou les scripts que le robot suit. Au lieu que le cerveau du robot ne code les règles d'un jeu, les règles peuvent être écrites sur un morceau de papier que le robot peut lire et mettre à jour.
  • Le basculement : Le document suggère que la capacité se diffuse. Elle n'est plus seulement dans le cerveau ; elle est distribuée entre le cerveau, le carnet de notes, la boîte à outils et le livre de règles.

3. Comment : La méthode de mise à jour
Comment le robot apprend-il réellement ?

• L'ancienne méthode (Off-Policy) : Le robot apprend à partir d'un ensemble de données statiques, comme un manuel écrit par quelqu'un d'autre. Il regarde d'anciens exemples et essaie de s'y adapter. Cela conduit souvent à l'oubli car les nouvelles données peuvent entrer en conflit avec les anciennes.
• La nouvelle méthode (On-Policy) : Le robot apprend de ses propres actions. Il essaie quelque chose, voit ce qui se passe et apprend de cette expérience spécifique. C'est comme apprendre à faire du vélo en le pratiquant réellement et en tombant, plutôt qu'en lisant simplement un manuel. Cela aide le robot à rester cohérent et à moins oublier.
• Au-delà des gradients : Il existe également des méthodes qui n'utilisent pas la manière « mathématique » classique d'apprendre (la rétropropagation).
  • Fusion de modèles (Model Merging) : Imaginez prendre deux cerveaux entraînés différents et les combiner mathématiquement en un seul super-cerveau sans réentraînement.
  • Évolution de prompts (Prompt Evolution) : Au lieu de changer le cerveau, vous changez les instructions (prompts) que vous lui donnez. Le robot apprend en faisant évoluer la façon dont vous lui parlez.
  • Ordre zéro (Zeroth-Order) : C'est une façon sophistiquée de dire que le robot apprend en devinant et en vérifiant, sans avoir besoin de calculer l'exacte pente mathématique de ses erreurs.

Pourquoi cela importe : La vue d'ensemble

Les auteurs suggèrent que nous sommes à un tournant. Nous pensions autrefois que résoudre l'« oubli catastrophique » consistait simplement à trouver une meilleure astuce mathématique pour mettre à jour le cerveau. Mais maintenant, ils soutiennent que la solution est bien plus vaste. Il s'agit d'une adaptation au niveau du système.

Ils soulignent que simplement agrandir le « carnet de notes » (mémoire) du robot ou lui donner plus d'« outils » (compétences) ne suffit pas si le robot ne peut pas les gérer lui-même. Actuellement, les humains doivent souvent mettre à jour manuellement ces carnets et ces outils. Le document suggère que pour que l'IA atteigne l'« Intelligence Artificielle Générale » (AGI) — un niveau où elle peut réellement s'adapter comme un humain — le robot doit être capable de gérer automatiquement sa propre mémoire, ses compétences et ses règles.

Le document met également en évidence certains défis. Par exemple, si un robot compte trop sur son « carnet de notes » (fenêtre de contexte), il pourrait oublier des choses une fois que le carnet est trop plein. S'il compte trop sur son « cerveau », il pourrait oublier de nouvelles choses lorsqu'il en apprend de nouvelles. L'idéal futur est un système où le robot sait quand écrire dans son carnet, quand construire un nouvel outil et quand mettre à jour définitivement son cerveau.

Et après ?

Les auteurs sont prudents mais optimistes. Ils ne prétendent pas avoir tout résolu. En fait, ils soulignent que beaucoup de ces nouvelles méthodes sont encore à leurs débuts. Nous n'avons pas encore de système parfait capable de transférer de manière fluide les connaissances entre son cerveau, son carnet de notes et ses outils.

Ils suggèrent que la recherche future en IA ne devrait pas seulement porter sur l'agrandissement du cerveau. Au lieu de cela, nous devons découvrir comment coordonner toutes ces différentes parties. C'est comme construire une ville : on ne se contente pas de construire une maison plus grande (le cerveau) ; on doit construire des routes, des bibliothèques et des centrales électriques (le harnais) et comprendre comment tout cela fonctionne ensemble.

En résumé, ce document nous dit que l'ère du « un cerveau, une mise à jour » est terminée. L'avenir de l'apprentissage est une danse dynamique et multicouche où l'IA apprend continuellement, en utilisant chaque partie de son système, de ses neurones internes à ses outils externes, pour s'adapter à un monde qui ne cesse de changer. C'est un passage de la tentative de réparer une mémoire défaillante à la construction d'un système vivant et respirant qui grandit à chaque expérience.