A Model That Does Not Forget. A Logbook That Corrects and a Sleep That Consolidates, on a Frozen Language Model

Imaginez un assistant numérique qui vit dans votre poche, un assistant à qui vous posez des questions chaque jour. Pour que cet assistant soit véritablement utile, il doit faire plus que simplement connaître des faits sur le monde ; il doit se souvenir de l'historique spécifique de vos conversations. Il doit se rappeler que vous lui avez dit la semaine dernière que le nom de votre chien était Toby, mais que vous vous êtes corrigé cette semaine en disant que vous avez en fait deux chiens, Toby et Luna. Il doit conserver ce changement sans s'embrouiller, et il doit savoir dire « je ne sais pas » si vous l'interrogez sur quelque chose dont il n'a jamais entendu parler. C'est le défi de la construction d'une machine capable d'apprendre de manière continue sans oublier ce qu'elle sait déjà, un problème qui a longtemps laissé perplexes les scientifiques travaillant sur l'intelligence artificielle.

La difficulté fondamentale réside dans la manière dont ces programmes informatiques stockent l'information. Traditionnellement, lorsqu'un modèle apprend quelque chose de nouveau, il doit réécrire sa mémoire interne, ce qui provoque souvent l'effacement accidentel de ses anciens souvenirs. C'est comme essayer d'écrire une nouvelle note dans un carnet en griffonnant sur une ancienne ; la nouvelle information entre, mais l'ancienne est perdue. D'autres méthodes tentent de conserver une liste distincte de faits en dehors de la mémoire principale, mais à mesure que cette liste s'allonge, le système devient lent et coûteux à utiliser. Les chercheurs voulaient trouver un moyen pour qu'un modèle informatique figé — un modèle dont la structure de base ne change pas — puisse se souvenir de centaines de faits, les corriger lorsqu'ils changent, et savoir quand admettre son ignorance, le tout sans ralentir à mesure que l'historique s'allonge.

Un chercheur nommé Maximiliano Speranza a abordé ce problème en testant un système en deux parties sur un petit modèle de langage figé. La première partie est un « carnet de bord », qui est un enregistrement externe stockant chaque fait ainsi que l'historique de ses versions. Ce carnet de bord agit comme une fiche de référence rapide que le modèle peut consulter chaque fois qu'il a besoin de connaître la version la plus récente d'une histoire. La seconde partie est un processus appelé « sommeil », qui se produit périodiquement. Pendant ces cycles de sommeil, le modèle prend les faits les plus récents du carnet de bord et s'entraîne avec eux, les déplaçant lentement vers un composant de mémoire ajustable attaché au modèle principal. Cette consolidation garantit que les souvenirs récents deviennent une partie de la connaissance permanente du modèle, afin qu'il n'ait pas à compter sur le carnet de bord éternellement.

L'expérience s'est déroulée sur une série de huit semaines, où le modèle a appris 100 nouveaux faits chaque semaine. La clé de la réussite n'était pas seulement le carnet de bord ou les cycles de sommeil seuls, mais une technique spécifique utilisée pendant le sommeil. Le modèle était tenu de rejouer les faits appris lors des semaines précédentes, en s'entraînant avec les nouvelles informations. Cette répétition était cruciale. Lorsque les chercheurs ont supprimé cette étape de répétition, le modèle a oublié tout ce qu'il avait appris la première semaine presque immédiatement, sa précision chutant de presque parfaite à presque nulle en une seule session. La répétition agissait comme une colle, maintenant les anciens souvenirs en place pendant que les nouveaux étaient ajoutés.

Les résultats ont montré que cette méthode était remarquablement efficace pour empêcher l'oubli. Après huit semaines d'apprentissage de nouveaux faits, le modèle se souvenait encore des faits de la toute première semaine avec une précision comprise entre 88 et 97 pour cent. En revanche, d'autres méthodes existantes qui tentent de mettre à jour la mémoire du modèle directement sans ce processus de sommeil et de répétition ont échoué lamentablement. Ces méthodes ne conservaient que 1 à 10 pour cent des faits de la première semaine à la huitième semaine et, pire encore, elles endommageaient la capacité du modèle à effectuer d'autres tâches pour lesquelles il n'avait jamais été programmé pour changer. La nouvelle approche, quant à elle, a préservé les autres compétences du modèle intactes, prouvant qu'il pouvait apprendre de nouvelles choses sans briser ce qu'il savait déjà.

Le système excellait également à savoir ce qu'il ne savait pas. Lorsqu'on l'interrogeait sur des faits qu'il n'avait jamais appris, le modèle disait correctement « je ne sais pas » la plupart du temps. Cependant, les chercheurs ont découvert une limite spécifique à cette capacité. Lorsqu'on posait au modèle une question combinant deux éléments qu'il connaissait — une personne connue et une relation connue que l'on n'avait jamais vue auparavant — il inventait parfois une réponse au lieu d'admettre son ignorance. Cela se produisait dans environ la moitié des cas à la fin de l'expérience. Les chercheurs ont tenté de corriger cela en répartissant les faits de manière plus uniforme, mais cela n'a pas changé le résultat. Cela suggère que le modèle a tendance à deviner lorsqu'il reconnaît des parties d'une question, même si la combinaison spécifique est nouvelle.

Enfin, l'étude a comparé ce système à deux canaux à une alternative courante appelée génération augmentée par récupération (RAG), qui consiste à coller l'intégralité de l'historique de la conversation dans l'invite (prompt) du modèle à chaque fois qu'on l'interroge. Bien que les deux méthodes atteignent une précision similaire, le nouveau système est nettement plus efficace. Le système du carnet de bord ne traite que 16 mots par question, alors que la méthode alternative doit traiter des centaines, voire des milliers de mots à mesure que l'historique croît. Cette différence signifie que le nouveau système reste rapide et peu coûteux à exploiter même après des mois d'utilisation, tandis que l'autre méthode deviendrait trop lente et trop chère pour être pratique.

Ce travail démontre qu'un modèle informatique peut apprendre un historique long et changeant sans oublier le passé, à condition qu'on lui donne un moyen de répéter les anciens faits tout en apprenant les nouveaux. Il montre que la clé de l'apprentissage continu n'est pas seulement de stocker l'information, mais de la pratiquer activement d'une manière qui renforce l'ancien tout en intégrant le nouveau. Bien que le système lutte encore contre un type spécifique d'erreur de supposition lors de la combinaison de faits connus, il offre une voie claire pour construire des assistants capables de véritablement se souvenir et d'apprendre de leurs utilisateurs au fil du temps.