How Do Large Language Models Learn Concepts During Continual Pre-Training?

Les êtres humains donnent du sens au monde en regroupant les choses dans des catégories mentales. Nous voyons un animal poilu à quatre pattes et nous le reconnaissons instantanément comme un « chien », un concept qui porte en lui un ensemble de traits partagés : il aboie, il a une queue et il peut courir. Cette capacité à transformer des observations spécifiques en idées générales est le fondement du raisonnement humain. Les grands modèles de langage, ces puissants programmes informatiques capables d'écrire des histoires et de répondre à des questions, tentent de faire quelque chose de similaire. Ils sont entraînés sur de vastes océans de textes, où l'on attend d'eux qu'ils extraient ces mêmes types de concepts abstraits et les stockent au sein de leurs systèmes internes. Mais bien que nous sachions que ces modèles peuvent apprendre, nous avons du mal à comprendre exactement comment ils conservent cette connaissance au fil du temps, ou pourquoi ils semblent parfois la perdre lorsqu'ils sont confrontés à de nouvelles informations.

Pendant des années, des chercheurs ont tenté de jeter un coup d'œil à l'intérieur de ces esprits numériques pour comprendre leur fonctionnement. Certains les ont testés avec des questions pour voir s'ils se souvenaient de faits, tandis que d'autres ont tenté de cartographier les voies spécifiques que l'ordinateur utilise pour traiter l'information. Cependant, ces méthodes se concentrent souvent sur des faits isolés ou des moments statiques dans le temps. Elles manquent le processus dynamique par lequel un modèle apprend une nouvelle idée, la renforce, puis l'oublie potentiellement lorsqu'il est forcé d'apprendre autre chose. Cette lacune dans la compréhension est critique car, à mesure que nous mettons à jour ces modèles avec de nouvelles données, nous devons savoir s'ils construisent véritablement une compréhension stable du monde ou s'ils ne font que mémoriser des motifs qui disparaîtront lors de la prochaine mise à jour.

Une équipe de chercheurs s'est donné pour mission de résoudre ce mystère en observant comment l'intelligence artificielle apprend et oublie des concepts spécifiques en temps réel. Ils ont créé un environnement contrôlé utilisant un ensemble de données de concepts inventés. Imaginez que l'on enseigne à un enfant ce qu'est une créature appelée un « Olre » qui a la capacité de courir, ou un « Foo » qui possède quatre pattes. Comme ces créatures n'existent pas dans le monde réel, l'ordinateur n'a aucune connaissance préalable d'elles. Cela a permis aux scientifiques d'observer le processus d'apprentissage à partir de zéro, sans aucun biais préexistant. Ils ont entraîné le modèle sur ces faits fictifs, puis l'ont exposé à une quantité massive de textes sans rapport pour voir ce qui arriverait à sa mémoire de l'« Olre » et du « Foo ».

Ce qu'ils ont découvert, c'est un motif clair et mesurable dans la façon dont la structure interne du modèle changeait. Les chercheurs ont découvert que l'ordinateur ne stocke pas seulement un fait en un seul endroit ; il construit plutôt un réseau complexe de connexions, ou un circuit, pour représenter cette idée. En analysant la forme et la densité de ces réseaux, ils pouvaient prédire la capacité du modèle à avoir appris un concept et la probabilité qu'il l'oublie. Ils ont trouvé un compromis surprenant : les concepts que le modèle apprenait le plus rapidement et le plus fortement étaient souvent ceux qu'il oubliait le plus facilement lorsque de nouvelles informations arrivaient. Il semble que la force même de l'apprentissage initial rendait la mémoire plus fragile lorsque le système était forcé de se réorganiser.

L'étude a également révélé comment différentes idées interfèrent les unes avec les autres. Lorsque le modèle tentait d'apprendre deux concepts très similaires en sens au même moment, il éprouvait beaucoup plus de difficultés que lorsque les concepts étaient sans rapport. Les réseaux internes de ces idées similaires se chevauchaient, créant une sorte d'embouteillage où l'ordinateur ne pouvait pas facilement les distinguer. À l'inverse, les chercheurs ont constaté que l'apprentissage d'un type de connaissance pouvait en réalité aider le modèle à apprendre un autre. Par exemple, enseigner au modèle les propriétés et les fonctions des choses rendait beaucoup plus facile l'apprentissage ultérieur des relations entre des mots similaires et opposés. Cela suggère que l'ordre dans lequel l'information est présentée importe profondément ; certaines leçons servent de fondation à d'autres.

Peut-être plus important encore, les chercheurs ont montré que ces motifs internes ne sont pas seulement des observations abstraites mais peuvent être utilisés pour améliorer les modèles eux-mêmes. En examinant la forme des circuits d'apprentissage, ils pouvaient identifier quels concepts étaient les plus à risque d'être oubliés. Ils ont ensuite utilisé cette intuition pour créer une stratégie d'entraînement simple : chaque fois que le modèle apprenait de nouvelles choses, ils faisaient une pause occasionnelle pour réviser les concepts spécifiques qui étaient les plus vulnérables. Cette révision ciblée, guidée par la structure interne du modèle, a considérablement aidé l'ordinateur à conserver ses connaissances. Ce travail suggère qu'en prêtant attention à l'architecture interne de la façon dont ces modèles apprennent, nous pouvons les enseigner plus efficacement, les aidant ainsi à construire une compréhension plus stable et plus fiable du monde, tout comme un étudiant qui sait quelles notes réviser avant un examen.