Résumé technique : Un modèle de langage peut-il apprendre des faits de manière continue dans ses poids ?

Énoncé du problème

L'apprentissage continu vise à permettre aux modèles de langage (LM) d'acquérir de nouveaux faits après l'entraînement initial et de les conserver grâce à des mises à jour ultérieures, en écrivant efficacement la connaissance directement dans les poids du modèle. Bien que l'apprentissage par le contexte (in-context learning) permette une utilisation immédiate des faits, celui-ci est transitoire. La question centrale abordée par ce travail est de savoir si l'écriture continue par les poids peut soutenir l'accumulation de connaissances utilisables. Plus précisément, l'article examine trois exigences critiques pour une écriture réussie :

1. Création : Chaque écriture crée-t-elle une connaissance qui est utilisable au-delà de la simple récitation ?
2. Préservation : Les capacités générales survivent-elles à l'accumulation de mises à jour ?
3. Accessibilité : Les faits antérieurs peuvent-ils rester accessibles après des écritures ultérieures ?

Des observations antérieures suggèrent que le fine-tuning apprend les faits lentement, échoue souvent au raisonnement multi-étapes ou aux inversions par rapport à l'usage en contexte, et souffre de dérive distributionnelle. Cependant, un compte rendu unifié expliquant pourquoi certaines écritures produisent des connaissances utilisables, pourquoi certaines survivent, et la nature des faits « oubliés » faisait défaut.

Méthodologie

L'étude utilise des modèles Qwen3-4B (avec des variantes d'adaptateurs LoRA et de fine-tuning complet) et un cadre d'évaluation contrôlé impliquant 247 faits inventés concernant des entités inexistantes (ex. : « Le Zorvathine est un métal qui fond lorsqu'il est refroidi en dessous de −10 °C »). Ces faits contredisent les a priori du modèle pour garantir que les réponses reposent sur la nouvelle connaissance.

Conception de l'évaluation

• Cinq types de questions : Pour distinguer la récitation de l'usage véritable, les faits sont testés via :
  1. Rappel : Énoncé direct du fait.
  2. Paraphrase : Reformulation du fait.
  3. Application : Utilisation d'une étape du fait.
  4. Composition : Combinaison du fait avec des connaissances mondiales non explicitées.
  5. Contrefactuel : Choix du fait écrit plutôt que de la valeur par défaut du modèle.
• Ancres : La performance est mesurée par rapport à un plancher (modèle original sans le fait) et un plafond (modèle original avec le fait dans le prompt).
• Politique de notation double : Les réponses sont évaluées selon une politique stricte (exigeant la conclusion spécifique) et une politique de complaisance (attribuant le crédit aux faits qui entraînent la conclusion). La différence, appelée écart d'implication (entailment gap), mesure l'écart entre « récitation et usage ».
• Protocole continu : Les modèles subissent des écritures séquentielles (20 à 100 faits) où les adaptateurs sont fusionnés après chaque fait. La rétention est mesurée en réévaluant les faits antérieurs après des écritures ultérieures.

Conditions expérimentales

L'étude fait varier :

• Étendue des données d'entraînement : « Énoncé nu » (fait dans des cadres triviaux) vs « Étude » (24 reformulations diverses, questions-réponses, implications et contrastes).
• Objectifs : Fine-tuning supervisé (SFT), Distillation de contexte hors ligne (Offline) et Distillation de contexte en ligne (Forward/Reverse KL).
• Méthodes de mise à jour : LoRA vs Full Fine-Tuning.
• Enseignants (Teachers) : Modèle original gelé vs modèle accumulé (mobile) pour la distillation.

Contributions clés et résultats

1. L'étendue des données d'entraînement détermine l'utilisabilité de la connaissance

L'étendue des données d'entraînement est le principal facteur causal de la création de connaissances utilisables.

• Récitation vs Usage : L'entraînement par énoncé nu produit une récitation élevée (97 % de rappel) mais échoue à l'application et aux contrefactuels (21–23 % de précision). Cela laisse un écart d'implication important (27,4 points), indiquant que le modèle mémorise l'énoncé mais ne peut pas en déduire des conclusions.
• Effet des données larges : L'entraînement par « Étude » (reformulations diverses) réduit l'écart d'implication à 5,4 points sans montrer explicitement les conclusions. Il améliore significativement l'application (+21 points), la composition (+18 points) et l'usage contrefactuel (+29 points) par rapport à l'entraînement par énoncé nu.
• Indépendance de l'échelle : Cet effet se vérifie à travers différentes échelles de modèles (4B et 8B) et méthodes de mise à jour (LoRA et Full FT).

2. Le type de connaissance prédit la survie dans l'écriture continue

La nature de la connaissance écrite dicte son taux de survie lors des mises à jour séquentielles.

• Disparité de rétention : Après 20 écritures séquentielles, les faits écrits via un entraînement par énoncé nu ne conservent que 1 % de précision, tandis que les faits entraînés par l'étude conservent 46 %.
• Corrélation : Il existe une forte corrélation négative ($\rho = -0,526$) entre l'écart d'implication initial et la rétention ; les méthodes qui créent une connaissance utilisable (écart faible) survivent mieux.
• Plateau à long terme : Même avec l'entraînement par étude, la rétention plafonne à 25–28 % après 100 écritures, indiquant que si les données larges aident, elles ne résolvent pas entièrement le problème de l'accessibilité.

3. L'oubli détruit l'accès, pas le stockage

L'article démontre que « l'oubli » est un échec de récupération (accès) plutôt qu'une effacement de la trace stockée.

• Persistance du stockage : Les points de contrôle reconstruits montrent que les faits « oubliés » (ceux échouant à toutes les questions) conservent 57–67 % de l'élévation de la log-probabilité produite par leur écriture originale.
• Capture d'adresse : Dans les conditions d'énoncé nu, 70 % des mauvaises réponses aux faits oubliés contiennent le contenu du fait le plus récemment écrit. Cela suggère que les écritures ultérieures redirigent l'« adresse » (le routage de la requête) vers le nouveau contenu, écrasant le chemin vers l'ancien fait.
• Récupération par contexte : Lorsque l'énoncé d'un fait oublié est fourni dans le prompt, la précision remonte à 77–80 % (condition d'étude), prouvant que le contenu est toujours présent mais inaccessible via le mécanisme de requête interne du modèle.
• Échec d'usage conjoint : Deux faits écrits individuellement utilisables ne peuvent pas être utilisés de manière fiable ensemble (32 % de précision) car le modèle manque d'un mécanisme d'auto-récupération pour accéder simultanément aux deux, contrairement à l'usage lorsque les deux sont dans le prompt (91 %).

4. Capacités générales et dérive distributionnelle

La perte de capacité générale est fortement corrélée à la dérive distributionnelle par rapport au modèle original.

• Corrélation KL : Les dommages aux capacités sont fortement corrélés à la divergence KL par rapport au modèle original ($\rho = 0,83$ à $0,946$).
• Enseignant gelé : La distillation contre un modèle original gelé préserve les capacités générales (coût quasi nul) et retient mieux les faits que la distillation contre un modèle mobile et accumulé.
• Pénalité de dérive : L'ajout d'une pénalité KL à la base actuelle améliore la rétention et la capacité, mais ne réduit pas la divergence KL mesurée par rapport au modèle original, suggérant que la pénalité empêche l'effondrement dégénéré plutôt que de renverser la dérive.

5. L'interférence est causée par les écritures entrantes

Des tests causaux isolent la source de l'interférence.

• Entrant vs Stocké : La méthode de l'écriture entrante détermine la rétention. Les écritures entrantes basées sur l'étude améliorent la rétention de 37,6 points par rapport aux écritures par énoncé nu, quel que soit la manière dont le fait antérieur a été stocké.
• Échec du contrôle local : Les prédicteurs linéarisés peuvent prévoir l'effet immédiat d'une mise à jour ($\rho = 0,795$) mais échouent à prédire l'oubli à long terme ($\rho = -0,258$). Les interventions locales (projection de gradient, patch d'activation) n'ont pas réussi à améliorer significativement la rétention.

Signification et affirmations

L'article conclut que l'apprentissage continu dans les poids est actuellement insuffisant pour les faits qui doivent être composés ou survivre à de nombreuses écritures ultérieures.

• La nature « indexée par la question » des poids : La connaissance écrite est « indexée par la question », ce qui signifie qu'elle n'est accessible que via les questions spécifiques utilisées pendant l'entraînement. Le modèle manque d'une « adresse » ou d'un levier général pour récupérer les faits à la demande. Les écritures ultérieures redirigent ces clés de question vers de nouveaux contenus.
• Le contexte comme canal fiable : Bien que les données larges puissent créer une connaissance utilisable et que les enseignants gelés puissent préserver les capacités générales, aucune intervention testée ne garantit que les faits antérieurs restent accessibles. Par conséquent, le contexte demeure le canal fiable pour les faits nécessitant de la composition ou une rétention à long terme.
• Conseils pratiques : Pour maximiser l'utilité des mises à jour par les poids, les praticiens devraient utiliser des données d'entraînement larges (reformulations diverses) et distiller contre un modèle original gelé. Cependant, pour une connaissance robuste et composable, les faits doivent être maintenus en contexte ou dans des systèmes de récupération externes plutôt que de compter uniquement sur les mises à jour de poids.

Ce travail recadre l'oubli catastrophique non pas comme une effacement de données, mais comme une perte des routes d'accès, où l'« adresse » d'un fait est capturée par des mises à jour subséquentes. Il souligne une limitation fondamentale de l'apprentissage continu actuel par les poids : la capacité de stocker du contenu n'équivaut pas à la capacité de créer une adresse persistante et récupérable pour ce contenu.