🤖 machine learning

Understanding Generalization and Forgetting in In-Context Continual Learning

Cet article présente le premier cadre théorique pour l'apprentissage continu en contexte, démontrant que les mécanismes d'attention standard des Transformers provoquent inévitablement des interférences inter-tâches et un biais systématique lors du traitement de tâches hétérogènes séquentielles, expliquant ainsi les limites fondamentales de la généralisation et l'apparition de l'oubli dans les longs contextes.

Auteurs originaux : Guangyu Li, Meng Ding, Lijie Hu

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guangyu Li, Meng Ding, Lijie Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Le « Super-Étudiant » qui ne prend jamais de notes

Imaginez un étudiant brillant (le Modèle de Langage à Grande Échelle) qui a déjà lu une bibliothèque massive de livres durant sa formation. Il est incroyablement intelligent, mais il suit une règle unique : Il n'a pas le droit de modifier son cerveau ou de prendre des notes.

Lorsque vous lui donnez un nouveau test, vous ne pouvez pas lui enseigner de nouveaux faits. À la place, vous devez chuchoter les réponses aux questions précédentes juste à côté de la nouvelle question, dans la même conversation. C'est ce qu'on appelle l'Apprentissage en Contexte (In-Context Learning). L'étudiant examine les exemples que vous avez fournis dans la discussion et déduit le modèle sur le moment.

Ce papier pose une question spécifique : Que se passe-t-il si vous donnez à cet étudiant une longue conversation contenant un mélange de différents types de tests ?

Par exemple, imaginez une seule fenêtre de chat où vous lui demandez d'abord de résoudre des problèmes de mathématiques, puis de passer à la traduction en français, puis de passer à l'écriture de poésie, le tout sans interrompre la conversation. L'étudiant devient-il meilleur en mathématiques parce qu'il a vu plus d'exemples ? Ou bien la traduction en français confond-elle ses compétences en mathématiques ?

La Découverte Centrale : Le Problème du « Bol de Mélange »

Les chercheurs ont construit un modèle mathématique pour comprendre comment le « cerveau » de l'étudiant (spécifiquement, le Mécanisme d'Attention) traite cette longue conversation mélangée.

Ils ont découvert que le cerveau de l'étudiant fonctionne comme un bol de mélange. Lorsque l'étudiant examine la conversation pour répondre à une question, il ne regarde pas seulement les exemples de mathématiques ; il regarde tout dans le bol (les mathématiques, le français, la poésie) et les mélange pour former une réponse.

Voici les trois principales choses qu'ils ont découvertes :

1. Le Piège du « Trop de Contexte » (Généralisation)

L'Intuition : Vous pourriez penser : « Si je donne à l'étudiant plus d'exemples du problème de mathématiques, il deviendra meilleur en mathématiques. »
La Réalité : Ce n'est vrai que si les exemples portent tous sur les mathématiques. Si vous lui donnez 10 exemples de mathématiques suivis de 10 exemples de français, l'étudiant se confond. Les exemples de français agissent comme du « bruit » dans le bol de mathématiques.
L'Analogie : Imaginez essayer de goûter une épice spécifique dans une soupe. Si la soupe ne contient que cette épice, en ajouter davantage renforce la saveur. Mais si vous commencez à ajouter d'énormes quantités de chocolat et de brocoli dans le même pot, ajouter plus d'épice n'aide pas ; cela rend simplement la soupe étrange et désordonnée.
Le Résultat : Le papier montre que l'ajout de plus de contexte (plus d'exemples) n'aide pas toujours. Si les tâches sont différentes, ajouter plus d'exemples peut en fait rendre l'étudiant moins performant dans la tâche actuelle, car les « mauvaises » informations des tâches précédentes se mélangent.

2. L'« Amnésie Catastrophique » (Oubli)

L'Intuition : Puisque l'étudiant ne supprime jamais rien de l'historique de la conversation, il devrait tout se souvenir parfaitement, non ?
La Réalité : Même si l'information est toujours là, l'étudiant « oublie » comment l'utiliser.
L'Analogie : Imaginez que l'étudiant essaie de résoudre un problème de mathématiques tout à la fin d'un document de 100 pages. Les exemples de mathématiques sont à la page 1. Les exemples de français sont à la page 50. Le cerveau de l'étudiant est conçu pour prêter attention aux choses les plus récentes qu'il a lues. Au fur et à mesure qu'il lit les sections de français et de poésie, ces nouveaux mots « noient » les mots de mathématiques de la page 1. L'information mathématique est toujours sur la page, mais le mécanisme d'attention de l'étudiant a déplacé son focus si lourdement vers les nouveautés que les vieilles informations mathématiques deviennent inutiles.
Le Résultat : L'étudiant oublie les premières tâches non pas parce que les données ont disparu, mais parce que la façon dont il pondère l'information change. Plus vous ajoutez de tâches différentes, plus l'étudiant oublie les premières.

3. L'Ordre Compte (Sensibilité à la Séquence)

L'Intuition : Cela ne devrait pas importer si vous demandez des Mathématiques puis du Français, ou du Français puis des Mathématiques.
La Réalité : Cela compte beaucoup.
L'Analogie : Pensez-y comme à la peinture d'un mur. Si vous peignez un mur en bleu (Tâche A) puis le peignez immédiatement en rouge par-dessus (Tâche B), la couleur finale est un violet boueux. Si vous peignez en rouge d'abord puis en bleu, vous obtenez une nuance différente de violet. L'ordre dans lequel vous présentez les tâches modifie la façon dont les « couleurs » (les informations) se mélangent.
Le Résultat : Le papier prouve mathématiquement que l'ordre des tâches crée un « biais » spécifique. Si vous regroupez des tâches similaires (par exemple, Mathématiques puis Algèbre), l'étudiant s'en sort bien. Si vous regroupez des tâches très différentes (Mathématiques puis Poésie), l'étudiant se confond et performe mal.

La Recette « Biais-Variance-Interférence »

Les auteurs ont décomposé les erreurs de l'étudiant en trois ingrédients :

Variance : L'étudiant devine simplement parce qu'il n'a pas vu assez d'exemples de la tâche actuelle. (Solution : Ajouter plus d'exemples de la même tâche).
Biais : L'étudiant est confus parce que les exemples qu'il a vus provenaient d'une tâche différente. (Solution : Ne pas mélanger des tâches différentes).
Interférence : L'étudiant mélange activement les mauvaises tâches ensemble, créant une erreur systématique qui empire à mesure que la conversation s'allonge.

La Conclusion

Ce papier explique pourquoi les Modèles de Langage à Grande Échelle ont parfois du mal lorsque vous leur donnez des prompts longs et complexes contenant de nombreux types de questions différents.

Ce n'est pas un bug ; c'est une caractéristique de la conception. Le mécanisme qui leur permet d'apprendre à partir d'exemples en temps réel (l'Attention) est exactement le même mécanisme qui les fait oublier les anciennes tâches lorsque de nouvelles tâches différentes arrivent.
Plus n'est pas toujours mieux. Le simple fait de pouvoir mettre plus de texte dans le prompt ne signifie pas que le modèle comprendra mieux. Si vous mélangez trop de « saveurs » de tâches différentes, le modèle est submergé et commet des erreurs systématiques.
L'« Oubli » est structurel. Le modèle ne « supprime » pas les vieilles informations ; il cesse simplement de leur prêter attention parce que les nouvelles informations sont plus fortes dans le bol de mélange.

En bref : Si vous voulez qu'un Modèle de Langage à Grande Échelle fasse un excellent travail sur une tâche spécifique, gardez la conversation focalisée. Si vous mélangez trop de sujets différents dans une seule longue conversation, le modèle finira inévitablement par se confondre et oublier comment effectuer les tâches précédentes.

Résumé Technique : Comprendre la Généralisation et l'Oubli dans l'Apprentissage Continu en Contexte

Énoncé du Problème

Bien que les Grands Modèles de Langage (LLM) démontrent des capacités remarquables d'Apprentissage en Contexte (ICL), s'adaptant à de nouvelles tâches via des invites sans mise à jour des paramètres, les cadres théoriques existants analysent principalement l'ICL dans des contextes de tâche unique. Dans les scénarios réels, les invites contiennent souvent des séquences de tâches hétérogènes. Cela soulève une question critique : Les LLM effectuent-ils implicitement un apprentissage continu lors de l'inférence, et si oui, comment gèrent-ils la généralisation et l'oubli à travers des tâches séquentielles ?

La recherche actuelle manque d'une compréhension théorique de la manière dont les mécanismes d'attention partagés traitent plusieurs tâches séquentielles au sein d'une seule invite. Plus précisément, il est unclear si les LLM peuvent accumuler et réutiliser des informations pertinentes pour la tâche sur de longs contextes ou s'ils souffrent d'interférences et d'un oubli catastrophique similaires à l'apprentissage continu traditionnel lors de l'entraînement, malgré l'absence de mise à jour des paramètres.

Méthodologie

Les auteurs proposent le premier cadre théorique pour l'Apprentissage Continu en Contexte (ICCL). Le cœur de leur approche implique :

Configuration de Modélisation :
- Ils modélisent un Transformer pré-entraîné traitant une séquence de $T$ tâches concaténées dans une seule invite.
- Le cadre se concentre sur des tâches de régression linéaire où les paramètres de tâche ( $w_t$ ) sont échantillonnés à partir d'une distribution.
- Ils analysent deux mécanismes d'attention :
  - Auto-attention Linéaire (LSA) : Agrège l'information uniformément sur tous les tokens.
  - Auto-attention Linéaire Masquée (MSA) : Utilise un masque causal pour garantir que l'information ne circule que vers l'avant, respectant l'ordre et les limites des tâches.
Déduction Théorique :
- Les auteurs dérivent des expressions explicites d'erreur pour les prédictions du modèle sous des invites de tâches séquentielles.
- Ils décomposent l'erreur de prédiction en un cadre Biais-Variance-Interférence.
- Ils définissent l'Erreur de Généralisation ( $G_t$ ) comme la précision de prédiction sur la requête de la tâche actuelle et l'Oubli ( $F_t$ ) comme l'augmentation de l'erreur sur une tâche précédemment rencontrée après le traitement des tâches subséquentes.
Validation Empirique :
- Des expériences ont été menées en utilisant des architectures GPT-2 basées sur le décodeur (configurations standard et minuscules) entraînées sur la régression linéaire.
- Les prédictions théoriques ont été validées par rapport à l'Erreur Quadratique Moyenne (MSE) empirique à travers des longueurs de contexte variables ( $M$ ), des similarités de tâches et des ordonnancements de tâches.
- Le cadre a été davantage testé sur des tâches non linéaires (régression linéaire parcimonieuse, réseaux ReLU) et sur des LLM réels (Qwen2.5-1.5B-Instruct) utilisant des tâches de classification de texte hétérogènes (SST-2 et AG News).

Contributions Clés

1. Première Formalisation Théorique de l'ICCL

L'article formalise l'ICCL comme un cadre où un Transformer pré-entraîné traite des tâches séquentielles via une attention partagée sans mise à jour des paramètres. Cela comble explicitement le fossé entre l'ICL et les concepts fondamentaux de l'apprentissage continu tels que l'ordre des tâches, l'accumulation historique et l'interférence.

2. Décomposition Biais-Variance-Interférence

Les auteurs fournissent une décomposition explicite de l'erreur de prédiction, révélant que :

La Variance provient d'échantillons en contexte finis et diminue à mesure que la longueur du contexte ( $M$ ) augmente.
Le Biais découle du désalignement entre la tâche actuelle et les tâches historiques.
L'Interférence est une propriété structurelle de l'agrégation par attention, où les contextes historiques induisent un biais systématique.
Crucialement, ils montrent que l'augmentation de la longueur du contexte ou de l'historique des tâches n'améliore pas universellement les performances ; cela peut dégrader la généralisation lorsque les tâches sont désalignées en raison d'un biais accru.

3. Fondement Théorique pour les Phénomènes Empiriques

Le cadre explique plusieurs phénomènes observés dans les modèles réels :

Oubli Dépendant de l'Ordre : L'oubli n'est pas simplement une perte d'information mais résulte du re-pesage des contributions des tâches par le mécanisme d'attention. Les tâches passées reçoivent des coefficients négatifs dans la prédiction finale, annulant activement leurs représentations.
Effets de Similarité des Tâches : Un transfert positif se produit lorsque les tâches historiques sont alignées avec la tâche cible. À l'inverse, apprendre des tâches futures statistiquement similaires à la tâche actuelle amplifie l'oubli, tandis que des tâches orthogonales préservent les performances.
Limites des Longs Contextes : Le bénéfice des contextes plus longs plafonne ou s'inverse lorsque les moyennes des tâches sont désalignées, car le biais irréductible dû au désalignement des moyennes persiste quelle que soit la longueur du contexte.

Résultats

Généralisation : Dans des configurations multi-tâches, augmenter le nombre d'exemples en contexte ( $M$ ) réduit initialement l'erreur (réduction de la variance) mais peut éventuellement augmenter l'erreur si le contexte ajouté introduit un biais systématique provenant de tâches dissimilaires.
Oubli : Il est prouvé que l'oubli est une conséquence intrinsèque de l'agrégation basée sur l'attention. Même sans mise à jour des paramètres, le modèle « oublie » les tâches antérieures car le mécanisme d'attention agrège les contextes historiques avec des poids fixes et décroissants, conduisant à une interférence systématique.
Ordonnancement des Tâches : L'ordre des tâches impacte significativement les performances. Les séquences où les tâches ultérieures sont désalignées par rapport aux antérieures induisent une interférence plus forte.
Validation Réelle : Des expériences sur Qwen2.5-1.5B-Instruct ont confirmé que l'introduction d'une deuxième tâche hétérogène (Tâche B) après la Tâche A provoque un transfert négatif sévère (chute de la précision de la Tâche B de plus de 15 % à faible $M$ ) et un oubli catastrophique de la Tâche A (la précision chutant de 0,934 à 0,472), validant les prédictions théoriques d'un désalignement de moyenne irréductible.

Importance et Revendications

L'article revendique fournir le premier cadre théorique pour comprendre l'apprentissage continu en contexte. Son importance principale réside dans :

Identification des Limites Fondamentales : Il démontre que l'inférence continue basée sur l'attention possède des limites inhérentes. Même sans mise à jour des paramètres, les LLM accumulent, interfèrent et oublient parfois des informations spécifiques à la tâche sur de longs contextes.
Explication des Mécanismes : Il offre une explication mathématique de la raison pour laquelle les mécanismes d'attention standards induisent une interférence inter-tâches et un biais systématique, conduisant à une sensibilité à l'ordre et à une dégradation des performances dans les invites longues.
Orientation pour la Pratique : Les résultats fournissent des orientations concrètes pour la conception d'invites et l'évaluation multi-tâches, suggérant qu'augmenter simplement la longueur du contexte ou réutiliser des invites historiques n'est pas une panacée et peut être préjudiciable si l'alignement des tâches n'est pas pris en compte.

Les auteurs soulignent que leur travail explique quand et pourquoi la généralisation en contexte réussit ou échoue, mettant en évidence que la nature « sans paramètres » de l'ICL n'exclut pas les défis fondamentaux de l'apprentissage continu, tels que l'interférence et l'oubli.