🤖 AI

Learning to Remember, Learn, and Forget in Attention-Based Models

Le document présente Palimpsa, un modèle d'auto-attention qui cadre l'apprentissage en contexte comme un problème d'apprentissage continu en utilisant la métapasticité bayésienne pour équilibrer dynamiquement la stabilité et la plasticité, surmontant ainsi les limitations de capacité fixe et d'interférence des modèles d'attention linéaire à porte et améliorant significativement les performances sur les tâches de rappel et de raisonnement sur de longues séquences.

Auteurs originaux : Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre une nouvelle langue en lisant une longue histoire. En lisant, vous devez vous souvenir des noms des personnages et des points clés de l'intrigue pour comprendre ce qui se passe ensuite.

Le Problème : Le « Classeur » qui déborde
Les modèles d'IA actuels (comme ceux qui alimentent les chatbots) sont excellents pour cela, mais ils ont un défaut. Pour se souvenir de l'histoire, ils gardent généralement un immense « classeur » contenant chaque mot lu jusqu'à présent. Plus l'histoire est longue, plus le classeur devient grand. Finalement, cela devient trop lourd et lent à transporter, surtout sur de petits appareils.

Pour corriger cela, les scientifiques ont créé des modèles « linéaires ». Ces modèles utilisent un carnet de notes à taille fixe au lieu d'un immense classeur. Ils écrivent de nouvelles notes dans le carnet, mais si le carnet est plein, ils doivent gratter les anciennes notes pour faire de la place. Cela provoque un problème appelé oubli catastrophique : le modèle efface accidentellement des détails importants du début (comme le nom du personnage principal) juste pour écrire la phrase la plus récente.

La Solution : Un carnet intelligent appelé « Palimpsa »
Les auteurs de cet article proposent un nouveau modèle appelé Palimpsa. Ils traitent la mémoire du modèle comme un palimpseste — un parchemin ancien où les scribes grattaient l'ancienne écriture pour réutiliser le papier. Mais au lieu de simplement tout gratter, Palimpsa est intelligent sur ce qu'il gratte.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le système de « l'Étiquette d'Importance »

Imaginez que votre carnet possède une étiquette spéciale sur chaque page qui dit : « Quelle est l'importance de ceci ? »

Les anciens modèles linéaires : Ils traitent chaque page de la même manière. S'ils ont besoin d'espace, ils effacent simplement la page la plus ancienne, même si elle contient le rebondissement crucial de l'intrigue.
Palimpsa : Il utilise un système appelé métaplasticité. C'est comme un « taux d'apprentissage » pour chaque morceau d'information.
- Si un fait est important (comme le nom du méchant), le modèle appose un autocollant « Ne pas effacer » dessus. Il devient très difficile de le modifier ou de l'écraser.
- Si un fait est périmé ou peu important (comme la description aléatoire d'un arbre apparue 1 000 mots plus tôt), le modèle décide qu'il est acceptable de laisser cette information s'effacer.

2. Apprendre, Se Souvenir et Oublier

L'article décrit Palimpsa comme un modèle qui a appris trois compétences distinctes :

Apprendre : Il peut absorber de nouvelles informations rapidement lorsqu'elles arrivent.
Se souvenir : Il protège les informations « importantes » pour qu'elles ne soient pas écrasées par de nouvelles données moins pertinentes.
Oublier : Il élimine activement les informations « périmées ». C'est crucial. Si le modèle n'oubliait jamais, il finirait par être tellement rempli de vieilles données inutiles qu'il ne pourrait plus rien apprendre de nouveau. C'est ce qu'on appelle le « souvenir catastrophique ». Palimpsa évite cela en laissant de côté les choses anciennes pour faire de la place aux nouvelles.

3. La connexion avec « Mamba »

L'article fait une découverte fascinante sur un modèle populaire appelé Mamba2.

Considérez Mamba2 comme un coureur très rapide et efficace, excellent pour les sprints courts, mais qui a tendance à lâcher des objets si la course devient trop longue.
Les auteurs montrent que Mamba2 est en fait un « cas particulier » de Palimpsa où l'interrupteur de l'« oubli » est poussé au maximum. Il oublie de manière si agressive qu'il n'apprend pas vraiment à protéger ses souvenirs importants.
L'amélioration : Les auteurs ont trouvé comment prendre un modèle Mamba2 pré-entraîné et remplacer « chirurgicalement » ses parties cérébrales par des parties de Palimpsa. Cela transforme le coureur de sprint en un coureur de marathon capable de se souvenir du début de la course même après 32 000 étapes.

Qu'ont-ils prouvé ?

Les chercheurs ont testé cela de trois manières :

Le « Jeu de Mémoire » (MQAR) : Ils ont donné au modèle des listes de paires (comme « Clé A = Valeur 1 ») et lui ont demandé de s'en souvenir plus tard. Palimpsa était bien meilleur pour se souvenir des bonnes réponses, surtout quand la liste devenait très longue, car il n'écrasait pas accidentellement les clés importantes.
Le Sens Commun : Ils ont testé le modèle sur des tâches nécessitant de la logique et des connaissances générales (comme « Si je pose une tasse sur une table, où est la tasse ? »). Les versions Palimpsa du modèle ont obtenu des scores plus élevés que les versions standards, montrant qu'elles pouvaient conserver le contexte nécessaire pour répondre correctement.
Les Longues Histoires : Lors de la lecture de textes très longs, Palimpsa n'a pas perdu sa capacité à comprendre l'histoire aussi vite que les autres modèles. Il pouvait « remonter plus loin » dans le texte pour trouver la bonne réponse.

L'essentiel

Palimpsa est une nouvelle façon pour l'IA de gérer sa mémoire. Au lieu de simplement remplir un seau jusqu'à ce qu'il déborde, Palimpsa agit comme un bibliothécaire intelligent. Il sait quels livres garder sur l'étagère pour toujours, lesquels garder un certain temps et lesquels jeter pour faire de la place aux nouveaux arrivages. Cela permet à l'IA de gérer des tâches plus longues et plus complexes sans se perdre ou oublier le début de l'histoire.

Résumé Technique : Apprendre à se souvenir, apprendre et oublier dans les modèles basés sur l'attention

Énoncé du Problème
L'apprentissage en contexte (In-Context Learning, ICL) dans les transformers fonctionne comme une mémoire associative en ligne, permettant des performances élevées sur des tâches de séquences complexes. Cependant, les modèles d'attention linéaire à porte et les modèles d'espace d'états (SSM) reposent généralement sur des états de mémoire de taille fixe pour remédier aux goulots d'étranglement computationnels et de mémoire des Transformers standards (qui nécessitent un passage à l'échelle linéaire et quadratique pour les caches KV). Cette capacité fixe crée un « dilemme stabilité-plasticité » : le modèle doit apprendre de nouvelles informations sans écraser les connaissances antérieures critiques (oubli catastrophique) ou, inversement, devenir incapable d'intégrer de nouvelles informations en raison d'une rétention excessive de données obsolètes (souvenir catastrophique). Les méthodes de métaplastique existantes issues des neurosciences sont souvent inadaptées aux transformers car elles reposent sur des frontières de tâches distinctes, une croissance de la mémoire ou manquent de différenciabilité. De plus, les modèles d'attention linéaire actuels souffrent souvent d'une capacité de mémoire limitée et d'interférences à mesure que la longueur des séquences augmente.

Méthodologie : Palimpsa
Les auteurs proposent Palimpsa, un modèle d'auto-attention qui recadre l'ICL comme un problème d'apprentissage continu soluble par la métaplastique bayésienne. L'idée centrale est que la plasticité de chaque état d'attention doit être ajustée dynamiquement en fonction d'un « état d'importance » fondé sur une distribution a priori qui capture la connaissance accumulée.

Formulation Bayésienne : La tête d'attention est modélisée comme un problème d'inférence bayésienne où l'objectif est de minimiser un objectif de l'énergie libre variationnelle. La distribution a posteriori sur l'état de mémoire $S$ est mise à jour de manière récursive. Pour prévenir le souvenir catastrophique (où l'a priori devient trop concentré), les auteurs introduisent un a posteriori pondéré qui tronque efficacement la fenêtre de mémoire. Ceci est réalisé en écartant une fraction du poids a priori accumulé à chaque étape, contrôlée par une porte d'oubli $\alpha_t = \exp(-A d_t)$ .
Règle de Mise à Jour Métaplastique : En appliquant l'inférence variationnelle (VI) avec une approximation diagonale de la matrice de covariance, les auteurs dérivent une règle de mise à jour en forme fermée. L'état de mémoire $\mu_t$ $μ_{t}$ et une matrice d'importance $I_t$ $I_{t}$ (représentant l'inverse de la variance ou la précision de chaque état) sont mis à jour simultanément :
- $I_t = \alpha_t I_{t-1} + (1 - \alpha_t)I_{prior} + \beta_t \otimes k_t^2$
- $\mu_t = \alpha_t \frac{I_{t-1}}{I_t} \odot \mu_{t-1} + \frac{1}{I_t} \odot [(\beta_t \odot v_t) \otimes k_t]$
  Ici, $\beta_t$ agit comme un facteur d'importance dépendant de l'entrée, et $I_t$ module dynamiquement le taux d'apprentissage pour chaque état. Une importance élevée (faible variance) conduit à la stabilité (faible plasticité), tandis qu'une faible importance permet un apprentissage plus rapide.
Variantes Architecturales : Les auteurs implémentent deux variantes :
- Palimpsa-D : Un remplacement direct pour les modèles de règle delta à porte (Deltanets), ajoutant une projection pour $\beta_t$ et un terme résiduel.
- Palimpsa-M : Construit sur Mamba2, où la porte d'entrée $d_t$ sert de double rôle, à la fois comme porte d'oubli et porte d'entrée.
Unification Théorique : Le document démontre que divers modèles d'attention linéaire à porte (Longhorn, Deltanets, Mesanet) émergent comme des choix architecturaux spécifiques ou des approximations a posteriori au sein de ce cadre bayésien commun. Notamment, Mamba2 est présenté comme un cas particulier de Palimpsa où le taux d'oubli est si élevé que la matrice d'importance reste constante ( $I_t \approx I_{prior}$ ), désactivant ainsi la métaplastique.

Contributions Clés

Métaplastique dans l'ICL : L'introduction de la métaplastique bayésienne pour atténuer l'oubli et le souvenir catastrophiques en contexte en ajustant dynamiquement la plasticité de l'état basée sur l'incertitude.
Modèle Palimpsa : Un bloc d'attention scalable qui empêche le souvenir catastrophique en libérant progressivement les connaissances obsolètes, implémenté avec des noyaux (kernels) personnalisés pour un entraînement GPU efficace.
Cadre Unifié : Une dérivation mathématique montrant que les modèles d'attention linéaire et d'espace d'états existants sont des cas particuliers d'un cadre bayésien commun, révélant Mamba2 comme une limite de Palimpsa.
Pipeline de Transformation : Une méthode pour transformer des modèles non-métaplastiques (comme Mamba2 pré-entraîné) en modèles métaplastiques via le fine-tuning, en tirant parti de la vitesse des noyaux non-métaplastiques pour le pré-entraînement et de la capacité de mémoire de la métaplastique pour le fine-tuning.

Résultats Expérimentaux
Les auteurs évaluent Palimpsa sur des benchmarks synthétiques, de raisonnement de bon sens et de contexte long en utilisant des modèles de 170M, 760M et 2,7B de paramètres.

Synthétique (MQAR) : Sur le benchmark de rappel associatif multi-requêtes (Multi-Query Associative Recall), Palimpsa surpasse systématiquement les bases non-métaplastiques (incluant Gated Deltanet et Mamba2). L'écart de performance s'élargit à mesure que la longueur de la séquence augmente, démontrant que la métaplastique atténue efficacement l'écrasement dans les tâches de mémorisation complexes.
Modélisation du Langage et Raisonnement de Bon Sens : Sur le jeu de données FineWeb-Edu, les variantes métaplastiques (Palimpsa-D et Palimpsa-M) atteignent une perplexité et une précision supérieures sur des tâches telles que LAMBADA, PIQA et WinoGrande par rapport à leurs homologues non-métaplastiques et aux Transformers standards. Spécifiquement, à l'échelle 760M, Palimpsa-D surpasse la base Gated Deltanet d'environ 0,8 point en précision moyenne.
Performance en Contexte Long : Dans des expériences avec un modèle de 2,7B de paramètres, le remplacement chirurgical des 8 couches Mamba2 par les couches ayant l'oubli le plus faible (la plus grande fenêtre de mémoire effective) par des blocs Palimpsa a entraîné une amélioration de +0,84 point en raisonnement de bon sens et de +1,1 point sur le benchmark LongBench. Bien que le modèle métaplastique soit légèrement moins performant sur les tâches de récupération à court contexte, il a démontré une dégradation nettement plus lente à mesure que la longueur du contexte augmentait, dépassant la base à 32k tokens.
Dynamique d'Apprentissage : L'analyse montre que le ratio de métaplastique (différenciation entre synapses plastiques et consolidées) augmente pendant l'entraînement, permettant au modèle de stabiliser les informations importantes tout en restant plastique face aux nouvelles données.

Signification et Revendications
Le papier affirme que Palimpsa fournit une solution fondée sur des principes au dilemme stabilité-plasticité dans les modèles à mémoire de taille fixe en intégrant des concepts de neurosciences (métaplastique) et d'inférence bayésienne. La signification réside dans :

Insight Théorique : Unifier des architectures d'attention linéaire disparates sous un cadre bayésien unique et identifier Mamba2 comme une limite spécifique dominée par l'oubli.
Scalabilité Pratique : Permettre l'utilisation de modèles métaplastiques à grande échelle en découplant le pré-entraînement (utilisant des noyaux rapides, non-métaplastiques) du fine-tuning (utilisant des noyaux métaplastiques pour étendre la capacité de mémoire).
Performance : Démontrer que la métaplastique améliore systématiquement la rétention de la mémoire et les capacités de raisonnement dans les scénarios de contexte long sans nécessiter les coûts de mémoire quadratiques des Transformers standards.

Les auteurs concluent que cette approche soutient le déploiement de modèles de séquences performants sur des systèmes aux ressources limitées (appareils edge) en optimisant la manière dont l'information est apprise, mémorisée et oubliée dans des limites de mémoire strictes.