🤖 machine learning

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

Ce papier propose un cadre efficace en échantillons pour l'expansion continue des connaissances dans les grands modèles de langage en représentant la mémoire comme une matrice de transition de Markov et en utilisant une stratégie de mappage de jetons vers un dictionnaire avec des mises à jour d'incorporation minimales pour atteindre un oubli catastrophique nul.

Auteurs originaux : Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme une immense bibliothèque d'histoires, hautement organisée. Chaque fois que le modèle lit une phrase, c'est comme si un bibliothécaire regardait le dernier mot et devinait quel mot vient ensuite.

Habituellement, si vous voulez enseigner à ce bibliothécaire un tout nouveau mot (comme un nouveau terme scientifique ou un mot d'argot), vous devez réentraîner toute la bibliothèque. Mais voici le problème : lorsque vous réentraînez toute la bibliothèque pour apprendre le nouveau mot, le bibliothécaire oublie souvent comment raconter correctement les anciennes histoires. C'est ce qu'on appelle « l'oubli catastrophique ».

Ce papier propose une méthode astucieuse et peu coûteuse pour ajouter de nouveaux mots sans briser les anciens. Voici la décomposition en utilisant de simples analogies :

1. La bibliothèque comme « carte de circulation » (l'idée de Markov)

Les auteurs considèrent le modèle de langage non pas comme un cerveau complexe, mais comme une carte de circulation.

Les nœuds : Chaque mot du dictionnaire est une ville sur la carte.
Les routes : Les connexions entre les mots sont des routes. Si vous êtes à la ville « Le », il existe des routes spécifiques menant à « chat », « chien » ou « soleil ».
La mémoire : La « mémoire » du modèle n'est que la carte de ces routes. Elle sait que « Le » mène généralement à « chat » avec une certaine probabilité.

2. Le problème : ajouter une nouvelle ville

Lorsque vous voulez enseigner au modèle un nouveau mot (appelons-le « Zorp »), vous ajoutez essentiellement une nouvelle ville à la carte.

L'ancienne méthode (Fine-tuning complet) : Vous essayez de redessiner toute la carte pour inclure « Zorp ». Ce faisant, vous effacez ou modifiez accidentellement les routes entre les anciennes villes. Le bibliothécaire oublie que « Le » mène à « chat » et commence à dire que « Le » mène à « Zorp » à la place.
La méthode du papier : Au lieu de redessiner toute la carte, vous ajoutez simplement un panneau indicateur pour « Zorp ». Vous dites : « Hé, si vous voyez « Zorp », traitez-le exactement comme vous traitez « Le » ou « Chat ». »

3. La solution : la carte « Token-to-Dictionnaire »

Le papier suggère une stratégie appelée Mappage Token-to-Dictionnaire.

Imaginez que vous avez un nouveau mot étrange « Zorp ». Au lieu d'enseigner au modèle la signification de « Zorp » à partir de zéro, vous dites au modèle : « Quand vous voyez « Zorp », faites comme si c'était le mot « Étoile ». »
Le modèle n'a pas besoin d'apprendre de nouvelles routes pour « Zorp ». Il doit simplement savoir que « Zorp » pointe vers la même destination que « Étoile ».
Parce que le modèle n'a pas besoin de modifier les routes existantes (les probabilités de transition entre les anciens mots), il n'oublie jamais les anciennes histoires.

4. L'« efficacité de l'échantillon » (Pourquoi c'est rapide)

Les auteurs démontrent mathématiquement que cela est incroyablement efficace.

L'analogie : Si vous voulez apprendre un nouveau mot, vous n'avez pas besoin de relire toute la bibliothèque. Vous avez seulement besoin de lire quelques exemples de la façon dont ce nouveau mot est utilisé dans des phrases.
Les mathématiques : Le nombre d'exemples dont vous avez besoin dépend du nombre de mots existants auxquels vous mappez le nouveau mot. Si vous mappez « Zorp » à seulement 5 mots courants, vous n'avez besoin que d'une infime quantité de données pour l'apprendre. Vous n'avez pas besoin de vous soucier de la taille de toute la bibliothèque (qui pourrait contenir 100 000 mots).

5. L'expérience : enseigner les mathématiques et les mots fictifs

Les chercheurs ont testé cela avec deux scénarios :

L'opérateur magique : Ils ont enseigné à un modèle un symbole spécial (comme ⟨spec⟩) qui signifiait « multiplier ».
- Résultat : Le modèle a appris à multiplier en utilisant le nouveau symbole très rapidement.
- Le gain : Crucialement, le modèle savait toujours comment additionner des nombres. Dans d'autres méthodes, apprendre le nouveau symbole faisait oublier au modèle comment additionner. Cette méthode a maintenu les compétences d'addition parfaites.
Mots fictifs : Ils ont inventé 100 mots sans sens (comme « glor » et « zorp ») et les ont intégrés dans des phrases.
- Résultat : Le modèle a appris à utiliser correctement ces mots fictifs sans oublier comment parler anglais.
- Comparaison : D'autres méthodes (comme le fine-tuning standard ou LoRA) ont fait oublier l'anglais au modèle alors qu'il apprenait les mots fictifs. La nouvelle méthode a provoqué zéro oubli.

Résumé

Pensez à cette méthode comme ajouter une nouvelle pièce à une maison sans abattre les murs des pièces existantes.

Ancienne méthode : Pour ajouter une nouvelle pièce, vous reconstruisez toute la fondation. Les anciennes pièces se fissurent et s'effondrent.
Nouvelle méthode : Vous construisez la nouvelle pièce et attachez une porte qui mène directement à un couloir existant. L'ancien couloir reste exactement le même, et la nouvelle pièce s'adapte parfaitement.

Le papier affirme qu'il s'agit d'une méthode mathématiquement prouvée pour étendre le vocabulaire d'un modèle de langage avec très peu de données et absolument aucune perte de ses connaissances précédentes.

Résumé technique : La mémoire comme matrice de Markov

Énoncé du problème

Les modèles de langage de grande taille (LLM) font face à un défi critique dans l'apprentissage continu : intégrer de nouvelles connaissances (par exemple, un nouveau vocabulaire, de nouvelles entités ou de nouveaux domaines) sans subir d'oubli catastrophique. Les approches existantes, telles que le fine-tuning complet, la régularisation ou les méthodes basées sur la répétition, dégradent souvent les comportements précédemment appris à mesure que de nouvelles connaissances sont injectées. De plus, ces méthodes reposent généralement sur des mises à jour de poids à grande échelle, qui sont souvent irréversibles et coûteuses en termes de calcul. La question centrale abordée par ce travail est la suivante : Comment les LLM peuvent-ils intégrer une petite quantité de nouvelles connaissances sans oubli catastrophique ?

Méthodologie

1. Formulation markovienne de la génération de langage

Les auteurs proposent un cadre principiel modélisant la génération de langage autoregressive comme un processus de Markov sur les tokens.

Espace d'états : Les tokens correspondent aux états de la chaîne de Markov.
Matrice de transition : La mémoire du modèle est représentée par une matrice de transition de Markov, où la probabilité du token suivant $p_\theta(v | u)$ définit la dynamique de transition du token $u$ vers $v$ .
Expansion des connaissances comme expansion d'état : L'intégration de nouveaux tokens ( $U$ ) est formalisée comme l'expansion de l'espace d'états de $V$ vers $V \cup U$ .
Condition d'absence d'oubli : Pour prévenir l'oubli, les probabilités de transition entre les tokens préexistants ( $V \times V$ ) doivent rester invariantes. Les nouveaux tokens sont intégrés en définissant leurs distributions de transition ( $q(u)$ ) sur le vocabulaire existant $V$ , sans altérer les transitions originales $V \to V$ .

2. Mappage token-vers-dictionnaire

Pour réaliser cette expansion sans modifier la structure de transition originale, les auteurs introduisent une stratégie de mappage token-vers-dictionnaire :

Concept : Les nouveaux tokens ne sont pas appris comme des entités indépendantes avec des dynamiques de transition uniques. Au lieu de cela, chaque nouveau token $u \in U$ est mappé vers une combinaison parcimonieuse de tokens existants dans $V$ .
Ajustement des embeddings : Ce mappage est mis en œuvre via un algorithme d'ajustement des embeddings. Seuls les vecteurs d'embedding correspondant aux tokens nouvellement introduits sont mis à jour (ou étendus). Les embeddings de tokens originaux et le graphe de calcul de transition du modèle restent figés.
Mécanisme : En ne mettant à jour que l'embedding du nouveau token, le modèle apprend à représenter ce token comme une combinaison linéaire de structures sémantiques existantes (embeddings), réutilisant ainsi efficacement les dynamiques de transition apprises du vocabulaire de base.

3. Analyse théorique

L'article établit des bornes de complexité d'échantillonnage pour l'apprentissage de ces nouveaux tokens sous la stratégie de mappage :

Mappage un-à-un : Si un nouveau token se comporte de manière identique à un seul token existant, la complexité d'échantillonnage évolue avec la marge de séparation KL ( $\gamma$ ) entre les distributions de tokens, indépendamment de la taille totale du vocabulaire $T$ .
Combinaison parcimonieuse : Dans le cas plus général où un nouveau token est une combinaison parcimonieuse de $s$ tokens existants, le nombre d'échantillons requis évolue comme $\tilde{O}(s)$ . Crucialement, cette complexité dépend de la parcimonie de la représentation ( $s$ ) plutôt que de la taille totale du vocabulaire ( $T$ ) ou de la dimensionnalité du modèle.
Chaînes d'ordre supérieur : Le cadre s'étend aux chaînes de Markov d'ordre supérieur (génération dépendante du contexte) en reconstruisant l'espace d'états, où la complexité d'échantillonnage dépend du facteur de branchement effectif du langage naturel plutôt que de la croissance exponentielle du vocabulaire.

Contributions clés

Formulation markovienne : L'article formalise la génération de langage comme un processus de Markov, interprétant la mémoire du modèle comme une matrice de transition. Il présente l'expansion du vocabulaire comme un problème d'expansion d'espace d'états où l'oubli est éliminé en préservant les dynamiques de transition originales.
Garanties théoriques : Il fournit des garanties de complexité d'échantillonnage montrant que l'apprentissage d'un nouveau vocabulaire est efficace si les nouveaux tokens peuvent être mappés de manière parcimonieuse sur des tokens existants. Le coût évolue linéairement avec le nombre de tokens mappés ( $s$ ), et non avec la taille totale du vocabulaire.
Algorithme d'ajustement des embeddings : Les auteurs proposent un algorithme pratique qui ne met à jour que les embeddings des nouveaux tokens. Cette méthode induit un oubli nul par construction, car elle laisse intactes les probabilités de transition token-à-token originales.
Validation empirique : Des expériences extensives valident la théorie dans trois contextes :
- Opérateurs arithmétiques : L'apprentissage d'un nouveau token pour la multiplication a montré que l'ajustement des embeddings atteignait une haute précision avec un minimum de données tout en préservant les capacités d'addition (oubli nul), tandis que le fine-tuning complet provoquait un oubli catastrophique de l'addition.
- Vocabulaire synthétique : Sur des mots sans sens synthétiques, l'ajustement des embeddings a obtenu de fortes performances avec un oubli nul sur le benchmark WikiText, tandis que LoRA et le fine-tuning complet ont entraîné un oubli significatif.
- Expansion multilingue : Dans l'expansion du vocabulaire pour l'espagnol, l'allemand et l'arabe, l'ajustement des embeddings a maintenu un oubli quasi nul en anglais tout en obtenant la meilleure adaptation à la langue cible.

Résultats et signification

L'article démontre que les mises à jour de poids à grande échelle sont inutiles pour acquérir de petites quantités de nouvelles connaissances. En traitant les nouveaux tokens comme des extensions parcimonieuses du dictionnaire d'embeddings existant, la méthode proposée atteint :

Efficacité d'échantillonnage : De hautes performances avec significativement moins d'échantillons d'entraînement par rapport au fine-tuning complet.
Oubli nul : Les preuves théoriques et empiriques confirment que la mise à jour exclusive des embeddings de nouveaux tokens préserve entièrement les capacités originales du modèle.
Évolutivité : L'approche est efficace en calcul, ne nécessitant la mise à jour que d'une infime fraction des paramètres (les embeddings des nouveaux tokens).

Les auteurs affirment que ce travail comble le fossé entre la complexité d'échantillonnage théorique et l'apprentissage continu pratique. En modélisant les LLM comme des processus de Markov, ils fournissent une justification formelle expliquant pourquoi l'ajustement des embeddings prévient l'oubli, offrant une alternative principielle aux méthodes de fine-tuning paramétriquement efficaces basées sur des heuristiques. Le cadre suggère que le « coût » de l'apprentissage de nouvelles connaissances est régi par la parcimonie sémantique des nouveaux concepts par rapport au vocabulaire existant, plutôt que par la taille brute du modèle.