🤖 machine learning

Induction Heads Interpolate N-Grams

Cet article démontre que les têtes d'induction dans les transformers implémentent un mécanisme sophistiqué d'apprentissage en contexte qui combine une interpolation par correspondance de contexte douce avec un lissage par pseudo-comptes additifs, régularisant efficacement l'estimation pour surpasser les bases de référence classiques basées sur le comptage.

Auteurs originaux : Francesco D'Angelo, Oguz Kaan Yuksel, Swathi Shree Narashiman, Nicolas Flammarion

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Francesco D'Angelo, Oguz Kaan Yuksel, Swathi Shree Narashiman, Nicolas Flammarion

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner le mot suivant dans une histoire. Vous regardez les mots que vous avez déjà lus pour trouver des motifs. C'est ce que font les modèles d'IA comme les Transformers lorsqu'ils « apprennent » à partir d'un prompt sans modifier leur cerveau interne (un processus appelé apprentissage en contexte ou in-context learning).

Pendant longtemps, les scientifiques ont pensé que ces modèles fonctionnaient comme un bibliothécaire strict : ils cherchaient uniquement des correspondances exactes des derniers mots. Si l'histoire disait « Le chat s'est assis sur le... », le modèle chercherait uniquement d'autres moments où l'histoire disait « Le chat s'est assis sur le... » et devinerait ce qui vient après. Si cette phrase exacte n'était jamais apparue auparavant, le modèle resterait bloqué, devinant au hasard ou abandonnant.

Ce nouvel article soutient que ces modèles sont en réalité bien plus intelligents et flexibles que cela. Ils ne se contentent pas de compter les correspondances exactes ; ils utilisent deux astuces ingénieuses pour combler les lacunes de leur mémoire, de la même manière qu'un humain utilise les indices contextuels.

Voici les deux astuces principales découvertes par l'article, expliquées avec des analogies simples :

1. La « Correspondance Douce » (Lissage de Jelinek-Mercer)

L'ancienne méthode (Comptage Strict) : Imaginez que vous essayez de deviner le mot suivant dans une phrase. Vous ne cherchez que des phrases qui sont identiques à celle que vous lisez actuellement. Si vous n'avez jamais vu cette phrase exacte auparavant, vous n'avez aucune idée de ce qui vient après.

La nouvelle méthode (Correspondance Douce) : L'article montre que les « têtes d'induction » du modèle (la partie spécifique du cerveau qui fait le travail) cherchent aussi des correspondances partielles.

L'analogie : Imaginez que vous essayiez de deviner la fin d'une phrase : « Le chat rouge s'est assis sur le... »
- Vous trouvez une phrase qui dit « Le rouge chat s'est assis sur le... » (Correspondance parfaite).
- Vous trouvez une autre phrase qui dit « Le noir chat s'est assis sur le... » (Seule la partie « chat » correspond).
- Vous trouvez une troisième phrase qui dit « Le chat rouge est assis sur le... » (Seule la partie « rouge » correspond).

Au lieu d'ignorer les correspondances partielles, le modèle leur donne un vote. Plus il y a de parties de la phrase qui correspondent, plus le vote est fort. Si la correspondance exacte est rare, le modèle écoute davantage les correspondances partielles. Il mélange ces votes pour faire une prédiction.

L'article appelle cela l'interpolation. C'est comme un chef goûtant une soupe. S'il n'a pas la recette exacte, il ne se contente pas de deviner ; il regarde les recettes similaires qu'il connaît et mélange les saveurs pour créer une nouvelle estimation raisonnable. Le modèle fait cela mathématiquement, en pondérant la confiance accordée à une « correspondance complète » par rapport à une « correspondance partielle ».

2. Le « Jeton BOS » comme filet de sécurité (Lissage Add-α)

Le problème : Et si le modèle n'avait jamais vu aucune version de la phrase actuelle ? Même les correspondances partielles pourraient manquer.

La solution : L'article souligne le rôle d'un jeton spécial appelé BOS (Beginning of Sequence - Début de séquence). Considérez cela comme un « Bouton de démarrage » au tout début de chaque histoire.

L'analogie : Imaginez que le modèle soit un détective. Habitement, il cherche des indices sur la scène du crime (le texte). Mais parfois, la scène du crime est trop nouvelle ou désordonnée pour trouver des indices. Le jeton BOS agit comme un filet de sécurité par défaut.
Lorsque le modèle voit le jeton BOS, il sait : « D'accord, je n'ai jamais vu cette situation spécifique auparavant. Revenons au comportement moyen de tous les mots. »
Cela ajoute une petite quantité de « fausses données » (appelée pseudo-comptage) à chaque prédiction possible. Cela empêche le modèle de dire : « Je n'ai aucune preuve, donc je ne peux pas deviner. » Au lieu de cela, il dit : « Je n'ai pas de preuve spécifique, donc je vais deviner en me basant sur ce qui est généralement commun. »

L'article montre qu'en présence de ce jeton BOS, le modèle apprend automatiquement à ajouter ce « filet de sécurité » à ses prédictions, ce qui est mathématiquement identique à une technique statistique classique appelée lissage add-α.

Qu'ont-ils prouvé ?

Les chercheurs n'ont pas seulement supposé cela ; ils ont construit une version simplifiée de l'IA (un « transformeur désentrelacé ») et ont prouvé mathématiquement que si l'on règle les curseurs de la bonne manière, il fait exactement ces deux choses :

Il mélange les correspondances exactes et les correspondances partielles (Correspondance Douce).
Il utilise le jeton BOS pour ajouter un filet de sécurité (Lissage Add-α).

Ensuite, ils ont entraîné de vrais modèles d'IA sur des jeux de motifs simples (chaînes de Markov). Ils ont constaté que :

Lors de l'entraînement, les modèles ont naturellement appris à utiliser ces astuces exactes.
Ils ne se contentaient pas de compter les correspondances exactes ; ils apprenaient à régulariser (lisser) leurs prédictions.
Dans les situations où les correspondances partielles étaient utiles (comme lorsque des mots similaires partagent un ancêtre commun), ces modèles ont surpassé les anciennes méthodes de « comptage strict ».

La conclusion principale

L'article conclut que ces modèles d'IA ne sont pas de simples « machines à compter » qui mémorisent des phrases exactes. Ce sont des régularisateurs statistiques sophistiqués. Ils ont appris à :

Mélanger les informations provenant des correspondances exactes et des correspondances partielles similaires.
Revenir aux moyennes générales lorsque les preuves spécifiques font défaut.

Cela explique pourquoi les grands modèles de langage sont si doués pour gérer des situations nouvelles et inédites : ils ne cherchent pas seulement une correspondance parfaite dans leur historique ; ils utilisent un mélange intelligent et pondéré de tout ce qu'ils ont vu pour faire la meilleure estimation possible.

Résumé technique : Les têtes d'induction interpolent les n-grammes

Énoncé du problème
Les têtes d'induction, identifiées comme le circuit principal de l'apprentissage en contexte (ICL) dans les transformeurs, sont traditionnellement caractérisées dans la limite de l'« attention dure » (hard-attention). Dans ce régime, le circuit effectue une correspondance de motifs exacte et un comptage de maximum de vraisemblance (ML). Bien que cette vision soit mécanistiquement séduisante, elle est statistiquement incomplète pour les dépendances d'ordre supérieur : les correspondances exactes de $k$ -grammes sont souvent trop rares dans les échantillons finis pour supporter une prédiction fiable, et l'estimateur ML attribue une probabilité nulle aux continuations non vues. Les modèles de langage classiques traitent cela via des mécanismes de lissage et de repli (back-off) (par exemple, Jelinek–Mercer, Katz back-off), qui redistribuent la masse de probabilité vers les événements non vus et interpolent à travers les longueurs de contexte. La question centrale abordée par ce travail est de savoir si les têtes d'induction implémentent une classe d'estimateurs plus riche que le simple comptage, capable notamment d'effectuer un tel lissage.

Méthodologie
Les auteurs analysent des transformeurs entraînés sur des chaînes de Markov d'ordre- $k$ , un cadre qui équilibre la tractabilité analytique avec les compromis d'échantillonnage fini inhérents à la prédiction basée sur le contexte.

Cadre théorique : L'étude utilise une architecture de transformeur « désenchevêtrée » (supprimant les MLP et utilisant la concaténation pour les flux résiduels) afin de faciliter une analyse exacte. Les auteurs construisent un transformeur spécifique à deux couches avec un encodage de position relative (RPE) et prouvent qu'il implémente un estimateur de correspondance de contexte doux (soft context-matching).
Construction du mécanisme :
- Couche 1 (Têtes de copie) : Utilise $k$ têtes d'attention pour copier des jetons à partir de décalages relatifs spécifiques ( $t-1, \dots, t-k$ ), construisant une représentation du contexte actuel.
- Couche 2 (Correspondance de contexte) : Utilise une seule tête d'attention pour comparer le contexte de requête avec tous les contextes candidats dans l'historique. Les scores d'attention sont conçés pour calculer un produit scalaire aligné par décalage, pondérant les correspondances selon le nombre de jetons superposés (recouvrement de Hamming) plutôt qu'en exigeant des correspondances exactes.
- Jetons BOS : Les auteurs incorporent un jeton de début de séquence (BOS) comme cible d'attention indépendante de la séquence pour introduire des pseudo-comptages additifs.
Analyse statistique : Les auteurs dérivent l'estimateur en forme fermée implémenté par ce circuit et le comparent aux prédicteurs de Bayes-optimaux sous deux priors de tâches :
- Prior de Dirichlet indépendant : Où les contextes sont non corrélés.
- Prior de Dirichlet hiérarchique : Où les transitions d'ordre supérieur sont centrées sur leurs suffixes d'ordre inférieur, créant des corrélations entre les contextes partageant un suffixe.

Contributions clés
Le papier établit que les têtes d'induction implémentent deux mécanismes de lissage complémentaires lorsqu'elles opèrent à des échelles de poids d'attention finies :

Correspondance de contexte douce (Interpolation) :
- Le circuit agrège les contributions provenant de correspondances de contexte exactes et partielles.
- Les correspondances sont pondérées exponentiellement par leur taille de recouvrement ( $|M|$ ).
- Cela induit une interpolation dépendante des données à travers les ordres de contexte, analogue au lissage de Jelinek–Mercer. Contrairement au lissage JM classique, qui utilise des poids globaux fixes, les poids du transformeur dépendent des comptes réalisés dans la séquence spécifique.
- L'estimateur unifie les modèles de mélange (comme JM) et les stratégies de repli (comme Katz) : lorsque les correspondances exactes sont rares, le modèle effectue automatiquement un « repli » vers des correspondances partielles d'ordre inférieur sans règles explicites.
BOS comme pseudo-comptages additifs :
- Le jeton BOS agit comme un puits fixe et indépendant de la séquence pour l'attention.
- Ce mécanisme permet au modèle d'ajouter des pseudo-comptages constants aux comptes de transition spécifiques au contexte.
- Théoriquement, cela permet de retrouver le lissage add- $\alpha$ (par exemple, le lissage de Laplace) dans la limite de poids d'attention élevés, fournissant une explication au niveau du circuit de la manière dont les conventions architecturales implémentent une régularisation de type a priori.
Validation empirique :
- Les auteurs entraînent des transformeurs désenchevêtrés et standards (entièrement paramétrés) sur des tâches de chaîne de Markov.
- Les résultats montrent que les modèles entraînés récupèrent les motifs d'attention prédits :
  - Sans BOS, ils s'appuient sur la correspondance de contexte douce pour interpoler à travers les ordres.
  - Avec le BOS, ils utilisent les pseudo-comptages pour atteindre une performance proche de l'optimal de Bayes sous des priors indépendants.
  - Sous des priors hiérarchiques, où les contextes d'ordre inférieur fournissent des preuves structurées, les modèles surpassent les baselines de lissage fixe en exploitant le mécanisme d'interpolation.
- L'analyse mécaniste confirme que les transformeurs standards entraînés apprennent les structures de poids spécifiques (par exemple, les matrices décalées par blocs) prédites par la théorie.

Résultats

Divergence KL : Dans les configurations où le lissage add- $\alpha$ est Bayes-optimal (Dirichlet indépendant), les transformeurs entraînés avec BOS correspondent au prédicteur Bayes-optimal. Dans les configurations hiérarchiques, où des preuves structurées existent, le mécanisme d'interpolation permet aux transformeurs de surpasser les baselines de lissage fixe.
Motifs d'attention : Les visualisations des modèles entraînés confirment le circuit à deux étapes : la Couche 1 effectue la copie par décalage spécifique, et la Couche 2 effectue la correspondance douce, distribuant la masse d'attention entre les correspondances complètes et partielles en fonction du recouvrement.
Poids de décalage asymétriques : Dans les tâches hiérarchiques, les modèles entraînés apprennent à assigner des poids plus élevés aux correspondances sur le jeton le plus récent (décalage 1) par rapport aux jetons plus anciens (décalage 2), ce qui est cohérent avec la structure du prior où les jetons récents sont de meilleurs prédicteurs de l'état suivant.

Signification
Ce papier comble le fossé entre l'interprétabilité mécaniste des têtes d'induction et le lissage statistique classique. Il démontre que les transformeurs ne se contentent pas d'un comptage non régularisé ; ils apprennent à régulariser l'estimation en contexte. En interpolant dynamiquement à travers les ordres de contexte et en utilisant des jetons architecturaux (BOS) pour le lissage additif, les têtes d'induction implémentent des procédures statistiques sophistiquées qui s'adaptent à la distribution des données, expliquant ainsi leur robustesse dans les tâches d'apprentissage en contexte.

1. La « Correspondance Douce » (Lissage de Jelinek-Mercer)

2. Le « Jeton BOS » comme filet de sécurité (Lissage Add-α)

Qu'ont-ils prouvé ?

La conclusion principale

Articles similaires