🤖 machine learning

When More Becomes Less: Position-Dependent Repetition Effects in Language Models

Cet article démontre que l'impact de la répétition de jetons sur les prédictions des modèles de langage dépend de la position, révélant que si la répétition adjacente augmente systématiquement la probabilité de la cible, la répétition déplacée produit un effet en forme de U inversé où la probabilité culmine puis décline à mesure que la répétition augmente, remettant en question l'hypothèse selon laquelle les effets de répétition sont uniformes quel que soit le poste de lecture.

Auteurs originaux : Han-yu Wang

Publié 2026-08-06

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Han-yu Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vie secrète de la répétition dans les cerveaux de l'IA

Imaginez que vous essayiez d'apprendre à un robot comment raconter une histoire. Vous lui donnez une amorce, comme le début d'une phrase, et vous lui demandez de deviner le mot suivant. C'est ainsi que fonctionnent beaucoup de systèmes d'Intelligence Artificielle (IA) modernes, connus sous le nom de Grands Modèles de Langage (LLM). Ils sont comme des moteurs d'autocomplétion surpuissants qui ont lu presque tout ce qui se trouve sur Internet. Pour déterminer s'ils "savent" réellement quelque chose, les scientifiques utilisent souvent un truc appelé "test de cloze". C'est comme un puzzle à trous : vous montrez à l'IA une phrase avec un mot manquant, et vous voyez si elle peut deviner le bon.

Pendant des années, les chercheurs ont cru en une règle simple sur la façon dont ces cerveaux d'IA gèrent la répétition. Ils pensaient que si vous répétiez un mot encore et encore dans l'amorce, l'IA serait plus confiante quant à ce mot, tout comme un humain pourrait devenir plus à l'aise avec un concept à force de l'entendre. C'est ce qu'on appelle l'« amorçage » (priming). Si vous dites « pomme, pomme, pomme », l'IA devrait se dire : « D'accord, il s'agit certainement de pommes ! » et prédire « pomme » avec une grande confiance. Les scientifiques supposaient que cette confiance continuerait de grimper à mesure que l'on ajoutait des copies du mot, peu importe où dans la phrase on demandait à l'IA de faire sa prédiction. Mais et si cette supposition était fausse ? Et si le cerveau de l'IA fonctionnait différemment selon l'endroit où vous lui demandez de regarder ? C'est la question que traite le papier de Han-yu Wang, explorant un étrange caprice où « plus » de répétition entraîne « moins » de confiance, mais seulement dans des conditions spécifiques.

Quand le plus devient le moins : Le point d'oubli de l'IA

Dans cette étude, le chercheur a mis en place une petite expérience ingénieuse pour tester la réaction des modèles d'IA à la répétition. Imaginez que vous avez un mot magique, disons « chat ». Vous pouvez montrer ce mot à l'IA de deux manières différentes, mais vous gardez le début de l'histoire exactement le même.

Le test du « juste à côté » (Sonde adjacente) :
D'abord, vous écrivez une longue liste de mots « chat » juste jusqu'à la fin de la phrase : « chat, chat, chat, chat... [devinez ici] ». Vous demandez à l'IA de deviner le mot suivant.

Ce qui s'est passé : Comme la vieille règle le prédisait, l'IA est devenue de plus en plus confiante. Plus vous ajoutiez de mots « chat », plus elle était sûre que le mot suivant serait « chat ». C'était comme un battement de tambour qui devenait de plus en plus fort.

Le test du « nouveau départ » (Sonde déplacée) :
Ensuite, le chercheur a fait quelque chose de sournois. Il a écrit la même longue liste de mots « chat » au début, mais a ajouté un point final et un tout nouveau cadre de phrase avant de demander la prédiction. Cela ressemblait à ceci : « chat, chat, chat, chat... . Le ciel est bleu. [devinez ici] ».

Ce qui s'est passé : C'est là que le tour de magie a échoué. Au lieu de gagner en confiance, la confiance de l'IA a fait un étrange salto arrière. Au début, ajouter quelques mots « chat » aidait. Mais dès que la liste devenait trop longue (environ 5 à 10 copies), l'IA commençait à perdre sa confiance. Au moment où vous aviez 30 mots « chat », l'IA était en fait moins susceptible de deviner « chat » qu'avec seulement quelques copies.

Le chercheur appelle cette forme une « courbe en U inversé ». C'est comme si l'IA s'excitait un peu au début, puis se sentait submergée ou confuse par la quantité pure de répétition lorsqu'elle doit passer à une nouvelle phrase pour trouver la réponse.

La grande découverte : Tout est question de l'endroit où l'on regarde

La découverte la plus importante de ce papier est que la position de la question compte énormément. La même liste de mots répétés peut rendre l'IA plus intelligente si vous posez la question immédiatement après la liste, mais peut la rendre plus stupide si vous posez la question une phrase plus tard.

L'étude a testé cela sur 13 modèles d'IA différents, allant de petits à très grands. Ils ont découvert que ce motif de « U inversé » se produisait dans chacun d'entre eux. Ce n'était pas un coup de chance avec un cerveau informatique spécifique. Ils l'ont même testé dans quatre autres langues — l'espagnol, le chinois, l'allemand et le français — et le même motif étrange est apparu. Cela suggère qu'il ne s'agit pas d'une erreur dans la façon dont l'IA parle anglais, mais d'un caprice fondamental dans la façon dont ces modèles traitent l'information répétée.

Ce que ce n'EST PAS (Et ce que C'EST)

Le chercheur ne s'est pas contenté de trouver le motif ; il a joué au détective pour comprendre pourquoi cela se passait. Il voulait s'assurer que ce n'était pas simplement parce que la phrase devenait trop longue, ou parce que l'IA était fatiguée, ou parce qu'elle pensait à des mots liés à « chat » (comme « chaton » ou « ronron »).

Ce n'est pas une question de longueur : Ils ont testé des phrases avec le même nombre de mots mais avec des mots de remplissage aléatoires et ennuyeux au lieu de répéter « chat ». La chute étrange de confiance ne s'est pas produite.
Ce n'est pas une question de mots apparentés : Ils ont essayé de remplacer les mots « chat » répétés par des mots qui signifient la même chose ou qui sont liés. Là encore, pas de baisse de confiance.
C'EST une question de répétition exacte : La chute n'est survenue que lorsque le même mot exact était répété encore et encore.

Cela signifie que l'IA ne s'ennuie pas simplement ou ne se sent pas confuse par un texte long. Quelque chose de spécifique se produit lorsque le même jeton (le bloc numérique d'un mot) est répété trop de fois avant qu'une nouvelle phrase ne commence.

À l'intérieur du cerveau de l'IA

Pour comprendre ce qui se passait, le chercheur a jeté un coup d'œil à l'intérieur des mécanismes d'« attention » des modèles. Vous pouvez imaginer l'attention comme un projecteur que l'IA braque sur différentes parties de la phrase.

Le projecteur rétrécit : À mesure que la liste de mots « chat » augmentait, la quantité d'attention que l'IA accordait à chaque mot « chat » individuel devenait plus petite. Cela est logique ; si vous avez un montant fixe de lumière de projecteur et que vous devez l'éclairer sur 30 choses, chaque chose reçoit moins de lumière.
Le budget total augmente (dans certains modèles) : Étonnamment, dans les modèles qui présentaient la plus grande chute de confiance, la quantité totale d'attention que l'IA accordait à l'ensemble du bloc de mots « chat » a en fait augmenté à mesure que la liste s'allongeait. C'était comme si l'IA criait « Regardez tous ces chats ! » de plus en plus fort, mais que, d'une certaine manière, ce cri rendait plus difficile le souvenir du mot spécifique « chat » lorsqu'elle devait passer à la nouvelle phrase.

Pourquoi devriez-vous vous en soucier ?

Ce papier est un avertissement pour quiconque essaie de tester l'intelligence de ces modèles d'IA. Si vous êtes un scientifique essayant de voir si une IA connaît un fait, et que vous utilisez une méthode qui répète un mot de nombreuses fois pour « amorcer » l'IA, vous pourriez obtenir l'opposé de ce que vous attendez. Si vous posez la question à l'IA une phrase plus tard, vous pourriez accidentellement la rendre moins susceptible de donner la bonne réponse.

L'étude montre que nous ne pouvons pas traiter la position d'une question comme un détail neutre. L'endroit où vous posez la question change la réponse. C'est un rappel que ces cerveaux d'IA sont complexes et parfois contre-intuitifs : parfois, entendre un mot trop souvent ne vous aide pas à s'en souvenir ; cela peut simplement vous faire l'oublier, surtout si vous devez attendre un moment avant de répondre.

Le chercheur a testé cela sur 13 modèles et a trouvé l'effet dans tous les cas. Il a vérifié cela dans 42 combinaisons différentes de modèles et de langues, et le motif s'est maintenu à chaque fois. Bien qu'ils ne puissent pas dire exactement pourquoi le cerveau de l'IA fonctionne ainsi (c'est une corrélation, pas une explication complète du mécanisme), ils ont prouvé que cet effet de « le plus devient le moins » est réel, constant et se produit de manière généralisée. C'est un petit morceau, mais un morceau crucial, du puzzle pour comprendre comment ces cerveaux numériques pensent réellement.

Résumé technique : Effets de répétition dépendants de la position dans les modèles de langage

Énoncé du problème

Les études de sondage de type « cloze » (texte à trous) dans les modèles de langage (LM) font fréquemment varier la fréquence d'un jeton cible dans l'invite pour mesurer les effets sur la prédiction (par exemple, l'amorçage sémantique ou l'apprentissage en contexte). Ces études supposent implicitement que la position de lecture (où la prédiction du modèle est échantillonnée) est orthogonale à la manipulation : que l'effet de la répétition sur la probabilité de prédiction reste cohérent, que le slot de prédiction soit situé immédiatement après le bloc répété ou qu'il soit déplacé dans une nouvelle structure de phrase.

Cet article remet en question cette hypothèse, démontrant que la position du slot de lecture modifie fondamentalement la manière dont la répétition affecte la récupération. Plus précisément, alors que la répétition agit comme un amorceur monotone lorsque le slot est adjacent au bloc répété, elle produit un effet de « courbe en U inversé » non monotone lorsque le slot est déplacé, provoquant une baisse de la probabilité de la cible à mesure que le nombre de répétitions augmente au-delà d'un certain point.

Méthodologie

Le design à deux sondes appariées

L'auteur introduit un design expérimental à préfixe apparié pour isoler l'effet de la position de lecture :

Sonde Adjacente : Le slot de prédiction est placé immédiatement après un préfixe contenant $N$ copies d'un jeton cible (ex: cible × N [MASK]).
Sonde Déplacée : Le slot de prédiction est déplacé dans une nouvelle structure de phrase suivant le même préfixe (ex: cible × N . <nouvelle structure> [MASK]).

L'étude maintient le préfixe de la cible répétée fixe tout en faisant varier uniquement la position du slot. Le nombre de répétitions $N$ varie de 0 à 30.

Configuration expérimentale

Modèles : 13 modèles de langage en accès ouvert ont été testés, incluant 2 modèles de langage masqués (MLM : ModernBERT-base/large) et 11 modèles de langage causaux (CLM) de tailles et d'architectures variées (famille Qwen2.5, SmolLM2, Phi-3.5, OLMo-2).
Cibles : 261 noms de jetons uniques sélectionnés à la main, filtrés par tokenizer pour garantir la validité du jeton unique.
Langues : L'effet a été répliqué en anglais, espagnol, chinois, allemand et français en utilisant des checkpoints multilingues.
Métriques : La statistique principale est la chute par mot (per-word drop), définie comme $(peak_w - P(N=30)_w) / peak_w$ , où $peak_w$ est la probabilité maximale observée pour un mot à travers $N \in \{1, 3, 5, 10, 20, 30\}$ . Une chute positive avec un intervalle de confiance de bootstrap excluant zéro indique l'effet de l'U inversé.

Ablation et contrôles

Pour isoler le mécanisme, l'auteur a réalisé :

Ablation causale en six conditions : Remplacement du bloc répété par des répétitions tronquées, des suppressions, des remplisseurs aléatoires, des remplisseurs de voisinage sémantique et des répétitions non liées.
Contrôle de la pragmatique du cadre : Variation de la structure de la phrase pour écarter les artefacts de la structure spécifique du cadre.
Réponse pré-établie : Fournir la cible explicitement au début de l'invite pour tester si l'effet persiste lorsqu'une autre voie de récupération existe.
Analyse interne : Mesure de l'attention par jeton cible et du budget total d'attention assigné au bloc répété.

Résultats clés

1. L'U inversé déplacé

La découverte centrale est une dissociation comportementale entre les deux positions de sonde :

Slot Adjacent : $P(\text{cible})$ grimpe de manière monotone avec $N$ et stagne, ce qui est cohérent avec l'intuition classique de l'amorçage.
Slot Déplacé : $P(\text{cible})$ augmente jusqu'à un pic précoce (typiquement $N \in \{1, 3, 5, 10\}$ ) puis décline à mesure que $N$ augmente jusqu'à 30. Cet « U inversé déplacé » a été observé dans tous les 13 modèles testés, la chute par mot étant statistiquement significative (IC excluant zéro) dans chaque cas.

2. Robustesse et généralisation

Translinguistique : L'effet s'est répliqué dans 42 cellules (4 modèles × 4 langues × 3 cadres) en espagnol, chinois, allemand et français.
Échelle et architecture : L'effet apparaît à travers différentes tailles de modèles (de 360M à 14B de paramètres) et architectures (MLM et CLM). Cependant, l'ampleur de la chute n'est pas une fonction monotone du nombre de paramètres ; par exemple, au sein de la famille Qwen2.5, les modèles 1.5B et 14B ont montré des chutes plus importantes que le modèle 7B.
Ajustement d'instruction (Instruction Tuning) : L'ajustement d'instruction (ex: Qwen2.5-7B vs Qwen2.5-7B-Instruct) n'a pas éliminé l'effet ; dans certains cas, il a augmenté l'ampleur de la chute.

3. Mécanisme causal

Répétition lexicale exacte : L'effet est piloté spécifiquement par la répétition lexicale exacte de la cible. Les remplisseurs de voisinage sémantique (qui activent le champ sémantique de la cible) n'ont pas réussi à reproduire l'U inversé, et les remplisseurs aléatoires ou les suppressions ont éliminé l'effet.
Ni longueur ni redondance : L'effet n'est pas une fonction de la longueur de la séquence ou d'une redondance générique.
Corrélats internes :
- Attention par jeton : L'attention reçue par chaque jeton cible individuel diminue à mesure que $N$ augmente.
- Budget total du bloc : Dans les CLM, le budget total d'attention assigné au bloc répété croît avec $N$ (sub-dilution), tandis que dans le MLM, le budget reste approximativement plat. Cela suggère que l'entraînement autorégressif induit une dynamique spécifique où le modèle alloue des ressources totales croissantes au bloc répété, mais où le signal par jeton se dégrade dans un contexte déplacé.

Signification et revendications

L'article avance deux contributions principales :

Constat empirique : Les modèles de langage actuels en accès ouvert ne parviennent pas à agréger la répétition lexicale exacte de manière additive aux slots déplacés. Ajouter des copies d'une cible peut abaisser sa probabilité une clause après le bloc, même si le même préfixe amorce avec succès un slot adjacent. Cela contredit l'hypothèse selon laquelle les effets de répétition sont indépendants de la position.
Instrument méthodologique : Le « design à deux sondes à préfixe apparié » fournit un outil pour séparer la continuation de motif locale de la récupération déplacée. L'auteur soutient que toute étude de sondage contrôlée impliquant du contenu répété (ex: benchmarks d'apprentissage en contexte, sondages de connaissances factuelles) ne peut traiter la position de lecture comme étant orthogonale à la manipulation. Une manipulation qui apparaît comme un amorçage monotone à une position peut s'inverser à la position réellement évaluée dans de nombreux benchmarks.

L'auteur reste modeste quant au mécanisme sous-jacent, notant que ses sondes internes sont corrélationnelles. Il suggère que l'effet pourrait provenir de la coopération softmax entre les clés répétées, des dynamiques de « puits d'attention » (attention-sink) ou des priors de récence spécifiques à l'autorégression, mais ses données ne permettent pas de distinguer ces candidats. Il note également des limites, telles que la restriction aux cibles de jeton unique et l'absence d'explication claire pour l'exception de l'inversion de la courbe moyenne de SmolLM2-1.7B.