💬 NLP

Production and Perception in LLMs: A Token Probability Approach

Cette étude démontre que les grands modèles de langage présentent une asymétrie production-perception distincte dans leurs distributions de probabilité de jetons, où le simple cadrage du prompt induit des probabilités significativement différentes pour le texte généré par rapport au texte réévalué, un phénomène qui se reproduit à travers diverses architectures de modèles et décroît à mesure que le contexte de la séquence s'accumule.

Auteurs originaux : Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot poète super intelligent. Vous lui demandez d'écrire un poème sur un hérisson, et il le fait. Mais voici le twist : ce robot ne se contente pas de « penser » puis de « parler » comme un humain. Il utilise exactement les mêmes circuits cérébraux pour lire ce que vous avez écrit et pour écrire ses propres mots en retour. C'est comme une rue à sens unique où la voiture circule dans les deux sens en utilisant le même moteur.

À cause de cela, les scientifiques se sont demandé : le robot fait-il réellement une différence entre « écrire » un poème et « lire » un poème ? Ou est-ce simplement le même processus inversé ?

La grande découverte : l'effet de « jeu de rôle »

Les chercheurs ont découvert que oui, le robot agit différemment, mais pas parce qu'il possède des sentiments ou des intentions. Il change son comportement en fonction du prompt — la manière spécifique dont vous lui demandez de faire quelque chose.

Voyez le robot comme un acteur de méthode.

Scénario A (Production) : Vous dites : « S'il vous plaît, écrivez un poème sur un hérisson. » Le robot enfile son chapeau d'« Écrivain ». Il commence à générer des mots et attribue un certain niveau de confiance (probabilité) à chaque mot qu'il choisit.
Scénario B (Perception) : Vous prenez le même poème que le robot vient d'écrire et vous dites : « Voici un poème sur un hérisson. Veuillez l'évaluer. » Le robot enfile son chapeau de « Lecteur/Critique ». Il ne génère pas de nouveaux mots ; au lieu de cela, il réévalue les mots qu'il vient de voir.

L'étude a mesuré à quel point la « confiance » du robot dans chaque mot changeait entre ces deux scénarios.

Le résultat : Lorsque le robot passait du mode « Écrivain » au mode « Lecteur », sa confiance dans les mots changeait considérablement. La différence était énorme. En fait, l'écart entre la façon dont le robot « écrivait » le poème et la façon dont il « lisait » le poème était environ 1,8 fois plus grand que l'écart entre deux façons différentes de lui demander d'écrire le poème.

Pour mettre cela en chiffres :

Quand on demandait au robot d'écrire de deux manières légèrement différentes (par exemple, « Écrivez un poème » contre « J'aimerais que vous écriviez un poema »), la différence dans ses choix de mots était infime (environ 0,010).
Mais lorsqu'il passait de l'écriture à la lecture, la différence bondissait à 0,034.

Cela suggère que le simple fait de changer le « cadrage » de la demande — dire au robot d'être un créateur plutôt qu'un critique — suffit à faire travailler sa mathématique interne différemment, même s'il utilise les mêmes parties du cerveau pour les deux tâches.

Ce que le robot NE FAIT PAS

L'article est très clair sur ce que cela n'est pas.

Ce n'est pas parce que le robot a soudainement acquis des intentions ou une âme semblables à celles des humains. Le robot ne « veut » pas vraiment écrire ou « veut » vraiment lire.
Ce n'est pas parce que le robot est meilleur dans une tâche que dans l'autre.
Ce n'est pas juste un bug causé par les mots spécifiques utilisés dans le prompt. Les chercheurs ont testé cela en utilisant quatre façons différentes de demander un poème et trois façons différentes de demander une évaluation. L'effet s'est produit à chaque fois, peu importe la formulation de la demande.

La règle de la « première impression »

Il y a un autre détail intéressant sur le moment où cela se produit. La différence entre « écrire » et « lire » est la plus forte au tout début du poème.

Imaginez que le prompt est une voix forte criant des instructions au départ d'une course.

Au début (Token 1–10) : La voix du « Lecteur » est très forte, et la confiance du robot change énormément.
Au fil du poème : Le robot commence à lire ses propres mots. L'histoire qu'il raconte (le contexte) commence à étouffer l'instruction originale. La différence entre les modes « Écrivain » et « Lecteur » devient de plus en plus petite à mesure que le poème s'allonge.

Les chercheurs ont modélisé cette décroissance et ont constaté que le « choc » initial du prompt s'estompe, mais qu'une infime différence subsiste même à la fin.

À quel point sont-ils sûrs ?

L'équipe n'a pas seulement deviné ; elle a fait tourner les chiffres sur 1 089 poèmes différents (environ 93 000 mots au total) en utilisant cinq modèles de robots différents (incluant Llama-3.1-8B, EuroLLM-9B, et d'autres).

Ils ont trouvé l'effet dans les cinq modèles, incluant à la fois les modèles de base « bruts » et ceux qui ont été entraînés pour être des assistants utiles.
La différence était si constante que les plages de résultats pour l'« écriture » et la « lecture » ne se chevauchaient pas du tout.

Cependant, les auteurs prennent soin de préciser que cela suggère une différence fonctionnelle, et non que le robot possède un esprit semblable à celui d'un humain. Ils notent que bien que la différence soit statistiquement réelle et mesurable, nous ne savons pas encore si elle est « assez grande » pour signifier que le robot réfléchit réellement comme un humain qui distingue l'expression de l'écoute.

L'essentiel à retenir

Cette étude montre que même si les grands modèles de langage utilisent un moteur unique et symétrique pour la lecture et l'écriture, la façon dont vous leur parlez change leur manière de traiter les mots.

Si vous dites au robot d'être un poète, il pense d'une certaine manière. Si vous lui dites d'être un critique, il pense d'une autre manière. C'est un peu comme un caméléon : les « couleurs » internes du robot (ses distributions de probabilité) changent pour corresponder au rôle que vous lui donnez, prouvant que le contexte de la conversation compte tout autant que les mots eux-mêmes.

Résumé technique : Production et perception dans les LLM : une approche par la probabilité des tokens

Énoncé du problème
En psycholinguistique humaine, une asymétrie bien documentée existe entre la production du langage (encoder un message avec une intention) et la perception (inférer le sens à partir du contexte). Cependant, il reste incertain si les grands modèles de langage (LLM) présentent une distinction fonctionnellement analogue. Contrairement aux architectures antérieures de type encodeur-décodeur qui maintenaient des voies distinctes pour l'entrée et la sortie, les LLM contemporains de type décodeur uniquement reposent sur un mécanisme unique — la prédiction du prochain token — tant pour le traitement de l'entrée que pour la génération de la sortie. Cette symétrie architecturale suggère que les LLM pourraient manquer d'une distinction fondamentale entre production et perception. De plus, des études comportementales antérieures tentant de mesurer cette distinction via des sollicitations métalinguistiques (par exemple, demander aux modèles de juger ou de noter un texte) ont produit des résultats incohérents, échouant souvent à reproduire les asymétries humaines.

Méthodologie
Pour remédier à ces limites, les auteurs proposent un changement méthodologique : mesurer la distinction production-perception directement à travers les distributions de probabilité des tokens plutôt que de s'appuyer sur des jugements métalinguistiques générés. Citant Hu et Levy (2023), les auteurs soutiennent que les réponses évaluatives sollicitées divergent des probabilités sous-jacentes du modèle ; par conséquent, la mesure directe des probabilités offre un signal plus pur de l'état interne du modèle.

Le design expérimental comprend les étapes suivantes :

Génération : Un modèle de base (Llama-3.1-8B) génère une séquence de tokens (des poèmes sur 1 089 sujets animaliers) sous un prompt de production primaire (ex. : « Veuillez écrire un poème sur X »). Les probabilités des tokens ( $p_0$ ) sont enregistrées lors de cette génération.
Re-scoring (Contrôle) : La même séquence de tokens générée est réévaluée token par token sous un prompt de production reformulé (ex. : « J'aimerais que vous écriviez un poème sur X »). Cela produit les probabilités ( $p_1$ ) pour la condition Production–Production (prod-prod).
Re-scoring (Expérimental) : La même séquence de tokens générée est réévaluée sous un prompt orienté vers la perception (ex. : « Voici un poème sur X, veuillez le noter »). Cela produit les probabilités ( $p_2$ ) pour la condition Production–Perception (prod-perc).
Analyse : L'étude quantifie la divergence entre $p_0$ $p_{0}$ et $p_1$ $p_{1}$ par rapport à $p_0$ $p_{0}$ et $p_2$ $p_{2}$ en utilisant :
- Des corrélations de Pearson par poème.
- Des distances absolues moyennes par poème ( $|p_0 - p_1|$ vs. $|p_0 - p_2|$ ).
- Une analyse temporelle modélisant la décroissance de ces distances sur les 100 premiers tokens à l'aide d'une fonction de décroissance exponentielle ( $y = ae^{-bx} + c$ ).

L'expérience a été répliquée à travers plusieurs variations de prompts (4 prompts de production, 3 prompts de perception) et étendue à quatre autres modèles à poids ouverts (EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, et Qwen2.5-7B-Instruct), couvrant à la fois les variantes de base et de réglage d'instructions (instruction-tuned).

Résultats clés

Divergence systématique : L'étude trouve une divergence constante et substantielle dans les probabilités des tokens lorsque le cadrage passe de la production à la perception. La distance absolue moyenne dans la condition prod-perc est environ 1,8× plus grande que dans la condition prod-prod sur le modèle principal (Llama-3.1-8B), avec des intervalles de confiance à 95 % non chevauchants.
Spécificité au cadrage : La condition de contrôle prod-prod montre des corrélations proches du plafond, indiquant qu'une simple reformulation du prompt ne modifie pas significativement les probabilités. La divergence observée est spécifique au changement de cadrage communicatif (producteur vs interprète).
Dynamiques temporelles : L'effet est le plus fort au début de la séquence. La divergence décroît à mesure que le contexte généré s'accumule, suivant un schéma de décroissance exponentielle. Cependant, l'ampleur initiale de la divergence dans la condition prod-perc est environ 8 fois plus grande que dans la condition prod-prod, et les courbes ne convergent pas totalement dans la fenêtre des 100 tokens pour tous les modèles.
Généralisabilité : L'asymétrie se réplique sur les cinq modèles testés (tant de base que réglés par instructions), avec des distances prod-perc dépassant les distances prod-prod par des facteurs allant de 1,53× à 2,11×. Cela suggère que l'effet n'est pas un artefact d'une architecture de modèle spécifique ou de l'absence d'alignement (RLHF).

Signification et affirmations
L'article revendique plusieurs découvertes significatives :

Distinction fonctionnelle dans les architectures de type décodeur uniquement : Malgré la conception à paramètres partagés et décodeur uniquement qui, théoriquement, exclut des voies de production et de perception séparées, le seul cadrage du prompt est suffisant pour induire une asymétrie fonctionnellement significative dans les distributions de probabilité. Cela remet en question l'hypothèse selon laquelle les LLM traitent les entrées et les sorties de manière identique dans tous les contextes.
Validation méthodologique : L'étude valide l'utilisation de la mesure directe des probabilités de tokens plutôt que la sollicitation métalinguistique pour étudier les distinctions de type cognitif dans les LLM. En évitant la génération de texte évaluatif, la méthode isole l'effet du cadrage sur les représentations internes du modèle sans confondre cela avec la capacité du modèle à « parler de » la langue.
Robustesse de l'effet : La distinction production–perception n'est pas un artefact de la formulation spécifique des prompts ou d'une seule famille de modèles ; elle persiste à travers différentes tailles de modèles, architectures (base vs instruction-tuned) et combinaisons de prompts.

Limites
Les auteurs notent que l'étude est limitée à la plage de 7–9 milliards de paramètres et à un domaine créatif unique (la poésie). Ils reconnaissent que, bien qu'une différence statistiquement fiable existe, l'ampleur de cette différence par rapport au comportement humain reste une question d'interprétation ouverte. De plus, l'étude a utilisé les probabilités de la dernière couche ; les travaux futurs pourraient examiner si cette divergence est uniforme à travers les couches internes ou concentrée à des profondeurs spécifiques.