💬 NLP

Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS)

Ce papier présente le Score de Couverture Lexicale (WCS), une métrique démontrant que les filtres d'échantillonnage de décodage standard dans les grands modèles de langage élaguent systématiquement un vocabulaire humain de faible fréquence mais contextuellement approprié, agissant ainsi comme des mécanismes de censure involontaires qui répriment la diversité lexicale et homogénéisent le texte généré.

Auteurs originaux : Samer Awad, Javier Conde, Carlos Arriaga, Tairan Fu, Javier Coronado-Blázquez, Pedro Reviriego

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Samer Awad, Javier Conde, Carlos Arriaga, Tairan Fu, Javier Coronado-Blázquez, Pedro Reviriego

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un conteur maître assis dans une vaste bibliothèque infinie. Cette bibliothèque contient chaque mot de la langue humaine, des plus courants comme « le » et « et » aux mots rares, sophistiqués et beaux comme « éphémère » ou « pétichor ».

Selon ce document, même si le conteur a accès à l'ensemble de la bibliothèque, la manière dont il choisit son mot suivant ressemble à celle d'avoir un éditeur très strict et surprotecteur posté derrière son épaule. Cet éditeur ne se contente pas d'aider ; il coupe activement des chemins, forçant le conteur à n'utiliser que les mots les plus courants, sûrs et ennuyeux.

Voici une décomposition de ce que le document a révélé, en utilisant des analogies simples :

1. Le « Jardin des Sentiers qui se Bifurquent »

Les auteurs comparent le processus de prise de décision du modèle à une célèbre histoire de Jorge Luis Borges concernant un jardin où chaque chemin futur possible existe simultanément.

L'Idéal : Dans ce jardin, le conteur pourrait choisir n'importe quel chemin, y compris les sentiers sinueux et rares qui mènent à des expressions uniques et colorées.
La Réalité : Les « filtres d'échantillonnage » du modèle (les paramètres utilisés pour sélectionner les mots) agissent comme une tronçonneuse. Avant même que le conteur ne puisse regarder les chemins intéressants et rares, la tronçonneuse les abat tous. Le modèle est forcé de ne marcher que sur les grandes routes pavées principales où résident les mots les plus courants.

2. Le « Score de Couverture des Mots » (WCS) : Un Test de Survie

Pour le prouver, les chercheurs ont inventé un test appelé le Score de Couverture des Mots (WCS).

Le Déroulement : Ils ont pris une liste de mots « Milieu-Longue Traîne » — des mots qui ne sont pas super courants (comme « le ») mais ne sont pas du non-sens (comme « flibber »). Ce sont les mots qui donnent à l'écriture humaine sa saveur et sa texture.
Le Test : Ils ont intégré ces mots dans de vraies phrases écrites par des humains. Ensuite, ils ont demandé à l'IA : « Si vous écriviez cette phrase, vos paramètres actuels vous permettraient-ils de choisir ce mot spécifique ? »
Le Résultat : La réponse était souvent non. Même si l'IA connaissait le mot (il figurait dans ses données d'entraînement), les règles mathématiques qu'elle utilise pour choisir les mots (comme Top-p ou Top-k) bloquaient mathématiquement ce mot, l'empêchant d'être jamais sélectionné. Le mot était effectivement « effacé » du vocabulaire de l'IA à cet instant précis.

3. Le Piège de l'« Alignement »

Le document a révélé que rendre l'IA « plus sûre » et plus utile (un processus appelé alignement ou ajustement par instruction) aggravait en réalité le problème.

L'Analogie : Imaginez un artiste sauvage et créatif (le modèle « Base ») qui utilise une immense variété de couleurs. Ensuite, un manager (le processus d'« Alignement ») dit à l'artiste : « Veuillez vous en tenir aux couleurs que les clients préfèrent le plus. »
Le Résultat : L'artiste commence à utiliser encore moins de couleurs. Les versions « Instruct » ou « Alignées » des modèles testés dans le document ont effacé plus de mots que les versions brutes, non ajustées. Elles sont devenues encore plus homogènes, parlant d'un ton plus plat et plus répétitif.

4. Le Problème des « Paramètres par Défaut »

Les chercheurs ont vérifié les paramètres que les entreprises recommandent pour un usage quotidien (comme discuter ou écrire des e-mails).

La Découverte : Selon ces paramètres standards, une énorme partie des mots « Milieu-Longue Traîne » (entre 22 % et 57 % dans certains modèles) était totalement inaccessible.
La Métaphore : C'est comme donner à un chef une cuisine remplie d'épices exotiques tout en lui disant : « Vous ne pouvez utiliser que le sel, le poivre et le ketchup. » Le chef pourrait savoir ce qu'est le safran ou l'huile de truffe, mais les règles de la cuisine l'empêchent de jamais les utiliser.

5. Le Danger à Long Terme : Un Monde « Aplati »

Le document met en garde contre un cycle dangereux.

Le Cycle : Si les modèles d'IA commencent à produire du texte n'utilisant que des mots courants, et que de futurs modèles d'IA sont ensuite entraînés sur ce texte généré par l'IA, les mots « rares » disparaîtront entièrement des données d'entraînement.
Le Résultat : Le « Jardin des Sentiers qui se Bifurquent » finira par devenir un couloir unique, droit et ennuyeux. La texture riche et diverse de la langue humaine pourrait être définitivement lissée en une boue homogène et répétitive.

Résumé

Le document soutient que les outils que nous utilisons pour rendre le texte de l'IA « cohérent » et « sûr » agissent accidentellement comme des censeurs. Ils élaguent mathématiquement les parties uniques, rares et expressives de la langue humaine, nous laissant une version de l'anglais qui est sûre et cohérente, mais incroyablement ennuyeuse. Les auteurs suggèrent que nous devons repenser la manière dont nous sélectionnons les mots dans le modèle pour maintenir le « jardin » en vie et rempli de chemins diversifiés.

Résumé Technique : PERDUS DANS L'ÉCHANTILLONNAGE

Énoncé du Problème

Les modèles de langage modernes (LLM) génèrent fréquemment des textes homogènes, répétitifs et dépourvus de la richesse lexicale du discours humain. Alors que des recherches antérieures ont attribué ce « effondrement de mode » à des techniques d'alignement du modèle (telles que RLHF ou DPO) ou à des limitations des données d'entraînement, cet article examine le rôle des mécanismes de décodage dans la suppression de la diversité linguistique. Les auteurs postulent que les filtres d'échantillonnage standards (par exemple, Top-p, Top-k, Min-p) agissent comme des mécanismes d'élagage agressifs qui éliminent mathématiquement les mots à faible fréquence et à haute information du chemin de génération, même lorsque ces mots résident dans l'espace de probabilité latent du modèle. Cela se traduit par un « effondrement structurel » où le vocabulaire opérationnel du modèle est artificiellement contraint, lissant l'expression humaine unique en un discours homogénéisé.

Méthodologie : Le Score de Couverture des Mots (WCS)

Pour quantifier la mesure dans laquelle les filtres d'échantillonnage élaguent le vocabulaire contextuellement approprié, les auteurs introduisent le Score de Couverture des Mots (WCS). Cette métrique mesure le « taux de survie lexicale » des mots humains en fonction des paramètres d'échantillonnage. L'évaluation suit un Audit de Chemin Forcé en quatre étapes :

Sélection Lexicale : Un ensemble cible de mots de « Milieu-Longue Traîne » est sélectionné à partir du Corpus Google Web Trillion Word. Ces mots sont classés entre 10 000 et 40 000 en fréquence pour éviter les mots fonctionnels courants et le bruit extrêmement rare.
Appariement Contextuel : Les mots cibles sont réaffectés à des contextes naturalistes extraits de l'ensemble de données PG-19 (livres publiés avant 1919), assurant une évaluation au sein d'un environnement linguistiquement riche, rédigé par des humains et exempt d'homogénéisation web moderne.
Audit de Chemin Forcé : Pour chaque mot $w$ $w$ (composé de sous-mots $t_1, \dots, t_n$ $t_{1}, \dots, t_{n}$ ) et contexte $C$ $C$ , le modèle reçoit le préfixe de vérité terrain. Au lieu d'échantillonner, le système enregistre le rang et la probabilité des jetons de vérité terrain. L'audit détermine si ces jetons survivraient à la logique d'élagage d'algorithmes d'échantillonnage spécifiques :
- Survie Top-k : Le jeton doit se classer parmi les $k$ plus probables.
- Survie Top-p (Noyau) : Le jeton doit appartenir au plus petit ensemble de jetons dont la probabilité cumulative atteint le seuil $p$ .
- Survie Min-p : La probabilité du jeton doit dépasser une fraction échelonnée $m$ de la probabilité maximale du jeton.
Calcul de la Métrique : Le WCS est calculé comme la moyenne agrégée de l'accessibilité ( $R$ ) sur l'ensemble des mots cibles $W$ et leurs contextes. Un mot est considéré « couvert » ( $R=1$ ) uniquement si chaque jeton constitutif survit au filtre à son étape respective.

Configuration Expérimentale

L'étude a évalué des modèles à poids ouverts comportant moins de 20 milliards de paramètres, comparant les variantes Base (brutes) aux variantes Instruct/It (alignées). Les familles de modèles comprenaient Llama, Mistral, Qwen, Gemma et DeepSeek. Les expériences ont systématiquement balayé les paramètres d'échantillonnage :

Top-p : 0,7 à 0,99
Top-k : 1 à 20
Min-p : 0,01 à 0,1
Température : 0,7, 1,0 et 1,5

L'évaluation s'est concentrée sur la fraction de mots devenant inaccessibles ( $WCS(\theta, w) = 0$ ) à travers 10 contextes par mot, mesurant efficacement l'« effacement de mots ».

Résultats Clés

Effacement Systémique des Mots : Dans des paramètres par défaut standards de l'industrie (par exemple, Top-p $\approx$ 0,8–0,95, $T \approx$ 0,7), une fraction significative de mots cibles (22 % à 57 %) est complètement inaccessible dans l'un quelconque de leurs contextes. Par exemple, le modèle Gemma-4-E4B-it a effacé 57 % des mots cibles sous sa configuration par défaut.
Impact de l'Alignement : Les modèles entraînés par instruction (alignés) présentent généralement une accessibilité lexicale inférieure à celle de leurs homologues de base. Pour les paires correspondantes, l'accessibilité moyenne au niveau des mots est passée de 0,740 (Base) à 0,728 (Instruct), et le WCS agrégé a diminué de 0,290 à 0,277. Cela suggère que les processus d'optimisation des préférences restreignent directement l'espace de vocabulaire utilisable.
Déficit de Distillation : Le modèle DeepSeek-R1-Distill-Qwen-14B a montré une perte de vocabulaire significative par rapport à sa base Qwen2.5-14B, indiquant que la distillation de capacités de raisonnement structurées introduit des contraintes supplémentaires sur l'accessibilité lexicale.
Inefficacité de la Température Élevée : Même sous des paramètres de température élevée agressifs ( $T=1,5$ ), une fraction substantielle de contextes n'a pas réussi à sélectionner les mots cibles, indiquant que l'augmentation simple de la température ne permet pas de récupérer pleinement la diversité lexicale et compromet souvent la cohérence.
Variance Spécifique aux Modèles : Bien que la plupart des familles aient montré une diversité réduite après l'alignement, la famille Gemma a affiché des motifs non uniformes ; Gemma-3-12B-it s'est améliorée par rapport à sa base, tandis que Gemma-4-E4B-it a subi une érosion sévère, soulignant que les impacts de l'alignement varient selon l'architecture et l'itération d'entraînement.

Signification et Revendications

L'article affirme que les paramètres d'échantillonnage par défaut agissent comme des mécanismes de censure involontaires, élaguant mathématiquement le « Jardin des Chemins qui Se Séparent » (une métaphore pour l'espace de probabilité latent du modèle) avant qu'un jeton ne soit jamais sélectionné. Le WCS fournit un outil de diagnostic rigoureux pour quantifier ce phénomène, révélant que l'homogénéisation de la sortie des LLM n'est pas uniquement le résultat des données d'entraînement ou de l'alignement, mais est structurellement imposée par les filtres de décodage.

Les auteurs soutiennent que cette érosion lexicale pose un risque à long terme pour l'évolution de la langue. À mesure que le texte généré par les modèles remplit les dépôts publics et devient des données d'entraînement pour les modèles futurs, l'ingestion récursive de ce discours aplati pourrait restreindre de manière permanente le lexique humain actif, effaçant la « Longue Traîne » de l'expression diverse. L'article conclut que la préservation de la diversité du vocabulaire nécessite un changement de paradigme : traiter l'étendue lexicale comme un objectif architectural central équivalent à l'exactitude factuelle, plutôt que comme un paramètre superficiel, et développer des décodeurs guidés par la sémantique capables de distinguer le bruit du vocabulaire à faible fréquence, riche en contexte.

Limitations

Les auteurs reconnaissent plusieurs contraintes :

Portée : L'étude est limitée aux modèles à poids ouverts <20B paramètres et à la seule langue anglaise.
Biais des Données : Les contextes sont tirés de la littérature antérieure à 1919 (PG-19), introduisant un biais historique, bien que cela évite l'homogénéisation web moderne.
Métrique Binaire : Le WCS mesure l'exclusion absolue ( $R=0$ ou $1$) et ne capture pas l'« érosion douce » où un mot reste accessible mais dont la probabilité est considérablement atténuée.
Variance du Tokeniseur : Les différences de tokenisation en sous-mots entre les familles de modèles signifient que le nombre d'étapes de filtrage pour un seul mot varie, affectant la comparabilité directe.
Contexte Statique : L'audit utilise un préfixe fixe de 256 jetons, n'évaluant pas les dépendances à long terme.