💬 NLP

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Ce papier identifie que l'effondrement de la diversité dans les grands modèles de langage est principalement causé par une mauvaise calibration de l'ordre et de la forme dans leurs distributions de probabilité lors du décodage, plutôt que par des limitations des heuristiques d'échantillonnage, conduisant à un compromis entre la validité et la diversité des sorties.

Auteurs originaux : Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez à un Modèle de Langage (LLM) de raconter une histoire, d'écrire un poème ou de suggérer une ville au hasard. Vous vous attendez à une grande variété de réponses créatives. Au lieu de cela, le modèle reste souvent coincé dans une ornière, vous offrant les mêmes quelques clichés encore et encore (comme « Il était une fois... » ou « Valparaíso, Chili »).

Ce papier enquête sur pourquoi cela se produit. Les auteurs soutiennent que le problème ne réside pas simplement dans le fait que le modèle est « ennuyeux » ou que nos outils actuels pour choisir des mots (méthodes d'échantillonnage) sont mauvais. Le problème est plutôt inhérent à la façon dont le modèle organise sa propre carte de probabilités internes. Ils appellent cela un « Goulot d'étranglement de Calibration ».

Pour expliquer cela, imaginez que le modèle est un Bibliothécaire se tenant devant un mur massif de livres (tous les mots suivants possibles). Le Bibliothécaire doit choisir le mot suivant pour continuer l'histoire.

Les Deux Problèmes Principaux

Le papier identifie deux façons spécifiques dont ce Bibliothécaire est « mal calibré » (désaligné par rapport à la réalité), ce qui provondre l'effondrement de la diversité.

1. Calibration de l'Ordre : Le Bibliothécaire Ne Peut Pas Trier les Livres

L'Analogie :
Imaginez que vous demandez au Bibliothécaire de choisir un « bon » livre. Vous vous attendez à ce que le Bibliothécaire place tous les « bons » livres tout en haut de l'étagère et tous les « mauvais » livres tout en bas.

Ce que fait le modèle : Le Bibliothécaire place quelques bons livres en haut, mais mélange ensuite un tas de mauvais livres juste au milieu. Puis, plus bas sur l'étagère, il y a davantage de bons livres cachés parmi les mauvais.
La Conséquence : Si vous dites au Bibliothécaire : « Donne-moi juste les 10 premiers livres », vous pourriez obtenir 5 bons et 5 mauvais. Si vous dites : « Donne-moi les 100 premiers pour être sûr », vous obtenez 90 mauvais livres.
L'Affirmation du Papier : Le modèle échoue dans la Calibration de l'Ordre. Il ne peut pas classer de manière fiable les mots « valides » (corrects/sensés) plus haut que les mots « invalides » (non-sens). Parce que les mots valides et invalides sont mélangés dans le classement, tout outil tentant de filtrer la liste (comme « Top-K » ou « Top-P ») est forcé de faire un choix terrible : soit couper les bonnes idées pour éviter les mauvaises, soit inclure trop de mauvaises idées pour sauver les bonnes.

2. Calibration de la Forme : Le Bibliothécaire est Obsédé par un Seul Livre

L'Analogie :
Maintenant, imaginez que le Bibliothécaire arrive à séparer les bons livres des mauvais. Mais en regardant le tas « Bon », le Bibliothécaire est obsédé par un seul livre spécifique.

Ce que fait le modèle : Le Bibliothécaire consacre 90 % de son attention à un seul « bon » livre spécifique (par exemple, « Il était une fois »). Les 99 autres « bons » livres ne reçoivent qu'une infime, infime part d'attention. Pendant ce temps, les « mauvais » livres sont dispersés dans une longue et fine queue tout en bas.
La Conséquence : Même si vous essayez de changer les choses (en utilisant la « Température », ce qui équivaut à dire au Bibliothécaire d'être plus aléatoire), le Bibliothécaire déplace simplement son obsession légèrement. Il pourrait arrêter d'être obsédé par « Il était une fois » et commencer à être obsédé par « Dans un monde où... », mais il ignore toujours les 98 autres bonnes options. Pire, rendre le Bibliothécaire plus aléatoire l'amène souvent simplement à choisir un « mauvais » livre dans la longue queue au lieu d'un rare « bon » livre.
L'Affirmation du Papier : Le modèle échoue dans la Calibration de la Forme. La probabilité est trop concentrée sur quelques options valides spécifiques, laissant le reste des options valides affamées d'attention.

L'Effet Domino : Pourquoi Une Erreur Devient un Désastre

Le papier explique que ces problèmes s'aggravent à mesure que l'histoire s'allonge.

L'Analogie :
Imaginez que vous marchez dans un labyrinthe.

Étape 1 : Au premier tournant, vous avez 90 % de chances de choisir le bon chemin et 10 % de chances de tomber dans une impasse. Cela semble acceptable.
Étape 2 : Au tournant suivant, vous avez à nouveau 90 % de chances d'être dans le vrai.
Le Résultat : Si vous devez faire 20 tournants, la chance de prendre le chemin entier correct sans toucher une seule impasse chute à presque zéro.

Le papier prouve mathématiquement que parce que le modèle commet de petites erreurs à chaque étape unique (en choisissant le mauvais mélange de mots ou en se concentrant trop sur un seul mot), ces erreurs s'accumulent. Au moment où le modèle termine une phrase ou un paragraphe, la probabilité qu'il ait exploré un chemin véritablement diversifié et valide est exponentiellement infime.

Qu'Ont-ils Fait ?

Les chercheurs n'ont pas seulement deviné ; ils ont construit une « boîte à outils de diagnostic » :

Tests Contrôlés : Ils ont donné aux modèles des tâches simples où ils connaissaient la liste exacte des réponses correctes (comme générer des nombres aléatoires ou nommer des États américains).
Le Test « Oracle » : Ils ont créé un filtre parfait qui savait exactement quels mots étaient valides. Même avec ce filtre parfait, les modèles continuaient de lutter pour être diversifiés à cause du problème de « Forme » (l'obsession pour un seul mot).
Le Verdict : Ils ont testé 14 modèles différents (du petit au gigantesque). Ils ont constaté que les modèles plus grands ne résolvaient pas le problème. Même les modèles les plus intelligents présentaient toujours ces problèmes de tri et de concentration.

La Conclusion

Le papier conclut que le manque de diversité dans l'IA n'est pas simplement un bug dans les outils de « sélection » (comme la température ou l'échantillonnage top-k). C'est un défaut fondamental dans la façon dont le modèle distribue sa confiance.

Il ne peut pas trier les mots valides au-dessus des invalides de manière fiable.
Il ne peut pas répartir son attention uniformément sur tous les mots valides.

Jusqu'à ce que le modèle apprenne à organiser sa bibliothèque interne différemment, ajuster simplement les paramètres ne débloquera pas la véritable créativité ou diversité. Le « goulot d'étranglement » est la propre distribution du modèle, et non les outils que nous utilisons pour le lire.

Résumé technique : Échantillonner davantage, obtenir moins : l'étalonnage est le goulot d'étranglement de la diversité dans les LLM

Énoncé du problème

Malgré le rôle crucial de la diversité dans des applications allant de la génération créative à la découverte scientifique, les modèles de langage modernes (LLM) présentent fréquemment un « effondrement de mode », générant des sorties qui se réduisent à un sous-ensemble restreint de réponses plausibles. Alors que des travaux antérieurs ont établi des références pour mesurer ce manque de diversité, les causes sous-jacentes au sein des distributions de probabilité lors de l'inférence restent mal comprises. Les heuristiques d'échantillonnage standard (par exemple, l'ajustement de la température, top-k, top-p, min-p) échouent souvent à retrouver une diversité significative ; elles déplacent soit la masse de probabilité vers des continuations invalides ou absurdes, soit elles tronquent des alternatives valides. Cet article postule que le goulot d'étranglement n'est pas seulement une limitation des stratégies de décodage, mais une propriété fondamentale de la distribution conditionnelle du LLM elle-même, spécifiquement concernant la manière dont la masse de probabilité est allouée entre les jetons valides et invalides.

Méthodologie

Les auteurs introduisent un cadre validité-diversité pour analyser le compromis entre la génération de sorties valides et l'exploration d'alternatives valides diverses. Ils décomposent l'effondrement de la diversité en deux formes complémentaires de désétalonnage : l'étalonnage d'ordre et l'étalonnage de forme.

1. Cadre théorique

Validité : Définie comme la masse de probabilité totale attribuée à l'ensemble des réponses valides ( $V$ ).
Diversité : Définie comme la taille effective normalisée du support (exponentielle de l'entropie) de la distribution du modèle restreinte à l'ensemble valide.
Étalonnage d'ordre : L'hypothèse selon laquelle les jetons valides sont classés de manière fiable au-dessus des jetons invalides. L'article soutient que cela est fréquemment violé, les jetons valides étant entrelacés tout au long de la distribution classée.
Étalonnage de forme : L'hypothèse selon laquelle la masse de probabilité est distribuée uniformément entre les jetons valides. L'article soutient que les distributions sont souvent trop concentrées sur quelques jetons valides (tête pointue) avec une queue lourde de jetons mixtes valides/invalides.

2. Diagnostics empiriques

Pour sonder ces goulots d'étranglement, les auteurs ont développé des outils de diagnostic contrôlés :

Étiquetage de validité des jetons : Utilisation d'un LLM en tant que juge (Qwen3.5-35B) pour évaluer la validité des complétions gloutonnes initiées par des jetons candidats spécifiques. Cela permet de construire des courbes de précision-rappel pour les stratégies de seuillage.
Environnements de test contrôlés : Utilisation de tâches avec des ensembles valides exactement connus (par exemple, génération de nombres aléatoires, nommage des États américains) pour calculer des métriques exactes de validité et de diversité sans dépendre de jugements sémantiques bruyants.
Lignes de base oracle : Mise en œuvre de stratégies de seuillage « oracles » qui connaissent le nombre exact de jetons valides à chaque étape, mais pas leur identité, isolant l'impact du filtrage basé sur le rang de la forme sous-jacente de la distribution.
Analyse multi-étapes : Extension des diagnostics à un seul pas à une profondeur $d > 1$ pour observer comment les erreurs locales s'accumulent au cours de la génération de séquences.

Contributions clés

Cadre validité-diversité : Une analyse formelle du compromis aux niveaux du jeton et de la séquence, attribuant l'effondrement de la diversité aux propriétés de la distribution plutôt qu'aux seules heuristiques de décodage.
Identification des goulots d'étranglement de l'étalonnage :
- Désétalonnage d'ordre : Les jetons valides ne sont pas systématiquement classés au-dessus des jetons invalides. Cela crée un compromis inhérent pour toute règle de filtrage basée sur le rang : élargir le seuil pour récupérer des jetons valides admet inévitablement des jetons invalides, tandis que le resserrer exclut des alternatives valides.
- Désétalonnage de forme : La masse de probabilité est concentrée de manière non uniforme sur un petit nombre de continuations valides, tandis que la queue contient un mélange important de jetons valides et invalides. L'ajustement de la température aplatit la tête mais augmente de manière disproportionnée la masse de la queue invalide.
Preuves théoriques de la perte cumulative :
- Ordre : Le théorème 4.2 démontre que les compromis locaux précision-rappel se cumulent de manière multiplicative. Même de petites défaillances locales constantes dans la séparation des jetons valides/invalides entraînent un déclin exponentiel de l'ensemble valide accessible à mesure que la longueur de la séquence augmente.
- Forme : Le théorème 5.2 montre que, sous des hypothèses de décroissance géométrique, le maintien d'une haute validité nécessite une distribution pointue, ce qui réduit intrinsèquement l'entropie (diversité) sur les jetons valides. Cette perte de diversité se cumule de manière exponentielle avec le nombre d'étapes de branchement ( $m$ ).
Diagnostics empiriques : Développement d'environnements contrôlés (génération de nombres aléatoires, nommage d'États) et de lignes de base oracles pour retracer systématiquement la source des échecs de diversité à travers 14 modèles de langage de familles et d'échelles variées.

Résultats

Échec de l'étalonnage d'ordre : Les expériences menées sur 14 modèles (familles Qwen, Llama, Olmo) montrent que les jetons valides sont fréquemment entrelacés avec des jetons invalides dans la distribution classée. Le compromis précision-rappel se dégrade considérablement à mesure que la profondeur de décodage augmente. Même la stratégie de seuillage optimale ne peut pas séparer parfaitement les jetons valides des jetons invalides.
Échec de l'étalonnage de forme : Dans des tâches contrôlées (par exemple, génération de nombres aléatoires), l'augmentation de la température améliore la diversité uniquement au détriment de la validité. La queue invalide croît plus vite que la récupération d'alternatives valides rares.
Le passage à l'échelle ne résout pas le problème : Bien que les modèles plus grands montrent une légère amélioration de l'étalonnage d'ordre (AUC plus élevé des frontières précision-rappel), ils n'éliminent pas le compromis. Le rappel à haute précision reste faible et non monotone à travers les tailles de modèles.
Les heuristiques de décodage sont insuffisantes : Aucune méthode standard de filtrage des jetons supérieurs (top-k, top-p, min-p) ne récupère efficacement la diversité. Même un seuil oracle (connaissant le nombre exact de jetons valides) échoue à atteindre une diversité idéale dans les tâches présentant un désétalonnage de forme, indiquant que la forme de la distribution, et non seulement le rang, est le facteur limitant.
Intervention oracle : L'application d'un filtre oracle (échantillonnage uniquement à partir de jetons étiquetés valides par le diagnostic) améliore considérablement à la fois la diversité des embeddings et la diversité lexicale (Self-BLEU plus faible), prouvant que des alternatives valides existent dans la distribution mais sont manquées par les règles standard basées sur le rang.

Importance et affirmations

L'article affirme que l'effondrement de la diversité est une conséquence du désétalonnage d'ordre et de forme dans la distribution du LLM, plutôt qu'un échec d'algorithmes d'échantillonnage spécifiques.

Résultat de difficulté : Les auteurs établissent un résultat théorique de difficulté pour toute stratégie de décodage reposant uniquement sur le filtrage des jetons supérieurs : si les jetons valides et invalides sont entrelacés, le maintien d'une haute validité au niveau de la séquence nécessite de sacrifier une fraction constante de continuations valides à chaque étape, conduisant à un effondrement exponentiel de la diversité.
Valeur diagnostique : Le cadre proposé offre une lentille pour diagnostiquer pourquoi les méthodes existantes échouent, passant d'un étalonnage boîte noire à la compréhension des sources mécaniques de la perte de diversité.
Implications pour les travaux futurs : Les résultats suggèrent que les solutions futures doivent aller au-delà du réglage des hyperparamètres de décodage. Une atténuation efficace pourrait nécessiter :
- Le développement de décodeurs conscients de l'étalonnage intégrant des signaux de validité auxiliaires au-delà du rang de probabilité.
- L'investigation d'objectifs d'entraînement (préentraînement, alignement, sécurité) qui affectent la netteté de la distribution et l'ordonnancement des rangs pour préserver un support valide plus large sans sacrifier la qualité.

Les auteurs adoptent une position modeste, notant que leur travail diagnostique le goulot d'étranglement plutôt que de le résoudre, et que leurs expériences contrôlées servent de diagnostics pour des mécanismes distributionnels spécifiques plutôt que d'un compte rendu complet de tous les échecs de diversité dans la génération complexe et ouverte.