📊 statistics

When are likely answers right? On Sequence Probability and Correctness in LLMs

Cet article étudie la relation entre la probabilité de séquence et l'exactitude dans les grands modèles de langage, constatant que si une probabilité plus élevée prédit souvent l'exactitude au sein d'un ensemble de données fixe, elle n'est pas un indicateur fiable pour améliorer la précision via des changements de méthodes de décodage ou pour distinguer les réponses correctes à une même invite.

Auteurs originaux : Johannes Zenn, Jonas Geiping

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Johannes Zenn, Jonas Geiping

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un conteur super-imaginatif qui a lu presque tous les livres de la bibliothèque. Lorsque vous donnez à ce conteur une amorce d'histoire (un prompt), il ne se contente pas de recracher une seule fin ; il peut générer des milliers de fins différentes possibles.

La grande question posée par cet article est la suivante : « Si la fin d'une histoire semble très "probable" ou "naturelle" pour le conteur, cela signifie-t-il qu'elle est réellement la bonne réponse ? »

Les auteurs traitent la « probabilité » du modèle (à quel point le modèle pense qu'une phrase est probable) comme un indicateur de confiance. Ils voulaient savoir si le fait de monter le volume de cet indicateur de confiance permettait d'obtenir de meilleures réponses.

Voici ce qu'ils ont trouvé, décomposé en analogies simples :

1. L'analogie de la « Bibliothèque » (Au sein d'un jeu de données)

Le résultat : Si vous examinez un ensemble entier de réponses générées pour un type de question spécifique (comme un test de mathématiques), celles que le modèle juge les plus « probables » sont généralement les bonnes.

La métaphore : Imaginez un bibliothécaire qui a organisé une étagère de livres. Si vous demandez : « Quel est le bon guide pour réparer une voiture parmi ceux-ci ? », le bibliothécaire pointe le livre dont il est le plus confiant qu'il soit le bon. Dans un tas de questions différentes, le bibliothécaire a généralement raison.
Le bémol : Cela ne fonctionne que si vous comparez des questions différentes entre elles. Cela ne signifie pas que le bibliothécaire est parfait pour choisir le bon livre pour une question spécifique simplement parce qu'il se sent confiant.

2. L'analogie du « Bouton de réglage » (Changement de paramètres)

Le résultat : Si vous essayez de rendre le modèle « plus confiant » en changeant ses paramètres (comme en tournant un cadran pour le rendre moins aléatoire), vous n'obtenez pas nécessairement de meilleures réponses. En fait, vous obtenez souvent de pires réponses qui ont simplement l'air plus assurées.

La métaphore : Imaginez une radio. Vous pouvez tourner le bouton de « force du signal » pour rendre la musique plus forte et plus claire. Mais si vous le tournez trop haut, vous pourriez n'obtenir que des parasites qui sonnent très fort et très clairement, même s'il ne s'agit pas de la bonne chanson.
La réalité : L'article a découvert qu'en ajustant les paramètres du modèle pour le forcer à choisir les séquences les plus « probables », on rend souvent le modèle plus sûr de lui, mais cela ne le rend pas plus intelligent. Parfois, le chemin le plus « probable » est en réalité un piège.

3. L'analogie du « Vote de la foule » (Même question, réponses différentes)

Le résultat : Si vous posez la même question exacte au modèle 32 fois, la réponse la plus « probable » n'est pas toujours la bonne. Le modèle peut vous donner 32 réponses différentes, et celle qu'il juge la plus probable peut être fausse.

La métaphore : Imaginez poser la même énigme à une pièce de 32 personnes. Vous demandez : « Qui est la personne la plus intelligente ici ? ». La personne qui lève la main le plus fort (probabilité la plus élevée) n'est pas nécessairement celle qui a la bonne réponse. Parfois, la salle est divisée, et la réponse « bruyante » n'est qu'une supposition populaire, pas la vérité.
L'exception : L'article a trouvé un type de puzzle spécifique (problèmes de mathématiques) où la voix la plus « forte » était généralement la plus intelligente. Mais pour d'autres types de questions (comme suivre des instructions ou donner des conseils médicaux), la voix la plus forte était souvent tout aussi susceptible d'être fausse que les voix plus discrètes.

4. Le piège de l'« Auto-amélioration »

Le résultat : Certaines personnes essaient de rendre l'IA plus intelligente en lui faisant choisir ses propres « meilleures » réponses et en apprenant d'elles. Cet article prévient que cela est risqué.

La métaphore : Imaginez un étudiant essayant de s'améliorer en mathématiques en n'étudiant que les réponses qu'il pense être correctes. Si l'étudiant n'est pas déjà plutôt bon en mathématiques, il ne fera que renforcer ses propres erreurs, en se disant : « Oh, cette mauvaise réponse me semble très familière, elle doit donc être juste ! »
La leçon : Vous ne pouvez utiliser la « confiance » pour améliorer l'IA que si l'IA est déjà douée pour la tâche. Si elle est en difficulté, faire confiance à sa propre confiance ne fera que la rendre plus sûre d'elle dans ses erreurs.

Résumé des « Règles de base »

L'article nous donne trois conclusions principales pour l'utilisation de ces modèles :

Ne faites pas confiance au « Volume » : Ce n'est pas parce que le modèle dit qu'une réponse est « hautement probable » qu'elle est correcte.
Le contexte compte : La relation entre « se sentir sûr de soi » et « avoir raison » change selon le type de question (les mathématiques sont différentes du code, qui est différent des instructions).
Ne sur-optimisez pas : Essayer de forcer le modèle à être « plus probable » en changeant ses paramètres ne sert généralement à rien et peut nuire aux performances.

En bref : Le « pressentiment » du modèle (la probabilité) est un indice utile lorsqu'on regarde une vue d'ensemble, mais c'est un piètre compas pour naviguer dans un problème unique et spécifique. On ne peut pas simplement tourner le « bouton de la confiance » et s'attendre à ce que les réponses s'améliorent.

Résumé technique : Quand les réponses probables sont-elles correctes ? Sur la probabilité de séquence et la correction dans les LLM

Énoncé du problème

Les grands modèles de langage (LLM) sont des systèmes autorégressifs qui assignent des probabilités à des séquences de jetons (tokens). Les méthodes de décodage (par exemple, la recherche en faisceau [beam search], l'échantillonnage top-k, le Best-of-N) sont souvent conçues pour déplacer la masse de probabilité vers des sorties qui sont plus probables selon le modèle, soit localement au niveau du jeton, soit globalement au niveau de la séquence. Une hypothèse fondamentale qui sous-tend ces méthodes est qu'une probabilité de séquence plus élevée est corrélée à la correction. Cependant, des observations empiriques suggèrent que cette relation n'est pas universelle ; par exemple, la recherche en faisceau, qui approxime la séquence la plus probable, dégrade souvent les performances par rapport aux méthodes d'échantillonnage.

Cet article aborde la question centrale : Quand la probabilité de séquence (la probabilité conditionnelle d'une continuation étant donnée un prompt) s'aligne-t-elle réellement avec la correction ? Les auteurs visent à quantifier cette relation à travers différentes méthodes de décodage, différents modèles et différents benchmarks afin de déterminer quand la maximisation de la probabilité conduit à de meilleures réponses et quand elle ne le fait pas.

Méthodologie

Les auteurs mènent une étude empirique à grande échelle quantifiant la corrélation entre la log-probabilité de séquence et la correction à quatre niveaux de granularité distincts :

Corrélation entre méthodes (Across-Method) : Comparaison de différentes méthodes de décodage (et de leurs hyperparamètres optimaux) sur un modèle et un jeu de données fixes.
Corrélation intra-méthode (Within-Method) : Analyse de la manière dont le changement d'hyperparamètres au sein d'une seule méthode de décodage affecte à la fois la probabilité et la correction.
Corrélation intra-jeu de données (Within-Dataset) : Examen de la relation entre la log-probabilité et la correction à travers tous les couples prompt-réponse au sein d'un jeu de données, d'un modèle et d'une méthode spécifiques.
Corrélation intra-échantillon (Within-Sample) : Étude de la corrélation parmi plusieurs réponses générées pour le même prompt.

Configuration expérimentale :

Modèles : 14 modèles issus des familles Qwen2.5, Qwen3 et Olmo3 (allant de 0,6B à 8B de paramètres), incluant des variantes de base (base) et post-entraînées (post-trained).
Jeux de données : 6 jeux de données de référence couvrant le raisonnement mathématique (MATH500), la génération de code (HumanEval), le respect d'instructions (IFEval) et les connaissances générales/raisonnement médical (GPQA, MedQA, MMLU).
Méthodes de décodage : 8 méthodes ont été évaluées :
- Méthodes locales : Échantillonnage à faible température (LTS), Top-k, Top-p, $\epsilon$ -sampling.
- Méthodes globales : Recherche en faisceau (beam search), Best-of-N (BoN), Scalable Power Sampling (SPS) et Power-SMC.
Métriques : L'étude utilise les coefficients de corrélation de Pearson (sur des données par classes/bins) et les coefficients de corrélation de rang de Spearman pour mesurer la relation entre la log-probabilité et les étiquettes de correction binaire.

Contributions clés et résultats

1. Cadrage du décodage comme maximisation de la probabilité

L'article cadre formellement les méthodes de décodage comme des approches visant à maximiser la probabilité de séquence. Il distingue les méthodes locales (qui modifient la distribution du jeton suivant à chaque étape, échouant souvent à maximiser la probabilité globale de la séquence en raison des constantes de normalisation locales) des méthodes globales (qui ciblent le mode ou la distribution de puissance de la séquence complète). Les auteurs fournissent un objectif variationnel montrant que la distribution de puissance agit comme un maximisateur "doux" de la probabilité de séquence, faisant un compromis entre la log-probabilité attendue et l'entropie.

2. Corrélation dépendante de la granularité

Le résultat central est que la relation entre probabilité et correction n'est pas uniforme ; elle dépend fortement du niveau d'analyse :

Intra-jeu de données (Résultat 1) : Il existe une corrélation constante, souvent positive, entre la log-probabilité et la correction au sein d'un jeu de données, d'un modèle et d'une méthode fixes. Cette corrélation est largement déterminée par le jeu de données et la variante du modèle plutôt que par la méthode de décodage. Par exemple, MATH500 montre une corrélation positive quasi parfaite, tandis qu'IFEval montre souvent une corrélation négative pour les modèles de base. Les modèles post-entraînés présentent généralement des corrélations positives, tandis que les modèles de base sont plus diversifiés.
Intra-méthode (Résultat 2) : Le réglage des hyperparamètres d'une méthode de décodage spécifique pour augmenter la probabilité de séquence n'améliore pas de manière fiable la correction. Bien que le changement d'hyperparamètres (ex: température, largeur de faisceau) produise souvent des séquences ayant une log-probabilité plus élevée, ces séquences sont fréquemment moins correctes. Il n'existe pas de moyen constant de régler une méthode pour maximiser simultanément la probabilité et la précision sur l'ensemble des jeux de données.
Entre les méthodes (Résultat 3) : Aucune méthode de décodage ne surpasse systématiquement les autres en termes de correction, même en choisissant les hyperparamètres optimaux. Bien que de nombreuses méthodes produisent des séquences qui sont à la fois plus probables et plus correctes qu'une ligne de base à faible température (LTS), ce n'est pas une règle fiable. Plus précisément, augmenter la probabilité de séquence en changeant de méthode (ex: passer au Power Sampling) ne garantit pas une précision plus élevée.
Intra-échantillon (Résultat 5) : Pour un prompt unique, la corrélation entre la log-probabilité et la correction parmi les échantillons répétés est généralement faible et distribuée symétriquement autour de zéro. Cependant, les prompts où le modèle génère une fraction plus élevée de réponses correctes ont tendance à présenter des corrélations intra-échantillon positives plus fortes.

3. Implications pour l'auto-amélioration et l'auto-cohérence

L'article relie ces résultats à l'auto-amélioration sans vérificateur et à l'auto-cohérence (self-consistency, SC) :

Auto-cohérence (Résultat 6) : Pour l'échantillonnage à faible température, le vote majoritaire (pondération uniforme) surpasse souvent le vote pondéré par la probabilité. Cela est attribué aux corrélations intra-échantillon faibles ou symétriques, signifiant que la haute probabilité n'indique pas de manière fiable la réponse correcte pour un prompt spécifique.
Auto-amélioration (Résultat 4) : Les boucles d'auto-amélioration récursives basées sur la probabilité peuvent nécessiter une précision de base suffisante pour être efficaces. La corrélation entre la probabilité et la correction évolue avec la précision globale du modèle ; si le modèle n'est pas déjà précis, renforcer les échantillons à haute probabilité peut renforcer les réponses incorrectes.

Signification et affirmations

L'article affirme clarifier les conditions dans lesquelles le décodage peut être attendu d'améliorer la correction. Sa contribution primaire est une compréhension nuancée du fait que la probabilité de séquence est un signal utile pour distinguer les réponses correctes des incorrectes à l'échelle d'un jeu de données, mais qu'elle est un mauvais signal pour sélectionner les hyperparamètres ou les méthodes de décodage pour améliorer la performance sur une tâche spécifique.

Les auteurs soulignent que l'intuition "plus haute probabilité égale plus grande correction" est vraie au niveau du jeu de données (permettant aux modèles de distinguer les bonnes des mauvaises réponses de manière agrégée) mais échoue au niveau de la prise de décision (sélection de la meilleure réponse pour un prompt spécifique ou réglage d'une méthode). Par conséquent, l'article conseille de ne pas se fier uniquement à la probabilité de séquence pour :

Sélectionner la méthode de décodage ou les hyperparamètres optimaux sans validation empirique.
L'agrégation pondérée par la probabilité dans l'auto-cohérence (à moins que le modèle n'ait une précision très élevée).
Les boucles d'auto-amélioration sans vérificateur sans garantir un niveau de base de précision de la tâche.

Le travail suggère que les futures stratégies de décodage devraient se concentrer sur la granularité de la corrélation : exploiter les signaux de probabilité pour le filtrage au niveau du jeu de données tout en reconnaissant leurs limites pour la sélection au niveau de l'instance.