📊 statistics

Perplexity Cannot Always Tell Right from Wrong

Cet article démontre rigoureusement que la perplexité est une métrique inappropriée pour la sélection de modèles car elle peut favoriser des modèles qui sont hautement confiants mais inexacts, prouvant qu'une confiance accrue d'un modèle doit être assortie d'une précision proportionnée pour produire un score de perplexité plus faible.

Auteurs originaux : Petar Veličković, Federico Barbero, Christos Perivolaropoulos, Simon Osindero, Razvan Pascanu

Publié 2026-02-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Petar Veličković, Federico Barbero, Christos Perivolaropoulos, Simon Osindero, Razvan Pascanu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le problème du « Fou Confiant »

Imaginez que vous engagiez un guide touristique pour une ville que vous ne connaissez pas. Vous avez deux candidats :

Le Guide A est très précis, mais il hésite parfois en disant : « Je pense que c'est par là, mais je n'en suis pas sûr à 100 %. »
Le Guide B se trompe souvent, mais il est incroyablement sûr de lui. Il pointe la mauvaise direction et affirme : « Je suis absolument certain que c'est par là ! »

Dans le monde de l'IA, nous utilisons une métrique appelée Perplexité pour décider quel guide est le meilleur. Considérez la Perplexité comme un « Compteur de Surprise ». Elle mesure à quel point l'IA est surprise lorsqu'elle voit la bonne réponse.

Si l'IA trouve la bonne réponse et qu'elle est confiante, le Compteur de Surprise est bas (Bien !).
Si l'IA trouve la bonne réponse mais qu'elle est incertaine, le Compteur de Surprise est un peu plus élevé.
Si l'IA se trompe, le Compteur de Surprise augmente.

La thèse principale de l'article est la suivante : Le Compteur de Surprise (la Perplexité) est défectueux. Il peut vous inciter à choisir le Guide B (le fou confiant) plutôt que le Guide A (l'accurate mais hésitant). En fait, l'article prouve qu'un modèle peut être si confiant dans ses mauvaises réponses que le « Compteur de Surprise » affiche en réalité un score plus bas que si l'IA avait été précise mais incertaine.

Analogie 1 : Le Imitateur et l'effet « Smoothie »

Pour prouver cela, les auteurs ont utilisé un jeu simple : La tâche de l'Imitateur.
Imaginez que vous montriez à un robot une longue suite de chiffres, comme 010101, et que vous lui demandiez de la copier.

La Mise en situation : Le robot apprend à copier la suite 010101 parfaitement. Il devient un maître imitateur.
Le Piège : Parce que le robot est devenu si bon pour copier ce motif spécifique, il devient « trop confiant ». Il commence à croire que n'importe quelle longue suite de chiffres doit être 010101.
L'Erreur : Si vous lui donnez une suite légèrement différente, comme 010100, le robot produit quand même 010101 avec assurance. Il se trompe, mais il est très confiant.

Le problème du « Smoothie » :
La perplexité fonctionne comme un smoothie. Elle prend la « surprise » de chaque erreur individuelle et les mélange toutes ensemble en un nombre moyen.

Si le robot fait une toute petite erreur dans une suite de 1 000 caractères, cette erreur est diluée dans le « smoothie ».
L'article prouve mathématiquement que si le robot est assez confiant, le « smoothie » (la surprise moyenne) peut devenir si bas que le robot semble parfait, même s'il a échoué à copier la suite spécifique correctement.

Le Résultat : Vous finissez par sélectionner un robot qui échoue au test, simplement parce que son score de « surprise moyenne » semble meilleur que celui d'un robot qui réussit réellement à obtenir les bonnes réponses mais qui est un peu plus prudent.

Analogie 2 : La balance entre « Confiance et Précision »

Les auteurs ont également examiné un graphique qu'ils appellent une « Courbe d'iso-perplexité ». Imaginez une balance.

D'un côté, il y a la Précision (obtenir la bonne réponse).
De l'autre, il y a la Confiance (à quel point vous êtes sûr de vous).

Normalement, vous voulez les deux. Mais l'article montre que la Perplexité possède un biais étrange :

Si vous augmentez votre confiance, le Compteur de Surprise chute très rapidement.
Si vous augmentez votre précision, le Compteur de Surprise diminue lentement.

La « Zone Injuste » :
Il existe une zone sur cette balance où un modèle peut devenir plus confiant mais moins précis, et pourtant, le Compteur de Surprise continue de baisser !

Imaginez un étudiant qui arrête d'étudier (la précision chute) mais qui commence à hurler ses réponses avec une confiance extrême.
L'enseignant (la métrique de Perplexité) voit la faible « surprise » et se dit : « Wow, cet étudiant est excellent ! »
Pendant ce temps, un étudiant qui travaille dur, réussit 90 % des réponses mais les murmure avec incertitude, obtient un score « moins bon ».

L'article appelle cela le « Repas Gratuit Injustifié » (Unjustified Free Lunch) : vous pouvez obtenir un meilleur score simplement en étant plus bruyant et plus confiant, même si vous vous trompez plus souvent.

Le Test en Conditions Réelles : Le Jeu de la « Parité »

Pour voir si cela se produit dans la réalité, les auteurs ont entraîné une IA sur un jeu mathématique appelé Parité.

Le Jeu : Regardez une suite de 0 et de 1 et comptez combien il y a de « 1 ». Si le nombre est pair, dites « 0 ». S'il est impair, dites « 1 ».
Le Twist : Ils ont entraîné l'IA sur des suites courtes (faciles) mais l'ont testée sur des suites très longues (difficiles).

Qu'est-ce qui s'est passé ?

Sur les suites faciles : L'IA devenait de plus en plus performante. À mesure qu'elle devenait plus intelligente, elle devenait aussi plus confiante. Le Compteur de Surprise baissait et la précision augmentait. Tout semblait normal.
Sur les suites difficiles (Le Piège) : À mesure que l'IA gagnait en confiance, elle commençait à faire des erreurs sur les suites longues. Cependant, comme elle était très confiante dans ses mauvaises réponses, le Compteur de Surprise n'augmentait pas.
La Conclusion : L'IA qui était réellement la meilleure pour résoudre le problème difficile avait un score de Perplexité moins bon que celui d'une IA moins performante. La métrique a échoué à désigner le vainqueur.

Ce qu'il faut retenir

L'article conclut que la Perplexité n'est pas un juge fiable.

Elle ne peut pas toujours distinguer le vrai du faux.
Elle favorise les modèles qui sont confiants plutôt que les modèles qui sont précis.
Cela est particulièrement dangereux lorsque l'IA est confrontée à de nouvelles situations difficiles (comme les longues suites dans l'expérience).

En résumé : Si vous utilisez la Perplexité pour choisir la meilleure IA, vous pourriez accidentellement choisir celle qui est la plus sûre d'elle-même, même si c'est celle qui se trompe le plus. L'article nous avertit de ne pas faire aveuglément confiance à cette métrique, surtout lorsque nous ne pouvons pas facilement vérifier si l'IA a réellement raison.

Résumé technique : La perplexité ne peut pas toujours distinguer le vrai du faux

Énoncé du problème

La perplexité est la métrique standard pour évaluer les modèles de langage autorégressifs, servant à la fois de fonction de perte et de substitut de la qualité du modèle. Elle mesure la « surprise » d'un modèle lorsqu'il est confronté à des données de vérité terrain. Bien qu'elle soit largement utilisée en raison de sa simplicité de calcul, des observations empiriques suggèrent que la perplexité ne corrèle pas toujours avec la qualité des échantillons ou l'exactitude. Plus précisément, un modèle ayant une exactitude plus faible mais une confiance mieux calibrée (ou excessive) peut obtenir un score de perplexité plus faible qu'un modèle plus précis mais hésitant.

Ce document traite des fondements théoriques de ce décalage. Il examine si la perplexité est un objectif fiable pour la sélection de modèles, particulièrement dans le contexte des Transformers de type « decoder-only ». Le problème central est que la perplexité confond la confiance avec la justesse, récompensant potentiellement les modèles qui sont sûrs d'eux tout en étant erronés, surtout dans les scénarios à contexte long où les signaux d'erreur peuvent être dilués.

Méthodologie

Les auteurs emploient une combinaison de preuves théoriques rigoureuses, de modélisation analytique et de validation empirique pour démontrer les limites de la perplexité.

Cadre théorique (Continuité et Effondrement) :
- Le document s'appuie sur des résultats théoriques récents concernant la continuité des représentations des Transformers (Pasten et al., 2025).
- Il se concentre sur les Transformers « decoder-only » avec des plongements de position compacts (CPE), une classe incluant des plongements courants comme RoPE.
- Les auteurs analysent la tâche de copie de chaînes binaires (bitstring copy task), où un modèle doit reproduire exactement une séquence de bits. Cette tâche est choisnie car elle possède une vérité terrain claire et est connue pour être difficile à apprendre de manière robuste par les LLM.
- Ils utilisent le décodage glouton (greedy decoding) (échantillonnage déterministe) comme base de référence pour établir des affirmations robustes sur l'exactitude et la perplexité, étendant plus tard l'analyse à l'échantillonnage stochastique via la mise à l'échelle de la température.
Modélisation analytique (Courbes d'iso-perplexité) :
- Les auteurs construisent un cadre de classification binaire simplifié pour dériver des courbes d'iso-perplexité.
- Ils modélisent la relation entre l'exactitude ( $a$ ) et la confiance ( $1-\gamma$ ) comme des variables scalaires.
- En résolvant pour l'« exactitude critique » requise pour justifier une augmentation de la confiance sans augmenter la perplexité, ils cartographient les régions de l'espace confiance/exactitude où la perplexité échoue à sélectionner le modèle le plus précis.
Validation empirique :
- Expériences de la tâche de copie : Les auteurs ont entraîné un Transformer CPE personnalisé sur la tâche de copie de chaînes binaires et ont évalué un modèle Gemma 3 4B pré-entraîné. Ils ont comparé la performance du modèle sur une séquence correcte ( $\alpha_N$ ) par rapport à une séquence perturbée ( $\beta_N$ ) que le modèle ne parvient pas à copier.
- Expériences de la tâche de parité : Pour étudier la sélection de modèles dans un cadre plus complexe, ils ont entraîné un Transformer sur la tâche de parité (XOR). Ils ont suivi les points de contrôle (checkpoints) tout au long de l'entraînement, en les évaluant sur des données de distribution identique (IID) et de distribution différente (OOD). Ils ont analysé la corrélation entre le log-perplexité, le score micro-F1 et l'entropie de Shannon moyenne (en tant que proxy de la confiance).

Contributions clés

Preuve de l'échec de la perplexité via la continuité :
Les auteurs prouvent que pour un Transformer compact de type « decoder-only », si le modèle prédit une séquence suffisamment longue avec précision et confiance, il doit exister une autre séquence où le modèle échoue, et pourtant le log-perplexité de cet échec approche de zéro à mesure que la longueur de la séquence augmente. Cela implique qu'une haute confiance sur des entrées correctes nécessite l'existence d'entrées « confondantes » où le modèle est sûrement dans l'erreur, mais où l'erreur est invisible pour la métrique de perplexité en raison de la moyenne.
Gradients évanescents sur les échantillons incorrects :
Le document démontre qu'à mesure qu'un modèle atteint une perte parfaite sur une séquence correcte, le signal de gradient correspondant à la séquence incorrecte « confondante » s'évanouit. Par conséquent, le signal d'entraînement pour ces échantillons incorrects disparaît, rendant impossible pour le modèle d'apprendre conjointement à les corriger tout en maintenant une haute confiance sur les séquences correctes.
Courbes d'iso-perplexité analytiques :
Les auteurs dérivent des expressions analytiques pour les courbes d'iso-perplexité dans l'espace confiance/exactitude. Ils identifient des « régions défavorables » où :
- Un modèle peut devenir plus confiant sans améliorer son exactitude, tout en abaissant sa perplexité (un « repas gratuit injustifié »).
- Inversement, un modèle peut améliorer son exactitude mais échouer à abaisser sa perplexité si l'augmentation de la confiance n'est pas suffisamment compensée par le gain d'exactitude.
- Plus précisément, pour qu'un modèle parfaitement confiant soit sélectionné par la perplexité, il doit être parfaitement exact ; sinon, il sera rejeté.
Preuve empirique de la sensibilité au changement de distribution :
À travers les expériences de la tâche de parité, les auteurs montrent que si la perplexité corrèle bien avec l'exactitude sur les données de distribution identique (IID), cette relation se brise sur les données de distribution différente (OOD). Dans les régimes OOD, les modèles ayant une haute confiance (faible entropie) obtiennent souvent les meilleurs scores de perplexité malgré une exactitude plus faible, se retrouvant ainsi du « mauvais côté » de la courbe d'iso-perplexité.

Résultats

Limites théoriques : Les preuves confirment que la continuité des représentations des Transformers crée un scénario où un modèle peut être hautement confiant sur une séquence correcte $\alpha_N$ tout en échouant sur une séquence proche $\beta_N$ , avec la perplexité de $\beta_N$ convergeant vers zéro quand $N \to \infty$ .
Tendances empiriques :
- Dans les expériences de la tâche de copie, la probabilité de copier correctement la séquence perturbée $\beta_N$ s'est effondrée pour atteindre presque zéro, tandis que le log-perplexité entre les séquences correctes et incorrectes a convergé, validant la prédiction théorique.
- Dans la tâche de parité, la corrélation de Pearson entre le log-perplexité et l'exactitude était forte et négative ( $r \approx -0.94$ ) pour les données IID, mais est devenue positive pour les données OOD.
- Les points de contrôle présentant l'exactitude OOD la plus élevée avaient souvent la pire perplexité OOD, et ces points de contrôle étaient caractérisés par une faible entropie (haute confiance).

Signification et affirmations

Le document soutient que la perplexité n'est pas simplement un artefact d'agrégation (comme suggéré par certains travaux antérieurs se concentrant sur la moyenne de contexte long) mais qu'elle est intrinsèquement biaisée en raison de la relation mathématique entre l'objectif de log-vraisemblance et la confiance.

Risque de sélection de modèle : Les auteurs affirment que s'appuyer uniquement sur la perplexité pour la sélection de modèles peut conduire à la sélection de modèles qui sont « sûrs d'eux mais erronés », particulièrement dans les régimes impliquant des changements de distribution ou des contextes longs.
Dynamique d'entraînement : Le travail suggère que la volonté de minimiser la perplexité encourage les modèles à échanger l'exactitude contre la confiance, créant des « régions défavorables » où un modèle devient plus confiant sans devenir plus exact, tout en améliorant son score métrique.
Note de mise en garde : Le document ne propose pas de nouvelle métrique pour remplacer la perplexité. Il sert plutôt de diagnostic d'avertissement. Il suggère aux praticiens d'exercer une prudence appropriée lorsqu'ils utilisent la perplexité comme substitut de la qualité du modèle, surtout lorsque l'exactitude ne peut être mesurée directement, et souligne la nécessité de prendre en compte la confiance du modèle et les changements de distribution dans les protocoles de sélection de modèles.

En résumé, ce document fournit une base théorique et empirique rigoureuse montrant que la perplexité ne peut pas toujours distinguer le vrai du faux, car elle peut être minimisée par des modèles qui sont sûrement dans l'erreur, échouant ainsi à être un sélecteur fiable de la performance de généralisation.