💬 NLP

Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen

Cette étude démontre que l'extraction de la confiance verbale auprès des modèles de langage de petite taille (3-9B paramètres) est psychométriquement invalide, car leurs scores de confiance ne corrèlent pas avec leur précision réelle et ne reflètent pas leurs probabilités internes.

Auteurs originaux : Jon-Paul Cacioli

Publié 2026-04-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jon-Paul Cacioli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Syndrome du Grand Confiant" des IA

Imaginez que vous demandiez à un ami : « Est-ce que la capitale de l'Ouzbékistan est Tachkent ? ». Votre ami répond : « Oui, et je suis sûr à 100 % ! ». C'est facile.

Maintenant, posez-lui une question ultra-compliquée sur la physique quantique. Si votre ami répond : « Je ne sais pas, mais je suis sûr à 100 % que ma réponse est la bonne », vous allez vite comprendre qu'il y a un problème. Il ne vous donne pas une mesure de son incertitude, il vous donne juste une réponse toute faite, sans réfléchir.

C'est exactement ce que cette étude a découvert chez les petites intelligences artificielles (IA) actuelles.

L'Expérience : Le Test du "Vrai ou Faux"

Le chercheur Jon-Paul Cacioli a pris sept modèles d'IA (des modèles de taille moyenne, que l'on peut faire tourner sur un ordinateur personnel) et leur a posé plus de 8 000 questions de culture générale.

Pour chaque question, il ne demandait pas seulement la réponse, mais aussi : « Sur une échelle de 0 à 100, à quel point es-tu sûr de toi ? »

L'objectif était de voir si l'IA est capable de dire : « Je pense que c'est la réponse A, mais je ne suis sûr qu'à 40 % ».

Les Résultats : Le Mur de la Certitude

L'étude a révélé trois choses frappantes, que l'on peut comparer à des situations de la vie réelle :

1. Le "Disque Rayé" (La Saturation)

Au lieu de donner des scores variés (comme 20 %, 50 %, 80 %), les IA ont presque toutes répondu : « Je suis sûr à 95 % ou plus ! », même quand elles se trompaient complètement.

L'analogie : C'est comme un élève qui, à chaque question d'un examen, lève la main en criant « Je sais ! » avec un sourire immense, qu'il ait la bonne réponse ou qu'il ait inventé n'importe quoi. Le signal est "saturé" : il n'y a plus de nuance, donc l'information ne sert à rien.

2. Le "Bug du Choix Multiple" (L'Échec du format)

Le chercheur a essayé de changer la méthode en demandant à l'IA de choisir une catégorie (ex: "Pas du tout sûr" à "Presque certain"). Résultat ? L'IA est devenue totalement confuse et a commencé à répondre n'importe quoi, même aux questions simples.

L'analogie : C'est comme si, pour vous demander votre avis, on vous forçait à répondre en utilisant uniquement des emojis. Au lieu de vous aider à mieux comprendre, cela vous ferait perdre le fil de la conversation.

3. L'Effet "Trop de Réflexion tue la Confiance"

Sur l'un des modèles les plus avancés, le chercheur a remarqué que plus l'IA écrivait de texte pour "réfléchir" avant de répondre, moins elle semblait sûre d'elle.

L'analogie : C'est comme un étudiant qui commence une phrase avec assurance, mais qui finit par bafouiller et ajouter des "euh...", "peut-être...", "enfin..." parce qu'il s'est emmêlé les pinceaux dans son propre raisonnement.

Pourquoi est-ce important ?

Si nous voulons utiliser les IA pour des choses sérieuses (médecine, droit, aide à la décision), nous avons besoin de savoir quand elles doutent. Si une IA vous dit qu'elle est sûre d'elle à 99 % alors qu'elle est en train de dire une bêtise, elle devient dangereuse.

La conclusion du chercheur est simple : Avant de faire confiance au "sentiment de confiance" d'une petite IA, il faut d'abord vérifier si elle est capable de ressentir le doute. Pour l'instant, pour ces modèles, le doute semble avoir été effacé par un excès de confiance automatique.

Résumé Technique : Saturation de la Confiance Verbale dans les LLM Open-Weight (3–9B)

Problématique

L'utilisation de l'élicitation de confiance verbale (demander à un modèle de donner son niveau de certitude sous forme de texte ou de chiffre) est une méthode courante pour estimer l'incertitude des grands modèles de langage (LLM). L'hypothèse sous-jacente est que le signal verbalisé reflète une représentation interne capable de distinguer les réponses correctes des réponses incorrectes.

Cependant, l'auteur soulève un problème de "lecture" (readout problem) : même si l'incertitude existe en interne, le signal produit à l'interface de sortie est-il exploitable ? Cette étude examine si les modèles de petite taille (3 à 9 milliards de paramètres) souffrent d'une saturation, où le signal de confiance est tellement compressé vers le haut (proche de 100 %) qu'il perd toute capacité de discrimination entre les items.

Méthodologie

L'étude est un essai pré-enregistré (OSF) utilisant une approche psychométrique rigoureuse.

Échantillon de modèles : Huit modèles open-weight (instruction-tuned) de 3 à 9 milliards de paramètres, issus de quatre familles (Llama 3, Mistral, Qwen 2.5, Gemma 2), ainsi qu'un modèle de raisonnement distillé (DeepSeek-R1-Distill-Llama-8B).
Protocole de test : 524 items de TriviaQA ont été administrés sous deux formats d'élicitation :
1. Numérique (NUM) : Demande d'un pourcentage de 0 à 100.
2. Catégoriel (CAT) : Classification dans une échelle ordinale de 10 classes.
Décodage : Utilisation du décodage glouton (greedy decoding, température = 0) pour isoler le comportement par défaut de l'interface.
Évaluation de la validité : Au lieu de simplement mesurer la calibration, l'auteur applique un criblage de validité psychométrique (adapté des tests MMPI-3/PAI). Un modèle est classé comme "Invalid" si son signal est dégénéré (ex: trop de réponses identiques) ou s'il ne respecte pas des seuils critiques de discrimination (capacité à détecter l'erreur).

Résultats Clés

Saturation massive (H1 & H2 confirmées) : Tous les modèles testés en mode numérique ont été classés comme "Invalid". La moyenne des essais affichant une confiance $\ge 95\%$ est de 91,7 %. Le signal est quasi constant, rendant toute distinction entre une réponse correcte et incorrecte impossible au niveau de l'item.
Échec du format catégoriel (H4 non confirmée) : Le passage à une échelle catégorielle n'a pas "sauvé" la validité. Au contraire, cela a provoqué un effondrement des performances de la tâche (l'exactitude de la réponse est tombée sous les 5 % pour la plupart des modèles), suggérant que l'instruction de classification interfère avec la capacité de réponse du modèle.
Indépendance Logprob-Confiance (H5 confirmée) : La probabilité du token (logprob) ne permet pas de prédire la confiance verbalisée ( $R^2 < 0,01$ ). Le signal verbal est donc déconnecté de la probabilité statistique de sortie.
Effet de Contamination du Raisonnement (E5) : Pour le modèle de raisonnement (DeepSeek), une corrélation négative forte a été observée entre la longueur de la trace de raisonnement et la confiance verbalisée. Plus le modèle "réfléchit" longtemps, moins il est confiant.

Contributions et Signification

Distinction entre Validité et Calibration : La contribution majeure est conceptuelle. L'auteur soutient que la saturation n'est pas un problème de calibration (ajustement des scores), mais un problème de validité (le signal est perdu avant même d'être émis). Si le signal est saturé, aucune méthode mathématique post-hoc ne peut restaurer l'information perdue.
Avertissement pour le déploiement : L'étude démontre que l'utilisation de la confiance verbale pour des décisions critiques (abstention, routage de requêtes, sécurité) sur des modèles de petite taille est dangereuse et non fiable sans un protocole de criblage préalable.
Limites de l'interface : Les résultats suggèrent que l'incertitude est présente dans les représentations internes (confirmé par la corrélation avec la difficulté des items), mais que l'interface de sortie actuelle (le "readout") échoue à transmettre cette information de manière discriminante dans ce régime de taille de modèle.

Conclusion de l'auteur : Un criblage psychométrique doit impérativement précéder toute utilisation de la confiance verbalisée comme signal de décision dans les systèmes basés sur des LLM.