🤖 machine learning

"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification

Cet article étudie la divergence entre les humains et les grands modèles de langage dans la quantification de l'incertitude verbale en introduisant un algorithme fondé sur l'optimisation, METHODNAME, qui apprend des correspondances de probabilités optimales pour les marqueurs verbaux directement à partir des sorties du modèle afin de révéler des disparités de confiance systématiques sans recourir à un échantillonnage répété.

Auteurs originaux : Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Publié 2026-10-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Lorsque nous parlons, nous tempérons souvent nos propos. Nous disons qu'une chose est « probable », « possible » ou « presque certaine », en utilisant ces mots pour signaler l'étendue de ce que nous savons réellement. Cette capacité à exprimer le doute est une forme de métacognition, un auto-examen mental où nous reconnaissons les limites de notre propre savoir. C'est une partie cruciale de la communication humaine, qui nous permet de naviguer dans l'incertitude sans prétendre détenir des réponses que nous ne possédons pas. Dans le monde de l'intelligence artificielle, et plus particulièrement avec les grands modèles de langage, cette même capacité devient une caractéristique de sécurité essentielle. Ces modèles peuvent parfois générer des informations à l'allure convaincante mais factuellement incorrectes, un phénomène connu sous le nom d'hallucination. Pour faire confiance à ces systèmes, surtout dans des domaines sensibles comme la médecine ou le droit, nous avons besoin de savoir quand ils doutent. Le défi consiste à déterminer si les mots qu'une IA utilise pour exprimer le doute signifient la même chose pour un auditeur humain que pour la machine elle-même.

Une équipe de chercheurs s'est donné pour mission d'étudier si l'incertitude verbale exprimée par les grands modèles de langage s'aligne sur la compréhension humaine. Ils ont commencé par rassembler une vaste collection de la manière dont les gens interprètent des expressions telles que « très probable » ou « incertain ». En s'appuyant sur des décennies de recherche en psychologie et en sciences de la décision, ils ont compilé un guide de référence qui associe ces expressions courantes à des probabilités numériques spécifiques. Par exemple, dans l'esprit humain, l'expression « très probable » correspond à un haut degré de confiance, tandis que « possible » se situe quelque part au milieu. Les chercheurs ont ensuite testé plusieurs modèles de langage avancés, en leur demandant de répondre à des questions et d'expliquer leur niveau de confiance en utilisant ces mêmes expressions de langage naturel. Ils ont comparé les réponses des modèles au guide de référence humain pour voir si les machines parlaient la même langue que leurs utilisateurs.

Les résultats ont révélé un décalage significatif. Bien que les modèles puissent utiliser ces mots, ils attribuaient des niveaux de certitude différents de ceux des humains. Par exemple, lorsqu'un humain entend « très probable », il l'interprète comme une forte probabilité, mais les modèles de l'étude utilisaient souvent cette expression pour décrire des situations où ils étaient en réalité assez incertains. Inversement, les modèles pouvaient exprimer un haut degré de confiance pour des expressions que les humains considèrent comme de simples suppositions. Ce décalage signifie que le simple fait de lire la production d'un modèle et de supposer que ses indices verbaux reflètent son état interne peut être trompeur. L'étude a montré que s'appuyer sur un dictionnaire humain de mots d'incertitude ne suffisait pas à évaluer avec précision la confiance d'une machine ; les modèles possédaient leur propre logique interne distincte pour définir la signification de ces mots.

Pour combler ce fossé, les chercheurs ont développé une nouvelle méthode appelée VOCAL. Au lieu de forcer les modèles à se conformer aux définitions humaines, cette approche apprend la signification spécifique des mots d'incertitude directement à partir du comportement du modèle lui-même. Le système analyse des milliers de réponses du modèle, notant quelles expressions il utilise lorsqu'il a raison et lesquelles il utilise lorsqu'il a tort. Il construit ensuite une carte personnalisée qui traduit les habitudes verbales spécifiques du modèle en scores de probabilité précis. Ce processus implique une optimisation mathématique qui lisse les données, garantissant que des expressions aux sonorités similaires reçoivent des scores similaires, même si le modèle les utilise rarement. En adaptant l'interprétation à la machine spécifique, la méthode crée un moyen beaucoup plus fiable de détecter quand le modèle est incertain.

Les expériences ont démontré que cette approche personnalisée fonctionne nettement mieux que de tenter d'imposer un standard humain à la machine. Lors de tests sur divers ensembles de données, incluant des problèmes mathématiques complexes et des questions médicales, la nouvelle méthode s'est avérée bien plus précise pour prédire si la réponse d'un modèle était correcte ou incorrecte par rapport à l'utilisation du seul guide de référence humain. Dans certains cas, l'amélioration a été substantielle, transformant une méthode qui performait à peine mieux qu'un choix aléatoire en une méthode capable de détecter les erreurs de manière fiable. Les chercheurs ont constaté que cette technique pouvait atteindre des niveaux de performance comparables à des méthodes beaucoup plus coûteuses qui nécessitent de générer plusieurs réponses et de les comparer, mais sans le temps ou la puissance de calcul supplémentaires.

L'étude conclut que, bien que les grands modèles de langage puissent imiter les schémas de langage humain, leur compréhension interne de l'incertitude est fondamentalement différente de la nôtre. Une expression comme « très probable » n'a pas le même poids pour la machine que pour une personne. Pour rendre ces systèmes véritablement dignes de confiance, nous ne pouvons pas simplement leur demander de parler comme des humains et espérer qu'ils entendent la même chose. Au contraire, nous devons apprendre à lire leur dialecte spécifique de l'incertitude. En créant des cartes personnalisées qui traduisent les signaux verbaux uniques d'un modèle en signaux de confiance clairs, nous pouvons mieux distinguer une réponse correcte d'une hallucination confiante, rendant ainsi la technologie plus sûre et plus fiable pour une utilisation dans le monde réel.

Résumé technique : « Très probable » signifie-t-il « Incertain » ? Comment les LLM divergent des humains dans la quantification de l'incertitude linguistique

Énoncé du problème

Bien que les grands modèles de langage (LLM) aient atteint un succès remarquable, un défi fondamental demeure : déterminer quand faire confiance à leurs réponses, particulièrement en ce qui concerne les hallucinations. Les méthodes existantes de quantification de l'incertitude (UQ) se divisent généralement en deux catégories : les méthodes basées sur l'échantillonnage (ex. : entropie sémantique, variance d'ensemble) et les méthodes basées sur les logits (ex. : entropie prédictive, perplexité). Cependant, ces approches souffrent de limitations significatives : les méthodes d'échantillonnage sont coûteuses en termes de calcul et introduisent de la latence, tandis que les méthodes basées sur les logits souffrent souvent d'une sensibilité lexicale et ne parviennent pas à captre la nuance du raisonnement humain.

Les humains expriment naturellement l'incertitude à l'aide de marqueurs verbaux (ex. : « possible », « probable », « presque certain »). Bien que des travaux récents aient exploré l'UQ verbalisée, une lacune critique subsiste : les LLM divergent des humains dans la manière dont ils interprètent et utilisent ces marqueurs linguistiques. Les méthodes actuelles reposent souvent sur des tables de correspondance dérivées de la littérature en psychologie pour mapper les expressions verbales à des probabilités numériques. Les auteurs postulent que ces correspondances dérivées de l'humain ne reflètent pas avec précision les états d'incertitude internes des LLM, conduisant à une quantification peu fiable.

Méthodologie

1. Référentiel de l'incertitude verbale humaine (UM-Lookup)

Les auteurs ont d'abord construit une table de correspondance à grande échelle, la Table de Correspondance des Marqueurs d'Incertitude Verbale (UM-Lookup). Cette ressource agrège des données issues d'études fondamentales en psychologie et en sciences de la décision (ex. : Lichtenstein & Newman, 1967 ; Beyth-Marom, 1982 ; Vogel et al., 2022).

Construction : La table associe 115 expressions d'incertitude verbales distinctes à des scores de probabilité numériques, basés sur une moyenne de 336 évaluations humaines par expression.
Agrégation : Lorsqu'un LLM génère une réponse contenant plusieurs marqueurs, la méthode (notée $Q_{VU-H}$ ) fait la moyenne des scores numériques des marqueurs extraits pour produire une estimation finale de l'incertitude.
Évaluation initiale : Les auteurs ont évalué $Q_{VU-H}$ par rapport aux standards de référence (Entropie prédictive, Entropie sémantique) sur divers modèles (GPT-4o, DeepSeek-V3.1) et jeux de données (GSM8K, MedQA, SciQ). Bien que $Q_{VU-H}$ ait démontré des performances non négligeables dans certains cas, elle a fréquemment sous-performé par rapport aux méthodes basées sur l'échantillonnage et, dans certains cas (ex. : GPT-4o sur GSM8K), a même été moins performante qu'un choix aléatoire. Cela a confirmé un désalignement fondamental entre l'intuition linguistique humaine et la confiance interne des LLM.

2. VOCAL : Quantification de l'incertitude verbale optimisée

Pour remédier à ce désalignement, les auteurs proposent VOCAL, un algorithme d'optimisation novateur qui apprend une correspondance spécifique au LLM entre les marqueurs verbaux et les niveaux d'incertitude numériques.

Objectif : VOCAL apprend un ensemble de scores numériques ( $c_i$ ) pour chaque marqueur verbal ( $u_i$ ) de telle sorte que le score d'incertitude agrégé ( $q_y$ ) reflète fidèlement la justesse réelle du modèle. Le but est d'attribuer des scores d'incertitude plus élevés aux générations incorrectes et des scores plus bas aux générations correctes.
Formulation de l'optimisation : Le problème est formulé comme la minimisation d'une perte de l'entropie croisée binaire (BCE) :
$\mathcal{L}(c) = \min_{c} \mathbb{E}_{(x,y)} \left[ -z \log c_y - (1-z) \log(1-c_y) \right]$
Où $z$ est l'indicateur de justesse (1 pour correct, 0 pour incorrect), et $c_y$ est l'incertitude agrégée dérivée des scores appris des marqueurs présents dans la génération $y$ .
Lissage sémantique : Pour gérer la rareté des données (lorsque des marqueurs rares comme « faible chance » ont peu d'exemples d'entraînement), VOCAL incorpore un régularisateur de Laplacien de graphe. Cela impose une fluidité en pénalisant les écarts importants entre des marqueurs sémantiquement similaires (mesurés via la similitude de Jaccard des 3-grammes). L'objectif total est $\mathcal{L}(c) + \gamma \mathcal{L}_{lap}(c)$ .
Efficacité : Contrairement aux méthodes basées sur l'échantillonnage, VOCAL ne nécessite qu'une seule réponse du modèle pour générer un score d'incertitude, évitant ainsi la surcharge de calcul liée aux multiples générations.

Contributions clés

Table de correspondance de l'incertitude verbale humaine : L'article présente une ressource organisée de 115 marqueurs verbaux associés à des probabilités numériques, ancrée dans la littérature psychologique. Elle sert de référentiel fondamental pour analyser la divergence humain-LLM dans le monitorage métacognitif.
Algorithme VOCAL : Les auteurs introduisent VOCAL, une méthode d'optimisation légère qui adapte les correspondances d'incertitude verbale à des LLM spécifiques sans nécessordre de mise à jour des paramètres ou de fine-tuning. Il apprend la masse de probabilité optimale que chaque marqueur doit transmettre en fonction de la justesse empirique.
Analyse empirique exhaustive : L'étude fournit une analyse approfondie de la divergence des LLM par rapport aux humains. Par exemple, l'article démontre que si les humains évaluent « très probablement » comme étant un haut niveau de confiance (~~0,85), GPT-4o associe cette expression à une confiance nettement plus faible (~~0,35) dans son état interne.

Résultats

Supériorité sur la recherche humaine (Lookup) : VOCAL surpasse systématiquement la table de correspondance humaine ( $Q_{VU-H}$ ). Sur le jeu de données GSM8K, VOCAL a amélioré l'AUROC de GPT-4o de 0,41 (en utilisant la recherche humaine) à environ 0,60.
Comparaison avec les bases à échantillon unique : VOCAL surpasse de manière significative les méthodes d'UQ à échantillon unique telles que G-NLL et la perplexité (PPL). Dans 5 des 6 contextes évalués, VOCAL a obtenu l'AUROC le plus élevé. Par exemple, sur GSM-Hard avec DeepSeek-V3.1, VOCAL a atteint un AUROC de 0,715, contre 0,520 pour G-NLL.
Compétitivité avec les méthodes multi-échantillons : Malgré l'utilisation d'une seule réponse, VOCAL atteint des performances comparables aux méthodes multi-échantillons coûteuses (ex. : entropie sémantique, densité sémantique). Dans plusieurs cas (ex. : SciQ avec Qwen2.5-72B), VOCAL a obtenu l'AUROC le plus élevé (0,717), surpassant les bases de référence par échantillonnage.
Calibration : VOCAL démontre de solides propriétés de calibration. Lorsqu'il est combiné avec des méthodes de calibration post-hoc comme la régression isotonique (IR), il a atteint une erreur de calibration attendue (ECE) moyenne de 0,0281, surpassant les autres bases de référence.
Transférabilité : Les expériences montrent que, bien que les indicateurs d'incertitude verbale soient largement transférables entre différents LLM (l'AUROC reste dans la plage 0,60–0,72 lors d'un entraînement sur un modèle et d'un test sur un autre), l'ajustement spécifique au modèle via VOCAL produit des résultats supérieurs.

Signification et affirmations

L'article affirme que les expressions d'incertitude verbale dépendent du modèle, et que s'appuyer sur des tables fixes définies par l'humain est insuffisant pour une UQ fiable dans les LLM. La portée de ce travail réside dans :

Combler le fossé Humain-LLM : Il révèle que « très probablement » ne signifie pas la même chose pour un LLM que pour un humain, soulignant une déconnexion critique dans les mécanismes de confiance actuels.
Efficacité et praticité : VOCAL offre un excellent compromis précision-efficacité. Il fournit une discrimination d'incertitude proche de l'état de l'art sans la latence et le coût des pipelines de cohérence sémantique à multiples échantillons, ce qui le rend plus pratique pour un déploiement réel.
Aperçu métacognitif : Les conclusions suggèrent que bien que les LLM puissent exprimer l'incertitude verbalement, leur cartographie interne de ces expressions vers des niveaux de confiance est distincte de la cognition humaine. VOCAL offre un mécanisme pour aligner ces expressions avec la fiabilité réelle du modèle, favorisant des interactions avec l'IA plus dignes de confiance.

Les auteurs concluent que l'ancrage de l'incertitude des LLM dans des expressions verbales, lorsqu'il est correctement calibré pour le modèle spécifique, offre une voie viable vers une IA générative plus fiable et responsable.