💬 NLP

Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

Cet article présente UQLM, un kit d'outils Python polyvalent et un cadre d'ensemble ajustable qui intègre des techniques de quantification de l'incertitude de type boîte noire, boîte blanche et LLM-as-a-Judge afin de fournir des scores de confiance standardisés pour la détection des hallucinations dans les grands modèles de langage, démontrant une performance supérieure aux méthodes existantes sur divers benchmarks.

Auteurs originaux : Dylan Bouchard, Mohit Singh Chauhan

Publié 2026-01-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dylan Bouchard, Mohit Singh Chauhan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robotique très intelligent, mais occasionnellement trop sûr de lui. Vous lui posez des questions, et il vous donne des réponses qui semblent parfaites. Mais parfois, il invente complètement des choses — c'est ce qu'on appelle une « hallucination ». Dans des métiers à enjeux élevés comme la santé ou la finance, un fait inventé n'est pas seulement une erreur ; c'est dangereux.

Ce document présente une boîte à outils appelée « truth-o-meter » (le mètre de vérité), conçue pour aider les humains à déterminer quand cet assistant robotique leur ment, sans avoir besoin de consulter un livre de référence au préalable (un cadre en « livre fermé »).

Voici comment fonctionne le cadre de ce document, expliqué à travers des analogies simples :

1. Les trois types de « détectives de la vérité »

Les auteurs ont construit une suite de différentes méthodes pour vérifier si une réponse est réelle. Considérez cela comme trois types différents de détectives :

Le détective du « Groupement de pensée » (UQ Black-Box) :
Imaginez que vous posiez la même question au robot 15 fois. Si le robot est confiant et connaît la réponse, il donnera à peu près la même réponse à chaque fois, simplement formulée légèrement différemment. Si le robot hallucine, ses réponses seront totalement éparpillées — des histoires complètement différentes à chaque fois.
- L'approche du document : Ils utilisent les mathématiques pour mesurer à quel point ces 15 réponses sont similaires. Si elles sont toutes très similaires, le « score de confiance » est élevé. Si elles sont chaotiques, le score est bas. Ils utilisent différentes manières de mesurer cette similitude, comme vérifier si les phrases se contredisent (comme un vérificateur de faits) ou à quel point elles se chevauchent en termes de sens.
Le détective du « Monologue interne » (UQ White-Box) :
Imaginez que le robot écrit une réponse mot par mot. En choisissant chaque mot, il possède un petit « pressentiment » (probabilité) sur la pertinence de ce mot.
- L'approche du document : Si le robot est très sûr de chaque mot qu'il choisit, ses scores de « pressentiment » interne sont élevés, et la réponse est probablement vraie. Si le robot hésite et choisit des mots avec une faible confiance, la réponse est probablement une hallucination. Cela nécessite d'avoir accès aux « pensées » internes du robot (les probabilités de jetons/tokens).
Le détective de la « Revue par les pairs » (LLM-as-a-Judge) :
Imaginez demander à un second robot, tout aussi intelligent, de lire la réponse du premier robot et de la noter.
- L'approche du document : On soumet la question et la réponse à une autre IA et on lui demande : « À quel point êtes-vous sûr que ceci est correct ? ». La seconde IA donne un score de 0 à 100, qui est ensuite converti en un score de confiance de 0 à 1. Curieusement, le document a découvert que le meilleur « juge » est généralement un robot qui est également très bon pour répondre à ces types de questions spécifiques lui-même.

2. La « Super-Équipe Mix-and-Match » (L'Ensemble)

La plus grande innovation du document est de réaliser qu'aucun détective unique n'est parfait. Parfois, le détective du « Groupement de pensée » a raison ; d'autres fois, le détective de la « Revue par les pairs » est meilleur.

Ainsi, ils ont créé un Ensemble Accordable (Tunable Ensemble). Considérez cela comme un entraîneur capable d'ajuster le poids de l'opinion de chaque détective.

Si vous posez des questions de mathématiques, l'entraîneur pourrait écouter davantage le détective du « Monologue interne ».
Si vous posez des questions d'histoire, l'entraîneur pourrait écouter davantage le détective de la « Revue par les pairs ».
Comment cela fonctionne : Vous donnez au système quelques exemples de questions pour lesquelles vous connaissez déjà les bonnes réponses. Le système « apprend » comment mélanger les scores de tous les détectives pour obtenir le résultat le plus précis selon vos besoins spécifiques.

3. Les résultats : Pourquoi c'est important

Les auteurs ont testé cet ensemble d'outils sur quatre modèles d'IA différents à travers six types de questions différents (comme des problèmes mathématiques, des quiz à choix multiples et des faits à réponse ouverte).

La victoire de l'équipe : La « Super-Équipe Mix-and-Match » a presque toujours battu n'importe quel détective travaillant seul.
Le filtrage fonctionne : Ils ont montré que si vous utilisez ces scores pour bloquer les réponses à faible confiance, les réponses restantes sont beaucoup plus précises. Par exemple, s'ils bloquaient les 40 % de réponses les moins bonnes basées sur le score, la précision des réponses restantes augmentait considérablement.
Rendements décroissants : Ils ont constaté que demander 15 réponses différentes au robot est une bonne chose, mais en demander 30 ou 50 n'apporte pas beaucoup plus. C'est comme demander l'avis de 15 amis ; en demander 50 prend juste trop de temps sans donner de meilleurs conseils.

4. La boîte à outils : `uqlm`

Pour rendre cela facile à utiliser pour n'importe qui, les auteurs ont publié un package logiciel gratuit appelé uqlm. C'est comme une boîte à outils pré-construite qui permet aux développeurs d'intégrer ces différents « détectives » et l'« entraîneur » (l'ensemble) sans avoir à construire les mathématiques de zéro.

L'essentiel

Le document conclut qu'il n'existe pas de solution « universelle » pour attraper les mensonges de l'IA. La meilleure approche consiste à utiliser un système flexible qui combine différentes méthodes et les ajuste spécifiquement pour le type de questions que vous posez. Cela aide à garantir que lorsque une IA parle, nous savons à quel point nous pouvons lui faire confiance.

Note importante du document : Les auteurs avertissent qu'un score de confiance élevé ne garantit pas que la réponse est vraie dans le monde réel ; cela signifie simplement que l'IA est sûre de sa réponse. Par conséquent, dans des domaines critiques comme la médecine ou le droit, les humains doivent toujours vérifier le travail.

Résumé technique : Quantification de l'incertitude pour les modèles de langage

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines à enjeux élevés tels que la santé et la finance, où l'exactitude factuelle est critique. Un risque majeur dans ces applications est l'« hallucination », définie ici comme la génération de contenu qui semble plausible mais qui est factuellement incorrect. Bien que les évaluations pré-déploiement comparant le texte généré à la vérité de terrain soient courantes, elles ne permettent pas une surveillance en temps réel des systèmes déployés. De plus, de nombreuses méthodes de détection existantes reposent sur l'accès au contenu source ou à des bases de données de vérité de terrain, qui sont indisponibles dans les contextes de type « livre fermé » (closed-book). Le document traite de la nécessité d'un cadre polyvalent de type « livre fermé » capable de calculer des scores de confiance au niveau de la réponse lors de la génération, afin de détecter les hallucinations sans accès à des réponses de référence ou à des bases de données externes.

Méthodologie
Les auteurs proposent un cadre unifié qui adapte les techniques existantes de quantification de l'incertitude (UQ) en scores de confiance standardisés allant de 0 à 1 (où 1 indique une confiance élevée). Le cadre catégorise les évaluateurs en trois types distincts et introduit une approche d'ensemble ajustable :

Évaluateurs UQ de type « Boîte Noire » (Black-Box) : Ces méthodes exploitent la nature stochastique des LLM en générant plusieurs réponses candidates ( $m$ ) à partir du même prompt et en les comparant à la réponse originale. Le document implémente et normalise plusieurs approches :
- Exact Match Rate (EMR) : Mesure la proportion de candidats identiques à la réponse originale.
- Non-Contradiction Probability (NCP) : Utilise un modèle d'inférence textuelle naturelle (NLI) pour calculer la probabilité que les candidats ne contredisent pas la réponse originale.
- BERTScore (BSC) : Calcule le score F1 moyen basé sur les plongements de mots contextualisés (embeddings) entre la réponse originale et les réponses candidates.
- Normalized Cosine Similarity (NCS) : Mesure la similitude sémantique à l'aide de transformateurs de phrases, normalisée dans l'intervalle [0, 1].
- Normalized Semantic Negentropy (NSN) : Une version normalisée de l'entropie sémantique qui regroupe les réponses par implication mutuelle pour mesurer la volatilité de la réponse.
Évaluateurs UQ de type « Boîte Blanche » (White-Box) : Ceux-ci exploitent les probabilités de jetons (tokens) internes du processus de génération du LLM :
- Length-Normalized Token Probability (LNTP) : La moyenne géométrique des probabilités de jetons, normalisée pour la longueur de la réponse.
- Minimum Token Probability (MTP) : La probabilité la plus basse parmi tous les jetons de la réponse générée.
Évaluateurs de type « LLM-as-a-Judge » : Un LLM distinct est sollicité pour évaluer la justesse factuelle d'une paire question-réponse, produisant un score sur une échelle de 0 à 100 qui est ensuite normalisé à [0, 1].
Approche d'ensemble ajustable : La contribution centrale est une moyenne pondérée des évaluateurs individuels décrits ci-dessus. Les poids ( $w$ ) sont optimisés à l'aide d'un ensemble de réponses de LLM graduées fourni par l'utilisateur (où les étiquettes de vérité de terrain sont connues) et d'une fonction d'objectif de classification (par exemple, l'AUROC ou le score F1). Cela permet à l'ensemble d'être personnalisé pour des cas d'utilisation, des LLM et des jeux de données spécifiques.

Contributions clés

Cadre standardisé : Le document décrit une méthode pour transformer diverses techniques d'UQ en une métrique de confiance cohérente au niveau de la réponse, adaptée à la détection d'hallucinations en temps réel en mode « livre fermé ».
Boîte à outils open-source : Les auteurs publient uqlm, un package Python fournissant des implémentations prêtes à l'emploi de tous les évaluateurs proposés et du mécanisme de réglage de l'ensemble.
Extensibilité : La conception de l'ensemble est modulaire, permettant aux praticiens d'incorporer de nouvelles méthodes d'évaluation à mesure que la recherche évolue.
Aperçus empiriques : L'étude fournit des orientations basées sur les données pour la sélection des évaluateurs, telles que les rendements décroissants de l'échantillonnage de réponses candidates supplémentaires et la corrélation entre l'exactitude de génération d'un modèle et son efficacité en tant que juge.

Résultats expérimentaux
Les auteurs ont évalué le cadre à travers six benchmarks (GSM8K, SVAMP, CSQA, AI2-ARC, PopQA, NQ-Open) en utilisant quatre LLM (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash, Gemini-2.5-Flash-Lite).

Performance de l'ensemble : L'ensemble ajustable a systématiquement surpassé les composants individuels dans 20 des 24 scénarios LLM-jeu de données pour l'AUROC et 17 des 24 pour le score F1.
Variabilité des évaluateurs : La performance des évaluateurs individuels variait considérablement selon le jeu de données. Les évaluateurs de type boîte noire basés sur la NLI (NSN et NCP) ont généralement surpassé les autres méthodes de boîte noire.
Sélection du juge : L'exactitude d'un modèle sur un jeu de données spécifique était positivement corrélée à sa performance en tant que juge pour ce même jeu de données. Par exemple, Gemini-2.5-Flash excellait en tant que juge sur les benchmarks mathématiques, tandis que GPT-4o performait le mieux sur les benchmarks de réponses courtes.
Boîte blanche vs Boîte noire : Les évaluateurs de type boîte blanche (LNTP, MTP) ont performé de manière approximativement égale entre eux, mais ont généralement été moins performants que les meilleures méthodes de boîte noire ou d'ensemble dans de nombreux scénarios, particulièrement lorsque les probabilités de jetons n'étaient pas le signal principal d'incertitude.
Efficacité du filtrage : L'application de seuils de confiance pour filtrer les réponses à faible confiance a entraîné une augmentation monotone de l'exactitude du modèle. Par exemple, le filtrage des réponses de GPT-4o sur GSM8K avec l'évaluateur d'ensemble a augmenté l'exactitude d'une base de 0,55 à 0,93 avec un seuil de 0,6.

Signification et affirmations
Le document affirme que les stratégies de détection d'hallucinations personnalisées, spécifiquement via des ensembles ajustables, offrent une solution pratique et efficace pour améliorer la fiabilité des LLM en production. Les auteurs soulignent qu'il n'existe pas de solution « universelle » ; plutôt, l'approche optimale dépend du LLM spécifique, du jeu de données et des contraintes opérationnelles (par exemple, la latence, l'accès API aux probabilités de jetons).

Les auteurs maintiennent une position modeste concernant les limites, notant que leurs conclusions peuvent ne pas se généraliser à la génération de textes longs ou à la génération de code sans modification. Ils avertissent également que les scores de confiance reflètent l'incertitude du modèle plutôt que la justesse de la vérité de terrain, déconseillant leur utilisation comme garanties de décision absolues dans des domaines à haut risque sans examen humain. Ce travail sert d'outil pratique pour les praticiens souhaitant implémenter une détection d'hallucinations en temps réel et indépendante du modèle.

1. Les trois types de « détectives de la vérité »

2. La « Super-Équipe Mix-and-Match » (L'Ensemble)

3. Les résultats : Pourquoi c'est important

4. La boîte à outils : uqlm

L'essentiel

Articles similaires

4. La boîte à outils : `uqlm`