💬 NLP

Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models

L'article propose l'« auto-évaluation groupée » (Clustered Self-Assessment), une méthode simple et efficace qui améliore la quantification de l'incertitude dans les grands modèles de langage en regroupant les générations échantillonnées en options sémantiques pour l'auto-évaluation, surpassant systématiquement les bases de référence existantes même avec un échantillonnage supplémentaire minimal.

Auteurs originaux : Qi Cao, Takeshi Kojima, Andrew Gambardella, Helinyi Peng, Yutaka Matsuo, Yusuke Iwasawa

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qi Cao, Takeshi Kojima, Andrew Gambardella, Helinyi Peng, Yutaka Matsuo, Yusuke Iwasawa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous posiez une question à un ami très intelligent et cultivé (un grand modèle de langage, ou LLM). Il vous répond instantanément avec une grammaire parfaite et une assurance totale. Mais voici le piège : parfois, il se trompe avec assurance. Il pourrait vous dire que la tour Eiffel se trouve à Berlin, avec autant de certitude qu'il vous dirait qu'elle est à Paris.

Le problème est que vous n'avez aucun moyen de savoir s'il dit la vérité ou s'il est simplement en train d'« halluciner » un mensonge plausible.

Ce document présente une astuce simple appelée Auto-évaluation par Groupement (Clustered Self-Assessment) pour vous aider à déterminer à quel point vous pouvez faire confiance à la réponse de votre ami IA.

Le Problème : Le « Menteur Confiant »

Les modèles d'IA actuels sont excellents pour parler, mais ils sont terribles pour admettre qu'ils ne savent pas quelque chose. Si vous leur demandez : « À quel point es-tu sûr ? », ils répondront souvent : « Sûr à 100 % ! », même lorsqu'ils ont tort. D'autres méthodes tentent de deviner leur confiance en observant combien de réponses différentes l'IA donne si vous lui posez la même question dix fois, mais ces méthodes sont souvent difficiles à comprendre et n'utilisent pas efficacement le « cerveau » de l'IA.

La Solution : Le « QCM »

Les auteurs proposent un jeu ingénieux en deux étapes pour faire vérifier son propre travail par l'IA.

Étape 1 : La séance de « Brainstorming »
D'abord, vous posez la même question à l'IA plusieurs fois (en poser juste quelques-unes de plus suffit).

Analogie : Imaginez demander à votre ami : « Où se trouve la tour Eiffel ? » cinq fois de suite. Il pourrait répondre « Paris », « Paris, France », « La capitale de la France », « Berlin » et « Rome ».

Étape 2 : Le jeu du « Groupement »
Ensuite, vous prenez ces réponses et vous regroupez celles qui veulent dire la même chose.

Analogie : Vous réalisez que « Paris », « Paris, France » et « La capitale de la France » disent tous la même chose. Vous les mettez dans un même tas. « Berlin » et « Rome » sont différents, ils reçoivent donc leurs propres tas. Vous avez maintenant trois groupes distincts : Le Groupe Paris, le Groupe Berlin et le Groupe Rome.

Étape 3 : Le « Jeu de Quiz »
Maintenant, vous retournez cela contre l'IA. Vous lui présentez la question d'origine, mais cette fois, vous lui donnez un questionnaire à choix multiples où les options sont les groupes que vous venez de créer.

La Question : « Où se trouve la tour Eiffel ? »
Les Options :
- A) Le Groupe Paris
- B) Le Groupe Berlin
- C) Le Groupe Rome
- D) Aucune de ces réponses

Étape 4 : Le « Score de Confiance »
Enfin, vous demandez à l'IA de choisir une réponse. C'est là que la magie opère : vous regardez la probabilité mathématique que l'IA attribue à l'option qu'elle choisit.

Si l'IA choisit « A » (Paris) et lui donne une probabilité de 95 %, elle dit : « Je suis très sûre que ce groupe est le bon. »
Si elle choisit « A » mais ne lui donne que 40 % de probabilité (et qu'elle est partagée entre A, B et C), elle dit : « Je ne suis pas vraiment sûre de quel groupe est le bon. »

Pourquoi c'est important

Les auteurs affirment que cette méthode est gagnante pour trois raisons principales :

C'est rapide et peu coûteux : Vous n'avez pas besoin de poser la question 16 fois pour obtenir un bon résultat. Juste deux échantillons supplémentaires (poser la question deux fois de plus) suffisent pour obtenir des résultats qui battent d'autres méthodes qui en demandent 16. C'est comme obtenir une excellente réponse avec une pause café rapide plutôt qu'un long déjeuner.
C'est facile à comprendre : Au lieu de vous donner un score mathématique déroutant comme « Entropie : 0,84 », cela vous donne un pourcentage simple (par exemple, « 85 % de confiance »). C'est quelque chose qu'un humain normal peut réellement utiliser pour décider s'il doit faire confiance à la réponse.
Cela fonctionne mieux : Lorsque les chercheurs ont testé cette méthode sur différents modèles d'IA et différents types de questions (allant des anecdotes de culture générale au résumé d'actualités), leur méthode a systématiquement prédit la confiance de l'IA plus précisément que toutes les autres méthodes populaires.

Le revers de la médaille (Limites)

Les auteurs sont honnêtes sur les défauts :

Le problème de la « Boîte Noire » : Pour faire cela, vous devez voir les calculs internes de l'IA (ses « logits »). Si vous utilisez une IA fermée (comme une API payante où vous ne pouvez pas voir les rouages internes), vous ne pouvez pas utiliser cette méthode.
Le coût du « Arbitre » : Pour grouper les réponses à l'étape 2, la méthode utilise un autre modèle d'IA, plus petit, pour servir d'arbitre. Cela ajoute un peu de travail supplémentaire.
Absence d'étape de « Calibrage » : La méthode utilise les chiffres bruts que l'IA fournit. Bien qu'ils fonctionnent bien, les auteurs admettent qu'ajouter une étape finale d'« ajustement » pourrait les rendre encore plus parfaits.

Résumé

En bref, ce document suggère qu'au lieu de deviner à quel point une IA est sûre d'elle, nous devrions lui faire passer un test à choix multiples basé sur ses propres réponses précédentes. En observant la force avec laquelle l'IA choisit une option par rapport aux autres, nous obtenons un « indicateur de confiance » clair, simple et hautement précis qui nous dit quand faire confiance à l'IA et quand revérifier son travail.

Résumé technique : Auto-évaluation par regroupement pour la quantification de l'incertitude dans les LLM

Énoncé du problème

Les grands modèles de langage (LLM) font preuve de performances remarquables à travers diverses tâches, mais génèrent fréquemment des réponses qui semblent fluides et plausibles tout en étant factuellement incorrectes. Ce problème d'« hallucination » est particulièrement critique dans des domaines à enjeux élevés tels que la santé, le droit et la recherche scientifique. Un obstacle majeur à l'atténuation de ces risques est l'absence d'estimations explicites et fiables de l'incertitude. Les méthodes existantes pour quantifier l'incertitude reposent souvent sur des signaux indirects, tels que l'entropie à travers des générations échantillonnées ou des métriques de divergence sémantique. Ces approches présentent deux limitations principales :

Interprétabilité : Les scores indirects (par exemple, les métriques basées sur l'entropie) sont difficiles à interpréter pour les utilisateurs finaux, ce qui limite leur utilité pratique.
Sous-utilisation des connaissances internes : De nombreuses méthodes mesurent les écarts de sortie sans exploiter la compréhension interne du LLM de sa propre connaissance. De plus, les tentatives visant à faire verbaliser l'incertitude directement aux LLM échouent souvent en raison du problème bien documenté de la surconfiance des modèles.

Méthodologie : Auto-évaluation par regroupement (Clustered Self-Assessment)

Les auteurs proposent l'Auto-évaluation par regroupement, une méthode en deux étapes conçue pour susciter et quantifier l'incertitude en incitant le LLM à évaluer ses propres réponses générées. Le processus transforme le problème de l'estimation de l'incertitude en une tâche de question à choix multiples (QCM) structurée.

Étape 1 : Regroupement des réponses (Answer Clustering)

Pour une question donnée, le LLM génère plusieurs réponses (échantillons). Pour réduire la redondance sémantique tout en préservant la diversité, ces échantillons sont regroupés en clusters sémantiquement distincts :

Estimation de la relation sémantique : Un modèle externe d'inférence de langage naturel (NLI) (spécifiquement deberta-large-mnli) est utilisé pour estimer les relations sémantiques par paires entre les réponses échantillonnées. Pour chaque paire $(a_i, a_j)$ , le modèle NLI prédit des étiquettes telles que implication (entailment), neutre ou contradiction.
Logique de regroupement : La méthode emploie un filtre basé sur des règles sur les étiquettes NLI bidirectionnelles. Deux réponses sont regroupées dans le même cluster si leur relation bidirectionnelle ne contient aucune contradiction et inclut au moins une implication dans une direction ou l'autre.
Sélection de représentants : Chaque cluster est représenté par une seule réponse (généralement la première assignée au cluster). Ce processus garantit que l'ensemble final d'options représente des réponses candidates sémantiquement distinctes plutôt que de mineures variations d'une même réponse.

Étape 2 : Auto-évaluation via QCM

Les réponses regroupées sont utilisées pour construire un QCM structuré :

Formulation de la question : La question originale est présentée aux côtés des réponses représentatives de chaque cluster comme des choix distincts (par exemple, Option A, Option B, Option C).
Option de sécurité : Une option supplémentaire, « Aucune des réponses ci-dessus », est incluse pour tenir compte des scénarios où tous les clusters générés sont incorrects ou si le modèle est très incertain.
Score de confiance : Le QCM construit est réinjecté dans le LLM d'origine. La probabilité du jeton (token) attribuée au choix spécifique correspondant à sa réponse principale (décodage greedy) sert de score de confiance.
- Formellement, si $c_{i^*}$ est l'étiquette du jeton pour le choix correct, le score de confiance $S$ est $P(c_{i^*})$ .

Principales contributions

Susciter l'auto-évaluation : La méthode exploite les représentations d'incertitude internes des LLM en structurant les générations échantillonnées sous forme de QCM. Cela incite le modèle à évaluer explicitement la justesse de ses propres réponses plutôt que de s'appuyer sur des proxies statistiques indirects.
Performance et efficacité supérieures : L'approche surpasse systématiquement les bases de référence existantes (incluant l'entropie sémantique, l'EigenScore et SAR) sur plusieurs modèles et jeux de données. Notamment, elle atteint des performances compétitives avec seulement deux échantillons supplémentaires, alors que certaines bases de référence en nécessitent jusqu'à seize, réduisant ainsi considérablement la charge de calcul.
Interprétabilité humaine : En utilisant la probabilité du jeton d'un choix spécifique comme score de confiance, la méthode fournit une métrique intuitive pour les utilisateurs, se rapportant directement à la probabilité que la réponse soit correcte.

Résultats expérimentaux

La méthode a été évaluée sur sept modèles open-source de pointe (séries Qwen-2.5, Qwen-3 et Gemma-3) et trois jeux de données : TriviaQA (TQA), Natural Questions (NQ) et XSum (résumé).

Précision (AUROC) : La méthode a obtenu l'aire sous la courbe ROC (AUROC) la plus élevée sur tous les modèles et jeux de données. Par exemple, sur TQA avec Qwen2.5-32B, elle a atteint une AUROC de 0,940, surpassant la base de référence suivante (Deg) qui a obtenu 0,848.
Efficacité d'échantillonnage : Les performances sont restées robustes même avec un échantillonnage minimal. Avec seulement deux échantillons supplémentaires, la méthode a surpassé les bases de référence utilisant huit ou seize échantillons.
Calibration : En utilisant le score de Brier, la méthode a démontré une calibration supérieure par rapport aux bases de référence basées sur la probabilité (P(True) et Probabilité brute), indiquant que les scores de confiance s'alignent bien avec la justesse empirique.
Entraînement de sonde (Probe Training) : Lorsqu'elle est utilisée comme signal d'entraînement pour une sonde afin de prédire l'incertitude à partir des états cachés du LLM, les scores de la méthode ont permis à la sonde de surpasser les bases de référence dans des contextes hors distribution sans nécessiter d'étiquettes de correction lors de l'inférence.

Signification et limites

L'article soutient que l'Auto-évaluation par regroupement offre une solution pratique, efficace et performante pour la quantification de l'incertitude. En convertissant le problème en une tâche d'auto-évaluation, elle comble le fossé entre la connaissance interne du modèle et les métriques de confiance interprétables par l'utilisateur.

Les auteurs reconnaissent des limites spécifiques :

Accès aux logits : La méthode nécessite l'accès aux logits de sortie, ce qui peut ne pas être disponible pour les modèles fermés (closed-source).
Dépendance externe : Elle repose sur un modèle NLI externe pour le regroupement, ce qui introduit une surcharge de calcul et un potentiel désalignement sémantique. Les auteurs suggèrent que les travaux futurs pourraient exploiter les propres représentations internes du LLM pour le regroupement.
Calibration : La méthode utilise les probabilités softmax brutes sans calibration post-hoc, bien qu'elle démontre déjà de solides performances.

En conclusion, l'article présente un cadre simple mais robuste qui améliore la fiabilité des sorties de LLM en permettant aux modèles d'évaluer leur propre incertitude par une auto-réflexion structurée.