🤖 machine learning

LLMs Should Express Uncertainty Explicitly

Cette étude démontre que les grands modèles de langage doivent exprimer explicitement leur incertitude via deux interfaces complémentaires : une confiance verbalisée globale pour évaluer la fiabilité d'une réponse finale et un signal local pendant le raisonnement pour déclencher des interventions précoces, optimisant ainsi la prise de décision et la récupération d'informations.

Auteurs originaux : Junyu Guo, Shangding Gu, Ming Jin, Costas Spanos, Javad Lavaei

Publié 2026-04-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Junyu Guo, Shangding Gu, Ming Jin, Costas Spanos, Javad Lavaei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🤖 Les IA devraient dire "Je ne sais pas" (et le faire de deux façons différentes)

Imaginez que vous avez un assistant très intelligent, mais un peu trop confiant. Parfois, il invente des faits avec une assurance totale, comme un élève qui répond à un examen en criant "C'est sûr !" alors qu'il a tort. C'est ce qu'on appelle une hallucination.

Le problème, c'est que les systèmes actuels cachent leur doute. Ils pensent à l'intérieur, mais ne le disent pas. Ce papier propose de changer la donne : au lieu de cacher le doute, il faut le rendre visible et utile.

Les chercheurs de Berkeley et Virginia Tech disent qu'il ne suffit pas de mesurer le doute, il faut le parler. Pour cela, ils ont testé deux façons différentes de le faire, comme deux outils dans une boîte à outils :

1. Le "Juge de Paix" (L'interface globale)

L'analogie : Imaginez un juge qui, après avoir rendu son verdict, dit : "Je suis sûr à 90 % que ce verdict est juste."

Comment ça marche : À la toute fin de la réponse de l'IA, celle-ci ajoute un score de confiance (un pourcentage).
L'effet magique : Avant, l'IA disait souvent "Je suis sûr à 100 %" même quand elle se trompait. Après l'entraînement, elle apprend à être honnête. Si elle a un doute, elle baisse son score.
À quoi ça sert ? C'est parfait pour décider si on peut faire confiance à la réponse finale. Si le score est bas, le système humain ou un autre robot peut dire : "Attends, cette réponse est trop incertaine, on ne l'utilise pas."

2. Le "Drapeau Rouge" (L'interface locale)

L'analogie : Imaginez un mécanicien qui répare une voiture. Au lieu d'attendre la fin du travail pour dire "Ça ne va pas", il s'arrête au milieu du processus, lève un drapeau rouge et crie : "Hé ! Je ne suis pas sûr de cette pièce, il faut qu'on vérifie avant de continuer !"

Comment ça marche : Pendant que l'IA réfléchit (étape par étape), si elle rencontre un obstacle ou un fait flou, elle émet un signal spécial (comme le mot <incertain>).
L'effet magique : Cela permet d'interrompre le processus avant que l'IA ne se trompe complètement. Au lieu de continuer à inventer des choses, elle s'arrête et demande de l'aide (par exemple, aller chercher une information sur Google).
À quoi ça sert ? C'est idéal pour corriger les erreurs en temps réel. C'est comme un garde-fou qui empêche l'IA de tomber dans le vide.

🧠 Ce qui se passe "sous le capot" (La mécanique)

Les chercheurs ont aussi regardé comment l'IA apprendait ces nouvelles habitudes, un peu comme un médecin qui regarde les rayons X du cerveau de l'IA.

Pour le "Juge de Paix" (Confiance globale) : L'IA n'a pas besoin de changer sa façon de penser. Elle a juste appris à mieux lire ses propres pensées. C'est comme si elle avait appris à mieux exprimer ce qu'elle ressent déjà. Sa "géométrie" interne reste la même, elle devient juste plus honnête sur ce qu'elle dit.
Pour le "Drapeau Rouge" (Signal local) : Là, c'est plus radical. L'IA doit reconstruire une partie de son processus de pensée. Elle apprend à créer un nouvel état mental spécifique pour dire "Je suis perdu". C'est comme si elle apprenait une nouvelle danse pour signaler qu'elle trébuche.

🏆 Le résultat final : Pourquoi c'est important ?

Ce papier nous apprend que l'incertitude n'est pas un seul outil, mais une stratégie de communication.

Si vous voulez savoir si vous pouvez faire confiance à une réponse finale, utilisez le score de confiance (le Juge de Paix).
Si vous voulez empêcher l'IA de se tromper pendant qu'elle réfléchit, utilisez le signal d'arrêt (le Drapeau Rouge).

En résumé :
Avant, les IA étaient comme des élèves qui mentaient sur leurs notes. Maintenant, on leur apprend à dire : "Je suis sûr" ou "Je ne suis pas sûr" au bon moment. Cela permet de construire des systèmes plus sûrs, qui savent quand s'arrêter, quand demander de l'aide, et quand on peut les écouter sans peur.

C'est une étape cruciale pour rendre l'intelligence artificielle plus fiable dans la vraie vie, que ce soit pour la médecine, la finance ou simplement pour répondre à nos questions du quotidien.

1. Problématique et Contexte

Les modèles de langage (LLM) sont des systèmes probabilistes qui génèrent de l'incertitude tout au long du processus de génération. Cependant, dans les déploiements réels (prise de décision, abstention, récupération d'informations, vérification), cette incertitude doit être explicite et actionnable.

Le problème central identifié par les auteurs est que la plupart des méthodes existantes traitent l'incertitude comme une quantité latente à estimer a posteriori (après la génération), souvent via des sondes externes ou des heuristiques de calibration. Cela crée un problème de visibilité : les systèmes de contrôle en aval doivent « lire entre les lignes » du comportement du modèle pour déduire l'incertitude, ce qui est indirect et peu fiable.

L'article propose de repenser l'incertitude non pas comme une simple métrique à mesurer, mais comme une interface de communication que le modèle doit être entraîné à exprimer directement.

2. Méthodologie : Deux Interfaces Complémentaires

Les auteurs distinguent deux échelles d'incertitude et proposent deux interfaces correspondantes, toutes deux entraînées dans un cadre unifié de post-training (basé sur GRPO - Group Relative Policy Optimization) :

A. Interface Globale : Confiance Verbalisée (Verbalized Confidence)

Objectif : Fournir une estimation de la fiabilité de la réponse finale.
Mécanisme : Le modèle génère un score de confiance calibré (un nombre décimal entre 0 et 1) après avoir produit sa réponse.
Entraînement : Utilisation d'une récompense basée sur la justesse de la réponse et le niveau de confiance exprimé. Si la réponse est correcte, la récompense est proportionnelle à la confiance ( $r = p$ ). Si elle est fausse, la récompense est négative ( $r = -p$ ).
But : Aligner la confiance déclarée avec la probabilité empirique de justesse, supprimant ainsi les erreurs surconfiantes.

B. Interface Locale : Signal d'Incertitude pendant le Raisonnement ()

Objectif : Identifier les points de rupture pendant le processus de raisonnement, avant que le modèle ne s'engage définitivement dans une trajectoire erronée.
Mécanisme : Le modèle est entraîné à émettre un token spécial explicite <uncertain> lorsqu'il rencontre un état de raisonnement à haut risque (fait manquant, ambiguïté).
Entraînement : Une récompense asymétrique est utilisée :
- Réponse correcte sans émission : Récompense maximale.
- Réponse correcte avec émission : Récompense intermédiaire.
- Réponse fausse avec émission : Récompense faible (mais meilleure que le silence).
- Réponse fausse sans émission (échec silencieux) : Pénalité maximale.
But : Transformer les échecs épistémiques silencieux en événements visibles permettant une intervention (ex: déclenchement d'une recherche RAG).

3. Contributions Principales

Cadre de conception d'interface : L'incertitude est présentée comme un problème de conception d'interface (global pour la confiance finale, local pour l'intervention en cours de route) plutôt que comme un simple problème d'estimation.
Validation de la confiance verbalisée : Démonstration que l'entraînement à la confiance verbalisée améliore considérablement la calibration (réduction drastique de l'ECE et des erreurs surconfiantes) sans dégrader la précision des réponses, surpassant les méthodes de recalibration a posteriori.
Validation du signal <uncertain> : Démonstration que l'émission de tokens d'incertitude rend visibles les échecs précédemment silencieux, augmentant la couverture des erreurs pour les systèmes de contrôle en aval (récupération d'informations).
Analyse Mécanistique : Preuves que les deux interfaces agissent différemment au niveau interne :
- La confiance verbalisée affine la lecture d'une structure d'incertitude latente existante (géométrie préservée).
- Le signal <uncertain> induit une réorganisation plus profonde des représentations dans les couches tardives du modèle pour construire un nouvel état d'incertitude explicite.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de questions-réponses factuelles et multi-sauts (HotpotQA, MuSiQue, 2WikiMultihopQA, Natural Questions, TriviaQA).

Calibration (Interface Globale) :
- Le modèle calibré voit son ECE (Expected Calibration Error) chuter de 0,383 à 0,049.
- Le taux d'erreurs surconfiantes (confiance > 0,7 pour une réponse fausse) passe de 88,5 % à 3,2 %.
- La précision globale (EM) augmente légèrement (de 24,5 % à 27,4 %), montrant que la calibration ne sacrifie pas la performance.
- Analyse des erreurs : La majorité des erreurs passent d'« épistémiques » (fausses mais confiantes) à « aléatoires » (fausses mais avec faible confiance).
Contrôle de la RAG (Interface Locale) :
- Le modèle entraîné à émettre <uncertain> expose 88,2 % des réponses incorrectes (contre 15,1 % pour le modèle de base) comme candidats à l'intervention.
- Dans un scénario de RAG adaptatif, l'interface globale (Verbal-Calibrate) offre la meilleure performance globale avec un taux de déclenchement de récupération efficace (48,1 %), surpassant les méthodes de base comme Self-RAG ou FLARE.
- L'interface locale (Uncertain-Calibrate) agit comme un mécanisme de rappel élevé, déclenchant plus souvent la récupération (61,4 %), ce qui est utile pour les tâches complexes mais moins efficace en termes d'efficacité globale que l'interface globale.

5. Analyse Mécanistique et Théorique

L'article fournit des preuves mécanistiques fascinantes sur comment le modèle apprend à exprimer l'incertitude :

Logit Lens & PCA : La calibration verbalisée ne crée pas de nouvelles structures d'incertitude mais affine une variété (manifold) existante dans les couches tardives, rendant la lecture de la confiance plus nette et monotone.
CKA (Centered Kernel Alignment) :
- Pour la confiance verbalisée, les représentations internes restent géométriquement identiques à celles du modèle de base (CKA ≈ 1,0). C'est un ajustement de lecture léger.
- Pour le token <uncertain>, les représentations divergent fortement dans les dernières couches, indiquant que le modèle doit réécrire son état interne pour générer ce signal explicite.
Théorie du rééquilibrage (Tilted Distribution) : L'entraînement par GRPO agit comme un rééquilibrage des trajectoires : il supprime massivement les trajectoires erronées mais surconfiantes et amplifie les trajectoires correctes, sans avoir besoin de créer de nouvelles connaissances externes.

6. Signification et Conclusion

Ce travail démontre que l'incertitude dans les LLM ne doit pas être traitée comme un sous-produit passif, mais comme une compétence de communication active qui doit être entraînée.

Dualité nécessaire : Une seule forme d'incertitude ne suffit pas.
- La confiance globale est idéale pour décider si l'on peut faire confiance à une réponse finale (abstention, validation).
- Le signal local est crucial pour intervenir pendant le raisonnement (récupération d'informations, correction en temps réel).
Efficacité : L'entraînement explicite de ces signaux permet de construire des systèmes de contrôle plus robustes et économes en ressources (en évitant de récupérer des informations inutilement) par rapport aux méthodes heuristiques ou aux sondes externes.

En résumé, l'article plaide pour une approche où l'incertitude est intégrée à l'entraînement du modèle comme une interface de communication adaptée à la tâche, transformant les LLM de systèmes « silencieux » en agents capables de signaler clairement leurs limites.