Calibrating Verbalized Confidence with Self-Generated Distractors

Cet article propose DINCO, une méthode qui améliore la calibration des scores de confiance verbalisés des grands modèles de langage en normalisant ces scores par rapport à des distracteurs auto-générés et en intégrant la cohérence entre un générateur et un validateur, réduisant ainsi le surconfiance et surpassant les approches basées sur la simple auto-cohérence.

L'essentiel

🧠 Le Problème : L'IA trop confiante (et parfois menteuse)

Imaginez que vous demandez à un expert (une Intelligence Artificielle) de vous donner un conseil.

• La bonne réponse : Il dit : "Je suis sûr à 100 % que c'est la capitale de la France." (C'est vrai).
• La mauvaise réponse : Il dit : "Je suis sûr à 100 % que la capitale de la France est... le Maroc." (C'est faux).

Le problème, c'est que les IA actuelles sont souvent trop sûres d'elles, même quand elles ne savent pas. C'est comme un élève qui devine une réponse au hasard mais qui lève la main avec un air si convaincant que le professeur y croit. On appelle cela la "surconfiance". Si on fait confiance à ces IA pour des décisions importantes (médicales, juridiques), c'est dangereux.

🕵️‍♂️ L'Hypothèse : L'IA est "suggestible"

Les auteurs de ce papier ont découvert une raison à ce comportement. Ils appellent cela la suggestibilité.

Imaginez que vous demandez à quelqu'un : "Est-ce que Kang Ji-hwan est né en 1980 ?"
Si la personne ne connaît pas Kang Ji-hwan, elle va peut-être dire : "Hmm, c'est plausible, je dirais 60 % de chance."
Mais si vous lui posez ensuite la question : "Et si je vous dis qu'il est né en 1990 ?", elle va aussi dire : "Ah, c'est aussi plausible, 60 % de chance."

L'IA, comme un humain suggérable, accepte trop facilement l'information qu'on lui donne dans la question, même si elle ne la connaît pas vraiment. Elle pense : "Si l'utilisateur me pose la question, c'est que ça doit être vrai."

💡 La Solution : La méthode "DINCO" (Le Détective)

Pour corriger cela, les chercheurs ont créé une méthode appelée DINCO. Voici comment ça marche, avec une analogie simple :

1. Le jeu des "Faux Amis" (Les Distracteurs)

Au lieu de demander à l'IA une seule réponse, on lui demande de générer elle-même plusieurs fausses réponses (des "distracteurs").

• Question : "Qui a gagné le prix Nobel en 1930 ?"
• Réponse de l'IA : "Sinclair Lewis."
• L'IA invente aussi : "Hemingway", "Faulkner", "Orwell"...

Ensuite, on demande à l'IA : "Quelle est ta confiance pour Sinclair Lewis ? Et pour Hemingway ? Et pour Faulkner ?"

2. Le test de cohérence (Le "Compteur de Vérité")

Si l'IA est honnête et bien calibrée :

• Elle devrait avoir 100 % de confiance pour la bonne réponse.
• Elle devrait avoir 0 % de confiance pour les mauvaises réponses.
• La somme totale de ses confiances devrait être égale à 1 (ou 100 %).

Mais si l'IA est suggestible (comme dans notre exemple précédent) :

• Elle va dire "60 % de confiance" pour Sinclair Lewis.
• Elle va dire "60 % de confiance" pour Hemingway.
• La somme totale dépasse 100 % (120 % !). C'est mathématiquement impossible.

La magie de DINCO : Le système repère cette incohérence. Il dit : "Attends, tu ne peux pas être sûr à 60 % de trois réponses différentes qui s'excluent mutuellement. Tu es trop suggestible."
Il prend alors la réponse principale et la divise par la somme totale des confiances.

• Résultat : Au lieu de dire "60 %", l'IA se corrige elle-même et dit : "En réalité, ma vraie confiance est de 60 % divisé par 120 % = 50 %".

C'est comme si l'IA se regardait dans un miroir et se disait : "Tiens, je suis un peu trop optimiste, je vais baisser mon estimation."

3. La double vérification (Le Consensus)

Pour être encore plus précis, DINCO combine cette méthode avec une autre technique populaire (l'auto-cohérence). C'est comme demander à l'IA de répondre 5 fois à la même question. Si elle donne la même réponse 5 fois, c'est bon signe. DINCO mélange la "sagesse de la foule" (les 5 réponses) avec le "test de cohérence" (les faux amis) pour obtenir un score de confiance ultra-fiable.

🏆 Pourquoi c'est génial ?

1. Moins de "saturation" : Souvent, les IA disent "100 %" pour tout. DINCO rend les scores plus nuancés (50 %, 75 %, etc.), ce qui est beaucoup plus utile pour prendre des décisions.
2. Pas besoin de réapprendre : Cette méthode fonctionne avec n'importe quelle IA, même les plus petites ou les plus fermées (comme celles d'OpenAI), sans avoir besoin de les réentraîner.
3. Efficace : Même avec peu de calculs, DINCO bat les méthodes actuelles les plus avancées qui demandent beaucoup plus de puissance de calcul.

🎯 En résumé

Imaginez que vous achetez une voiture.

• L'IA actuelle : Vous dit "Cette voiture est parfaite à 100 % !" (même si elle a des freins défectueux).
• DINCO : L'IA se demande : "Si je dis que cette voiture est parfaite, est-ce que je dirais aussi que celle-là (qui a un moteur cassé) est parfaite ?"
  • Si elle dit "Oui" aux deux, DINCO comprend qu'elle est confuse.
  • Il ajuste le score : "Bon, je vais te dire que cette voiture est 'assez bonne' à 60 %, mais fais attention."

C'est une méthode simple, intelligente et efficace pour rendre les IA plus honnêtes sur ce qu'elles savent vraiment, et plus prudentes sur ce qu'elles ignorent.

Résumé technique

1. Problématique

Les grands modèles de langage (LLM) sont de plus en plus utilisés pour prendre des décisions critiques, mais leurs sorties sont souvent entachées d'erreurs. Pour que les utilisateurs puissent faire confiance à ces modèles, il est essentiel d'obtenir des estimations de confiance calibrées (c'est-à-dire que la probabilité déclarée de justesse doit correspondre à la fréquence réelle de justesse).

Le papier identifie deux problèmes majeurs avec les approches actuelles de confiance verbalisée (où le modèle exprime sa confiance en texte, ex: "80%" ou via la probabilité du token P(True)) :

1. Surconfiance (Overconfidence) : Les LLMs tendent à déclarer une haute confiance même lorsqu'ils répondent incorrectement, en particulier sur des sujets où ils ont peu de connaissances.
2. Saturation de la confiance : Les scores de confiance ont tendance à se concentrer dans quelques bins (souvent proches de 1), rendant les estimations peu informatives et incapables de discriminer finement entre les réponses correctes et incorrectes.

L'hypothèse centrale des auteurs est que cette surconfiance découle d'une suggétabilité accrue du modèle : face à une affirmation sur un sujet incertain, le modèle tend à accepter l'information présentée dans le contexte comme un préalable, augmentant artificiellement sa confiance déclarée.

2. Méthodologie : DINCO (Distractor-Normalized Coherence)

Les auteurs proposent DINCO, une méthode sans entraînement (zero-resource) qui corrige la confiance verbalisée en exploitant la cohérence logique entre des affirmations contradictoires.

A. Normalisation par les Distracteurs (NVC)

L'idée fondamentale est de mesurer la "suggétabilité" du modèle en lui demandant d'évaluer sa confiance sur plusieurs distracteurs (affirmations alternatives ou contradictoires) générés par le modèle lui-même.

1. Génération de distracteurs : Pour une question donnée, le modèle génère un ensemble de réponses candidates (distracteurs) via une recherche en faisceau (beam search) ou par prompting direct. Ces distracteurs doivent former des "paires minimales" avec la réponse principale (similaires mais contradictoires).
2. Détection de redondance (NLI) : Un modèle NLI (Natural Language Inference) hors boîte (off-the-shelf) est utilisé pour pondérer les distracteurs :
   • w_unique : Réduit le poids des distracteurs redondants entre eux.
   • w_contra : Réduit le poids des distracteurs qui ne contredisent pas vraiment la réponse principale.
3. Calcul de la confiance normalisée : La confiance verbalisée brute $f_{VC}(c)$ est divisée par la somme totale des confidences sur l'ensemble des distracteurs (pondérés). Cela permet d'estimer le biais de suggétabilité $\beta$ et de récupérer une confiance latente plus fiable :
   $$f_{NVC}(c) = \frac{f_{VC}(c)}{\beta(C)}$$
   où $\beta(C)$ est la somme des confidences sur l'ensemble des affirmations. Si le modèle est trop suggérable, $\beta(C)$ sera élevé (>1), réduisant ainsi la confiance finale.

B. Intégration de la Cohérence de Génération et de Validation

DINCO ne se contente pas de la validation (NVC). Il intègre également la cohérence de génération via la méthode Self-Consistency (SC), qui mesure la fréquence d'apparition d'une réponse parmi plusieurs échantillons.

La confiance finale DINCO est une moyenne pondérée (50/50) entre :

• La confiance normalisée par les distracteurs ($f_{NVC}$).
• La confiance par cohérence de génération ($f_{SC}$).

Cette combinaison permet de capturer deux dimensions de cohérence : la cohérence entre des affirmations incompatibles (validation) et la cohérence entre des générations répétées (génération).

3. Contributions Clés

1. Hypothèse de la Suggétabilité : Démonstration empirique que les LLMs attribuent des confiances totales plus élevées (>1) sur des questions où ils répondent incorrectement, validant l'hypothèse que l'incertitude épistémique mène à une acceptation suggérable des affirmations.
2. Algorithme DINCO : Une méthode robuste de calibration qui normalise la confiance verbalisée en utilisant des distracteurs auto-générés et un modèle NLI pour gérer la redondance, combinée à la self-consistency.
3. Réduction de la Saturation : DINCO résout le problème de la saturation des scores de confiance, produisant des estimations plus granulaires et plus utiles pour la prise de décision (seuils de rejet plus efficaces).
4. Généralisation : La méthode fonctionne aussi bien sur des tâches de questions-réponses courtes (Short-form QA) que sur des générations de longs textes (biographies), et s'applique aux modèles en boîte noire (sans accès aux logits) et en boîte grise.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données (TriviaQA, SimpleQA, FactScore) et modèles (Qwen, Llama, Gemma, GPT-4.1, Gemini).

• Performance de Calibration : DINCO surpasse systématiquement les meilleures méthodes de base (baselines) comme Self-Consistency (SC), Verbalized Confidence (VC) et Maximum Sequence Probability (MSP).
  • Sur TriviaQA, DINCO réduit l'Erreur de Calibration Attendue (ECE) de 0,077 par rapport à la meilleure baseline.
  • Sur SimpleQA (modèles frontier), la réduction est de 0,092.
  • Sur FactScore (génération longue), DINCO améliore la corrélation avec le score de vérité factuelle (FactScore) de manière significative.
• Efficacité par rapport au coût :
  • Augmenter simplement le nombre d'échantillons pour la Self-Consistency (jusqu'à 100 échantillons) ne permet pas d'atteindre la calibration de DINCO (qui utilise seulement 10 appels d'inférence au total : 5 pour SC + 5 distracteurs).
  • DINCO offre un meilleur rapport coût/précision, évitant la loi des rendements décroissants observée avec l'augmentation pure du nombre d'échantillons de génération.
• Analyse de Saturation : DINCO produit des distributions de confiance beaucoup moins saturées que les méthodes existantes, permettant une discrimination plus fine entre les réponses vraies et fausses.

5. Signification et Impact

Ce travail est significatif car il propose une solution pragmatique et applicable pour améliorer la fiabilité des LLMs sans nécessiter de réentraînement coûteux.

• Sécurité et Confiance : En corrigeant la surconfiance, DINCO permet aux systèmes agentic et aux utilisateurs humains de mieux identifier les moments où le modèle "hallucine" ou manque de connaissances, renforçant ainsi la sécurité des déploiements en production.
• Approche Unifiée : Il unifie deux concepts souvent traités séparément (la cohérence de génération et la cohérence de validation logique) pour créer un estimateur de confiance plus robuste.
• Faisabilité : La méthode fonctionne même en mode "boîte noire" (sans accès aux probabilités des tokens), ce qui la rend applicable aux modèles propriétaires fermés (comme GPT-4 ou Gemini), un avantage majeur par rapport aux méthodes basées sur les logits.

En conclusion, DINCO démontre que la calibration des LLMs peut être améliorée de manière significative en exploitant la structure logique interne des réponses du modèle (via des distracteurs) plutôt que de simplement compter la fréquence des réponses, offrant ainsi une voie prometteuse pour des systèmes d'IA plus fiables et transparents.