Résumé technique : La confiance rapportée par les LLM suit l'engagement plus que la justesse

Énoncé du problème

Les grands modèles de langage (LLM) sont fréquemment tenus de rapporter leur confiance dans leurs réponses afin de guider la confiance de l'utilisateur et la prise de décision en aval (par exemple, s'en remettre à des humains ou s'abstenir). Bien que la confiance verbale (VC) — l'auto-évaluation explicite de la certitude — soit largement utilisée, particulièrement dans les contextes de boîte noire où les probabilités internes sont inaccessibles, il n'est pas clair si ces rapports constituent des estimations précises de la justesse de la réponse ou s'ils sont les signaux d'un état interne différent. L'hypothèse prédominante est que la confiance devrait suivre la probabilité de justesse ; cet article remet en question cette hypothèse, proposant plutôt que la confiance verbale puisse fonctionner principalement comme un signal de « préparation à l'engagement » (commit-readiness), indiquant la disposition comportementale du modèle à assumer une réponse plutôt que sa vérité objective.

Méthodologie

Les auteurs ont employé un paradigme d'abstention à deux étapes, inspiré par les études neuroscientifiques sur la confiance post-décisionnelle chez les rongeurs et les primates, afin de découpler la génération de la réponse de la décision de s'engager.

1. Conception expérimentale :

   • Phase 1 (Réponse et Confiance) : Les modèles ont répondu à des questions (choix multiples ou texte libre) et, dans une étape distincte, ont rapporté leur confiance verbale (Class-VC sur une échelle de 10 classes ou Num-VC sur une échelle de 0 à 100). Crucialement, cette phase s'est déroulée sans aucune référence à une tâche d'abstention ultérieure.
   • Phase 2 (S'engager/S'abstenir) : Les modèles se sont vu présenter leur réponse de la Phase 1 et ont dû prendre une décision binaire : S'engager (afficher la réponse à un utilisateur) ou S'abstenir (afficher « Je ne sais pas »).
   • Signal de comparaison : L'étude a comparé la VC à la Log-Probabilité Calibrée (Cal-LP), un signal de confiance dérivé de la distribution softmax pondérée par la température des jetons de la réponse, qui sert de proxy pour l'évidence de la réponse.

2. Modèles et Benchmarks :

   • Modèles de non-raisonnement : Gemma 3 (27B), Gemma 4 (31B, mode sans réflexion), GPT-4o et Qwen 3 (235B, mode sans réflexion).
   • Modèles de raisonnement : Gemini Flash 3, Kimi K2 Think, GPT-Oss-120B et Qwen 3 (235B, mode avec réflexion).
   • Jeux de données : SimpleQA, MMLU-Pro, SuperGPQA-hard et HLE (Humanities Last Exam), couvrant diverses difficultés et formats.

3. Approches analytiques :

   • Écart Décision–Vérité (Decision–Truth Gap) : Défini comme $\Delta_{DT} = \text{AUROC}_{\text{abstention}} - \text{AUROC}_{\text{justesse}}$. Cette métrique quantifie si un signal prédit mieux la décision de s'engager ou de s'abstenir qu'il ne prédit la justesse objective.
   • Analyse de résidualisation : Pour déterminer si l'alignement de la VC avec le comportement est réductible à son alignement avec la vérité, les auteurs ont effectué une régression de la VC sur la Cal-LP (le meilleur proxy disponible de la justesse) et ont analysé le résidu. Ils ont testé si le résidu de la VC prédisait l'abstention ou la justesse.
   • Analyse mécaniste (Gemma 3 & 4) : Des sondes linéaires ont été entraînées sur les activations du flux résiduel post-réponse (PA) pour décoder la justesse et la future décision de s'engager ou de s'abstenir.
   • Pilotage causal (Causal Steering) : Dans Gemma 4, les auteurs ont construit des vecteurs de pilotage à partir des activations PA et les ont injectés dans le flux résiduel pendant la Phase 2 pour tester si la manipulation de l'état de « préparation à l'engagement » modifiait causalement le comportement d'abstention.

Résultats Clés

1. L'écart Décision–Vérité

À travers quatre modèles de non-raisonnement et deux jeux de données, la confiance verbale a systématiquement présenté un écart décision–vérité positif, prédisant la décision de s'engager ou de s'abstenir de la Phase 2 de manière nettement plus efficace qu'elle ne prédisait la justesse de la Phase 1.

• Performance de la VC : La Class-VC et la Num-VC ont montré des écarts médians de +0,13 et +0,20, respectivement. Dans presque toutes les cellules, la VC prédisait l'abstention de manière plus significative que la justesse.
• Performance de la Cal-LP : La Cal-LP a montré des écarts proches de zéro ou négatifs (médiane +0,018), indiquant que sa capacité à prédire l'abstention était étroitement couplée à sa capacité à prédire la justesse. Elle n'a pas montré d'avantage systématique pour prédire le comportement par rapport à la vérité.

2. Décomposition de la variance et résidualisation

• Structure de la variance : L'analyse ANOVA a révélé que la variance de la VC était dominée par la décision ultérieure d'engagement/abstention (partiel $\eta^2 \approx 0,11–0,48$) plutôt que par la justesse ($\eta^2 \approx 0,00–0,05$). À l'inverse, la Cal-LP conservait une structure plus forte liée à la justesse.
• Analyse des résidus : Lorsque la variance de la VC partagée avec la Cal-LP a été supprimée, la VC résiduelle est restée un prédicteur fort de l'abstention (AUROC médiane = 0,64) mais a perdu sa capacité à prédire la justesse (tombant à des niveaux proches du hasard, AUROC médiane = 0,49).
• Interprétation : Cela suggère que la VC contient une composante unique alignée avec le comportement d'engagement qui est indépendante du signal d'évidence de la réponse capturé par la Cal-LP. L'analyse inverse (résidualisation de la Cal-LP sur la VC) a montré que la Cal-LP restait couplée à la fois à la vérité et au comportement, ce qui est cohérent avec le fait qu'elle soit un signal primaire d'évidence de la réponse.

3. Généralisation aux modèles de raisonnement

La dissociation décision–vérité s'est généralisée à quatre modèles de raisonnement sur quatre benchmarks. Malgré la complexité des traces de raisonnement, la VC a continué de montrer un écart positif robuste (médiane +0,16), tandis que la Cal-LP (lorsqu'elle était disponible) n'a montré aucun schéma comparable. Dans les modèles de raisonnement, la Cal-LP était moins efficace pour discriminer la justesse, probablement parce que l'incertitude est distribuée à travers la trajectoire de raisonnement plutôt que concentrée sur le dernier jeton.

4. Preuve mécaniste dans Gemma 4

• Codage de l'état interne : Des sondes linéaires sur les activations post-réponse (PA) (avant que l'invite d'abstention ne soit donnée) pouvaient décoder la future décision d'engagement/abstention avec une grande précision (AUROC $\approx$ 0,94), dépassant de loin le décodage de la justesse (AUROC $\approx$ 0,66).
• Orthogonalité : La direction dans l'espace d'activation codant la décision d'engagement/abstention était approximativement orthogonale à la direction codant la justesse.
• Contrôle causal : Le pilotage le long d'une direction d'activation spécifique à la VC (orthogonale à la Cal-LP) à la position PA a déplacé causalement le comportement d'abstention ultérieur du modèle dans la Phase 2. Le pilotage vers une faible confiance a augmenté les taux d'abstention, confirmant que l'état interne sous-jacent à la VC est causalement opérant dans les décisions d'engagement.

Signification et affirmations

L'article conclut que la confiance verbale et la confiance par log-probabilité ne sont pas des mesures d'incertitude interchangeables.

• Nature de la confiance verbale : La VC est mieux comprise non pas comme une estimation bruitée de la justesse, mais comme un rendu face au comportement d'un état interne de « préparation à l'engagement ». Elle reflète la disposition du modèle à assumer une réponse, un signal qui n'est que partiellement ancré à la vérité objective.
• Nature de la Cal-LP : La Cal-LP se comporte davantage comme un signal d'évidence de la vérité, où sa pertinence vis-à-vis du comportement est héritée de sa capacité à suivre la justesse.
• Implications :
  • Interprétation : Les utilisateurs et les systèmes en aval ne devraient pas traiter la confiance verbale comme un proxy direct de la probabilité de justesse. Un modèle peut exprimer une grande confiance dans une réponse incorrecte s'il est comportementalement « prêt » à s'engager pour celle-ci.
  • Entraînement : Les objectifs d'entraînement actuels peuvent récompenser des signaux de type confiance qui régulent le style de réponse et la prudence sans les ancrer étroitement à la justesse. Les travaux futurs devront peut-être cibler la représentation interne post-réponse pour mieux aligner la confiance avec la vérité tout en préservant les comportements adaptatifs comme l'abstention.
  • Métacognition : Les résultats suggèrent que les rapports de confiance des LLM peuvent fonctionner de manière similaire aux signaux métacognitifs de second ordre chez les humains, construits en aval de la décision initiale et d'autres indices (ex: fluidité), plutôt que comme un simple décodage direct de l'évidence ayant conduit au choix.

Les auteurs soulignent que bien que la VC suive la justesse au-dessus du hasard, son alignement disproportionné avec le comportement d'engagement est une caractéristique fondamentale de son organisation interne, la distinguant des mesures dérivées de la distribution des options.