Résumé technique : Calibration de la confiance dans les grands modèles de langage

Énoncé du problème

L'utilité des grands modèles de langage (LLM) en tant que guides, enseignants et conseillers est fondamentalement compromise par les « hallucinations » — l'énonciation confiante de faussetés. Bien qu'un LLM idéal ne fournirait que des informations véridiques, les incertitudes irréductibles et l'accès limité à la vérité terrain rendent cet objectif irréaliste. Un objectif plus atteignable est une confiance bien calibrée, où un LLM rapporte fidèlement la probabilité de sa justesse conditionnellement à ses limites. Sans une telle calibration, les utilisateurs ne peuvent distinguer entre des sorties précises à haute confiance et des erreurs à haute confiance, créant des risques épistémiques significatifs.

La littérature existante indique que le jugement humain est affecté par une surconfiance et un effet « difficile-facile » (surconfiance sur les tâches difficiles, sous-confiance sur les tâches faciles). Il reste à déterminer si les LLM présentent des biais similaires ou si leurs signaux de confiance ne sont que des indicateurs bruités de précision, comme observé dans les réseaux de neurones profonds. De plus, les méthodes antérieures pour évaluer la difficulté des tâches dans les études de calibration reposent sur une évaluation subjective humaine, un LLM en tant que juge, ou une mise à l'échelle contextuelle, qui introduisent toutes des biais ou échouent à fournir une mesure continue de la difficulté.

Méthodologie

Les auteurs ont mené une étude préenregistrée évaluant la calibration de la confiance de 11 LLM populaires, à source ouverte et fermée, sur cinq tâches de raisonnement distinctes et un test nouvellement développé.

Modèles évalués

L'étude a comparé cinq modèles de « raisonnement » (DeepSeek-R1, Gemini 2.5 Pro, GPT-o3, Claude Sonnet 4, Claude Sonnet 3.7) à six modèles de « chat » (DeepSeek-V3, Gemini 2.5 Flash, GPT-4o, Claude Haiku 3, Llama 3.1 8B, Llama 3.1 70B).

Ensembles de questions

Cinq ensembles de données établis ont été utilisés pour tester la calibration dans différents domaines :

1. BoolQ : Questions de culture générale vrai/faux.
2. SciQ : Questions scientifiques à choix multiples.
3. LSAT-AR : Raisonnement logique nécessitant une inférence multi-étapes.
4. SAT-EN : Compréhension de lecture nécessitant une inférence textuelle nuancée.
5. HaluEval : Une tâche de détection d'hallucinations où les modèles évaluaient des réponses pré-générées (moitié véridiques, moitié hallucinées).

LifeEval : Un nouveau référentiel

Pour isoler l'effet de la difficulté de la tâche d'autres variables, les auteurs ont développé LifeEval. Cette tâche demande aux modèles de prédire l'âge au décès d'une personne étant donné son sexe et son âge minimum, et d'énoncer la probabilité que leur estimation tombe dans un rayon spécifique (1, 5, 10 ou 20 ans) de la valeur réelle.

• Manipulation de la difficulté : La difficulté est contrôlée de manière exogène en variant le rayon et l'âge minimum, tout en maintenant la nature de la question constante.
• Vérité terrain : Les probabilités réelles ont été calculées à l'aide des tables de mortalité périodiques de l'Administration de la sécurité sociale des États-Unis, permettant une comparaison précise entre la confiance déclarée et la probabilité empirique.
• Métrique : La difficulté de la tâche est définie comme $1 - \text{Score maximal atteignable (MAS)}$, où le MAS est le plafond théorique de précision pour une question donnée.

Protocole expérimental

• Prompting : Les modèles ont reçu l'instruction de produire un JSON contenant leur réponse et un score de confiance numérique (de 0,0 à 1,0). Le prompting par chaîne de pensée a été utilisé pour la plupart des tâches.
• Notation : Pour les questions à choix multiples, une réponse était considérée comme correcte si l'option ayant la probabilité assignée la plus élevée correspondait à la vérité terrain.
• Métriques :
  • Erreur de calibration attendue (ECE) : Mesure le désalignement entre la confiance prédite et la précision empirique à travers des intervalles.
  • Surconfiance : Calculée comme $\text{Confiance moyenne} - \text{Précision moyenne}$.
  • Effet difficile-facile : Mesuré via le coefficient de régression entre la difficulté de la tâche et la surconfiance.

Résultats clés

1. Surconfiance générale

Sur tous les ensembles de questions, les LLM sont, en moyenne, surconfiants. Les modèles ont rapporté une confiance moyenne de 88 % pour leurs réponses favorisées, tandis que leur précision réelle était de 79 %. Cet écart de 9 % indique une tendance systématique à être « trop sûrs d'avoir raison ».

2. L'effet difficile-facile

L'étude a confirmé que l'effet difficile-facile, bien documenté en psychologie humaine, existe également dans les LLM :

• Tâches difficiles : La surconfiance est maximale sur les tâches difficiles (par exemple, LSAT-AR, HaluEval).
• Tâches faciles : Les modèles présentent une sous-confiance substantielle sur les tâches plus faciles (par exemple, SciQ, SAT-EN).
• Résultats LifeEval : À mesure que la difficulté de la tâche augmentait (rayon plus petit), la surconfiance augmentait. Inversement, à mesure que les tâches devenaient plus faciles (rayon plus grand), les modèles devenaient sous-confiants. Pour les tâches LifeEval les plus difficiles (rayon de 1 an), les modèles ont rapporté une confiance de 34,2 % contre une probabilité réelle de 9,6 %. Pour les plus faciles (rayon de 20 ans), ils ont rapporté une confiance de 80,5 % contre une probabilité réelle de 92,0 %.

3. Modèles de raisonnement vs modèles de chat

• Nuance : Les modèles de raisonnement fournissaient des estimations de confiance plus nuancées. Seuls 61,1 % de leurs scores de confiance étaient arrondis à des multiples de 5 %, contre 91,4 % pour les modèles de chat.
• Corrélation : Les modèles de raisonnement ont montré une corrélation plus forte (moyenne de 0,94) entre la confiance déclarée et la probabilité réelle par rapport aux modèles de chat (0,48).
• Calibration : Bien que les modèles de raisonnement soient généralement mieux calibrés, ils présentaient toujours l'effet difficile-facile.

4. Analyse de contamination

Une analyse a posteriori de LifeEval a révélé que certains modèles (notamment DeepSeek-R1, Gemini 2.5-Pro et GPT-o3) présentaient des taux élevés de « preuves fortes » d'avoir mémorisé les tables de mortalité SSA sous-jacentes utilisées pour générer la vérité terrain. En restreignant l'analyse aux réponses sans aucune preuve de mémorisation, les tendances de l'effet difficile-facile et de la surconfiance ont persisté, confirmant que les résultats ne sont pas uniquement des artefacts de fuite de données.

Contributions clés

1. Preuve empirique de l'effet difficile-facile en IA : L'article fournit la première documentation systématique de l'effet difficile-facile dans la confiance des LLM, démontrant que la surconfiance augmente avec la difficulté et que la sous-confiance émerge sur les tâches faciles.
2. Référentiel LifeEval : L'introduction de LifeEval offre un cadre novateur pour évaluer la calibration des modèles avec une mesure continue et exogène de la difficulté de la tâche, surmontant la subjectivité des méthodes antérieures d'évaluation de la difficulté.
3. Différenciation des types de modèles : L'étude met en évidence que les modèles de « raisonnement » offrent des estimations de confiance plus nuancées et mieux calibrées que les modèles de « chat » standards, bien qu'aucun ne soit parfaitement calibré.
4. Quantification de la surconfiance : L'étude quantifie l'écart moyen de surconfiance (9 %) et identifie des tâches spécifiques (raisonnement logique, détection d'hallucinations) où les modèles peinent à reconnaître leur propre faillibilité.

Signification et affirmations

L'article affirme que la présence de l'effet difficile-facile dans la confiance de l'IA reflète le jugement humain, suggérant que la confiance dans les LLM peut être un « signal bruité de précision » similaire à la cognition humaine. Cela a des implications critiques pour le déploiement de systèmes autonomes :

• Confiance et sécurité : Si les utilisateurs ne peuvent pas faire confiance à la confiance déclarée d'un modèle pour indiquer la précision, ils peuvent soit faire confiance à des sorties défectueuses, soit douter de réponses exactes.
• Limites du RLHF : Les auteurs notent que l'apprentissage par renforcement à partir de retours humains (RLHF) pourrait involontairement augmenter la surconfiance si les utilisateurs humains préfèrent les modèles qui expriment une assurance confiante.
• Voie à suivre : Les auteurs suggèrent que les stratégies efficaces pour le débiaisage humain — telles que l'encouragement à réfléchir sur la raison pour laquelle une réponse pourrait être fausse — pourraient être adaptées aux LLM. La performance supérieure des modèles de raisonnement suggère que des prompts ou des régimes d'entraînement encourageant l'autocritique et la réflexion pourraient améliorer la calibration.

L'article conclut que, bien que les LLM s'améliorent, leur confiance reste insuffisamment sensible à la difficulté de la tâche, constituant un obstacle à une action autonome fiable. Les recherches futures devraient se concentrer sur la distinction entre les formes de surconfiance (surestimation vs surprécision) et le développement de méthodes pour atténuer ces biais.