Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors

Résumé Technique : La Décalage de Calibration Stable dans les Grands Modèles de Langage

Énoncé du Problème
Les erreurs à haute confiance (hallucinations) dans les Grands Modèles de Langage (LLM) sont fréquemment interprétées comme la preuve d'une « inférence interne fragile » — l'idée qu'une petite perturbation du prompt ou du contexte provoque le basculement de la réponse du modèle. Ce document remet en question cette vision singulière en proposant la décalibration stable : un état où un modèle produit une réponse incorrecte et confiante qui reste localement stable sous de petites perturbations. L'auteur soutient que si les erreurs à haute confiance sont stables plutôt que fragiles, elles peuvent ne pas être distinguables des réponses correctes à haute confiance par la seule analyse de sensibilité, tout en posant des risques importants pour les systèmes de prise de décision. La question centrale est la suivante : que peut-on inférer de ces erreurs à l'aide de réponses de confiance mesurables et de petites sondes internes, étant donné que les explications mécanistes complètes sont souvent inaccessibles ?

Méthodologie
L'étude emploie une approche multidimensionnelle combinant un ensemble d'audit étiqueté, des diagnostics au niveau de la sortie et un sondage de sensibilité interne sur trois modèles à poids ouverts (Llama-3.1-8B, DeepSeek-R1 et Qwen2.5-7B).

1. Jeu de Données d'Audit : Un ensemble figé de 532 items factuels binaires répartis sur 11 domaines (ex. : épidémiologie médicale, statistiques sociales, histoire) a été utilisé. Les items ont été évalués sous trois politiques distinctes :

   • C0 (Réponse Forcée) : Le modèle doit répondre par « Oui » ou « Non ».
   • C1 (Abstention Prudente) : Le modèle peut s'abstenir si l'item est sous-spécifié.
   • C2 (Abstention Auto-Critique) : Le modèle effectue une vérification d'auto-critique explicite avant de décider, pouvant potentiellement s'abstenir.

2. Diagnostic au Niveau de la Sortie ($H_{proxy}$) : L'auteur introduit un score d'audit sensible aux étiquettes conçu pour classer les domaines par risque. Ce score combine deux signaux :

   • Variation de Confiance : L'écart-type de la confiance rapportée ($P(\text{correct})$) à travers les trois politiques.
   • Masse de Sur-Confiance Erronée (OCW - Overconfident-Wrong) : Un indicateur binaire où la ligne de base C0 est erronée mais rapporte une confiance > 0,8.
   • Le score est défini par $H_{proxy}(d) = \frac{1}{|D_d|} \sum_{i \in D_d} [\text{Std}_{c \in \{C0,C1,C2\}}(p_{i,c}) + \lambda \cdot \text{OCW}(i)]$.
   • Cette métrique est explicitement qualifiée de diagnostic d'audit rétrospectif, et non d'estimateur de déploiement pour des données non étiquetées.

3. Sonde de Sensibilité Interne : Pour tester l'hypothèse de la « fragilité », l'auteur a injecté un bruit gaussien ($\sigma=0,01$) dans l'espace d'embedding des trois modèles à poids ouverts. Ils ont mesuré le mouvement des états cachés du dernier jeton ($S_\ell$) à travers les couches. Cela a été effectué sur des items pré-classifiés par les journaux d'audit C0 comme étant soit Corrects avec Confiance (CC), soit Erronés avec Sur-Confiance (OCW). L'étude a également testé l'effet du prompting auto-critique sur cette sensibilité.

Contributions Clés

1. Abstraction Théorique : Le papier pose la « décalibration stable » comme une hypothèse d'incertitude valide. En utilisant une abstraction en boucle fermée linéaire-gaussienne, il démontre que la stabilité locale (perturbations amorties) et la justesse ne coïncident pas nécessairement ; un système peut converger vers un état stable qui est systématiquement erroné.
2. Score d'Audit pour l'Intervention : L'auteur propose $H_{proxy}$ comme un outil pratique pour identifier les domaines où l'abstention consciente de la politique (C2) est la plus susceptible de réduire la perte liée à la politique. Le score est corrélé aux domaines où l'intervention aide, distinguant les domaines qui semblent sûrs en moyenne mais qui sont risqués lors de changements de politique.
3. Discrépance Interne vs Sortie : L'étude fournit des preuves empiriques que, bien que le prompting auto-critique induise une stabilisation locale (réduisant la sensibilité des états cachés à travers toutes les couches), il ne crée pas d'écart de sensibilité clair entre les items erronés par sur-confiance et les items corrects avec confiance.

Résultats

• Résultats au Niveau de la Sortie : Le score $H_{proxy}$ montre une forte corrélation positive (Spearman $\rho = 0,71$) avec le gain réalisé par la politique auto-critique (C2) par rapport à la ligne de base de réponse forcée (C0). Les domaines comme l'épidémiologie médicale et les statistiques sociales ont montré les plus grandes améliorations avec C2, tandis que les domaines du divertissement et de la littérature ont montré peu ou pas de bénéfice. Cependant, les lignes de base directes étiquetées (taux d'erreur C0 et risque de Brier) ont classé les domaines de manière encore plus forte, confirmant que $H_{proxy}$ est un diagnostic structuré plutôt qu'un prédicteur supérieur de la performance brute.
• Résultats Internes :
  • Stabilisation : Le prompting auto-critique a systématiquement réduit la sensibilité des états cachés par couche dans les trois modèles, soutenant l'idée que de tels prompts induisent une stabilisation locale.
  • Absence d'Écart de Fragilité : Crucialement, la différence de sensibilité entre les groupes OCW et CC était négligeable (écart standardisé $\approx 0,13$ écart-type groupé ou moins, avec des intervalles de confiance incluant zéro). Cela suggère que les erreurs par sur-confiance définies par l'audit ne sont pas plus fragiles que les réponses correctes sous les perturbations testées.
  • Robustesse : Des balayages de bruit plus denses et des vérifications de réécriture sémantique ont confirmé que l'absence d'écart de fragilité n'était pas un artefact des réglages de perturbation spécifiques.

Signification et Revendications
Le papier conclut par une leçon pratique et modeste plutôt qu'une réduction mécaniste complète. La signification primaire est que le comportement lié à l'incertitude, pertinent pour les décisions, peut être étudié à travers les réponses de confiance même lorsque les mécanismes internes restent partiellement compris.

• La Décalibration Stable comme Risque : Les résultats suggèrent que les erreurs à haute confiance peuvent être « stables et décalibrées » plutôt que « fragiles ». Un système peut paraître robuste parce que ses réponses sont localement stables, tout en produisant des réponses erronées avec confiance dans des domaines à fort impact.
• Rôle des Diagnostics : Le score d'audit proposé est destiné à une évaluation périodique étiquetée pour trier les risques et allouer les interventions (ex. : abstention, recherche, revue humaine) là où la masse d'erreurs par sur-confiance est concentrée. Il n'est pas conçu comme un filtre de sécurité en temps réel ou un estimateur sans étiquette.
• Limites : L'auteur reconnaît que l'étude utilise un ensemble d'audit figé et préparé par l'auteur, qui peut ne pas se généraliser à de plus grands ensembles de données ou à la génération ouverte. Le résultat de l'« absence d'écart clair » est spécifique au sondage actuel et n'exclut pas l'instabilité dans d'autres contextes, mais il conteste l'hypothèse selon laquelle la fragilité est la signature principale des hallucinations à haute confiance.

En résumé, ce travail déplace l'attention de la vision des erreurs à haute confiance uniquement comme des signes d'instabilité vers la reconnaissance de celles-ci comme des décalibrations potentiellement stables, nécessitant des stratégies d'audit qui regardent au-delà de la simple analyse de sensibilité.