Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs

Résumé technique : Intervention par tête conditionnée par sonde pour les LLM

Énoncé du problème
Les grands modèles de langage (LLM) font fréquemment preuve d'une « surconfiance verbalisée », exprimant une confiance élevée dans des réponses incorrectes. Les techniques de calibration standard, telles que le passage à l'échelle de la température (temperature scaling) ou l'ajustement post-hoc par instruction tuning, appliquent généralement des ajustements globaux à la distribution de sortie. Bien que ces méthodes puissent améliorer les métriques de calibration agrégées, elles souffrent d'une limite critique : elles ne peuvent pas supprimer sélectivement la confiance injustifiée sur les mauvaises réponses sans éroder simultanément la confiance justifiée sur les bonnes réponses. Cela crée une tension où la réduction des faux positifs (mauvais-mais-confiant) entraîne inévitablement une augmentation des faux négatifs (correct-mais-peu-confiant). Le papier postule qu'une approche plus sélective est nécessaire — une approche qui intervient uniquement lorsqu'une réponse est susceptible d'être mauvaise-mais-confiante, permettant ainsi de découpler la suppression de la confiance injustifiée de la perte de la confiance justifiée.

Méthodologie : Intervention par tête conditionnée par sonde (PCHI)
Les auteurs proposent la PCHI, une méthode d'inférence qui opère en interne au sein du modèle pour rescaler sélectivement les sorties des têtes d'attention en fonction de l'évidence de surconfiance. La méthode se compose de trois composantes clés :

1. Auto-évaluation structurée : Le modèle reçoit l'instruction de générer une réponse JSON structurée contenant un champ reasoning (raisonnement), answer (réponse) et un champ binaire is_confident (est_confiant) (yes/no). L'intervention cible le groupe « mauvais-oui » (WY - réponses incorrectes avec haute confiance) tout en visant à préserver le groupe « correct-oui » (CY - réponses correctes avec haute confiance).
2. Sondes de gabarit de confiance (Confidence-Template Probes) : Une sonde linéaire gelée est entraînée pour détecter l'évidence latente des réponses WY. Cette sonde lit les états cachés à des jetons spécifiques de « gabarit de confiance » (l'espace de jetons entre la réponse et la valeur de confiance finale). La sonde prédit la probabilité qu'une réponse confiante soit en réalité fausse. La couche de la sonde ($\ell_p$) est sélectionnée au milieu du réseau, là où la séparabilité WY/CY est forte, garantissant que les couches en aval restent disponibles pour l'intervention.
3. Rescaling de tête conditionnel : Pendant l'inférence, le score de la sonde module un rescalage appris des sorties des têtes d'attention en aval.
   • Pour chaque tête d'attention $h$ dans les couches en aval de $\ell_p$, un coefficient scalaire appris $g_h$ (initialisé à 1) est appliqué.
   • L'intensité de l'intervention $s_{i,t}$ est déterminée par le score de la sonde $p_{i,t}$. Si le score dépasse un seuil $\tau$ (ex: 0,5), la sortie de la tête $z_{i,t,h}$ est rescalée : $z'_{i,t,h} = (1 + (g_h - 1)s_{i,t}) z_{i,t,h}$.
   • Si la sonde ne signale pas la réponse comme probablement mauvaise-confiante ($s_{i,t} = 0$), le modèle se comporte de manière identique au baseline.
   • Un masque d'attention optionnel peut être appliqué après la sonde pour restreindre les régions de contexte (prompt, raisonnement, réponse) auxquelles les requêtes du gabarit portent attention, augmentant potentiellement le signal d'intervention.

L'objectif d'apprentissage utilise une perte de type hinge pour pousser les exemples WY sous une marge de confiance tout en protégeant les exemples CY contre une dégradation, le tout régularisé par une pénalité L1 pour maintenir les coefficients de tête inutiles proches de l'identité.

Contributions clés

• Intervention interne sélective : Contra-irement à la calibration globale post-hoc, la PCHI intervient de manière conditionnelle basée sur des preuves internes, permettant de corriger des types d'erreurs spécifiques (WY) sans supprimer globalement la confiance.
• Découplage de la calibration et de la précision : La méthode démontre que la confiance injustifiée peut être réduite tout en préservant largement la confiance justifiée, résolvant ainsi le compromis inhérent aux méthodes de rescalage uniforme.
• Insight mécaniste : L'approche traite la confiance verbalisée comme un processus de calcul interne qui peut être contrôlé à des points spécifiques (jetons de gabarit) plutôt que comme une simple distribution de sortie à mapper.

Résultats expérimentaux
La méthode a été évaluée sur des problèmes OpenMathInstruct en utilisant les modèles Qwen3-4B-Instruct et Gemma3-4B-it avec un champ de confiance binaire structuré.

• Intervention sur le jeton de lecture (Readout-Token) : L'application de la PCHI au dernier jeton de confiance a produit des améliorations significatives. Sur Qwen3-4B, l'erreur de calibration attendue (ECE) est passée de 21,9 % à 11,7 %, et l'aire sous la courbe ROC (AUROC) est passée de 66,5 à 90,3. Crucialement, 82,2 % des lectures originales « mauvais-oui » ont été converties en « non », alors que seulement 10,8 % des lectures « correct-oui » originales ont été endommagées.
• Intervention en amont (Upstream) : L'intervention sur les jetons de gabarit de confiance en amont a montré des résultats variables. Sur Qwen3-4B, une intervention conjointe sur les jetons 1 à 5 a réduit l'ECE à 9,2 % avec une correction WY de 63,3 % et seulement 5,1 % de dommages CY. Sur Gemma3-4B, les effets en amont étaient plus faibles et dépendaient davantage du masquage d'attention ; restreindre le contexte visible au champ de la réponse a amélioré la correction WY à 40,4 % mais avec une légère augmentation des dommages CY.
• Ablation : Les contrôles ont confirmé que les gains ne sont pas simplement dus au masquage d'attention ou à un steering d'activation générique. La combinaison de l'évidence de la sonde et du rescalage appris par tête est nécessaire pour la sélectivité observée.

Signification et affirmations
Le papier affirme que la PCHI offre une voie viable vers des modèles capables d'exprimer l'incertitude de manière fiable sans sacrifier leur capacité à exprimer la confiance lorsqu'ils sont corrects. En traitant la calibration comme un problème de contrôle sélectif plutôt que comme un mapping global, les auteurs démontent que les interventions internes peuvent partiellement découpler la suppression de la confiance injustifiée de la perte de la confiance justifiée.

Les auteurs maintiennent un champ d'application modeste, notant que leurs résultats sont spécifiques aux questions mathématiques avec des sorties JSON structurées et des champs de confiance binaires. Ils reconnaissent que la méthode repose sur l'entraînement de sondes spécifiques au modèle et aux données, et que l'extension de celle-ci à des expressions de confiance en langage libre ou à des tâches ouvertes reste un défi ouvert. Le travail ne prétend pas fournir une explication mécaniste complète de la confiance verbalisée, mais offre plutôt la preuve que cette évidence est décodable et actionnable pour une correction sélective.