Résumé Technique : La Sonde Métacognitive

Énoncé du Problème

Les benchmarks actuels des grands modèles de langage (LLM) (par exemple, MMLU, BIG-Bench, HELM, GPQA) mesurent principalement si un modèle produit une réponse correcte à une invite. Ils restent muets sur une question critique de déploiement : le modèle sait-il quand sa réponse est erronée ?

Bien que des métriques de calibration agrégées existent, elles peuvent masquer des « poches » de surconfiance systématique où un modèle est hautement confiant dans des réponses incorrectes. L'article soutient qu'un modèle peut obtenir un score élevé sur des benchmarks composites tout en échouant à moduler sa confiance en fonction de la difficulté de la tâche ou de la justesse, un mode de défaillance qui présente des risques pour les systèmes de sécurité à seuil de confiance (par exemple, les protocoles d'escalade). Les auteurs proposent que la « métacognition » dans ce contexte doit être traitée comme un alignement comportemental entre la confiance déclarée et la justesse externe, plutôt que comme une mesure d'un état interne.

Méthodologie

L'article introduit La Sonde Métacognitive, un instrument de diagnostic exploratoire à cinq tâches conçu pour décomposer le comportement de confiance des LLM en cinq dimensions distinctes. L'étude évalue un panel de $N=8$ modèles de pointe (incluant Claude Opus/Sonnet 4.6, Gemini 2.5 Pro/Flash, GLM-5, DeepSeek-R1, Qwen 3 Next 80B, et Gemma 3 27B) et un panel de calibration humain de $N=69$.

Les Cinq Tâches Diagnostiques

L'instrument opérationnalise le comportement de confiance à travers les tâches suivantes, notées sur une échelle de 0 à 100 :

1. T1-CC (Calibration de la Confiance) : Mesure la surveillance au sein de la tâche. Le modèle répond à 24 items avec une note de confiance (1–10). Le score est la corrélation de Pearson ($r$) entre la confiance déclarée et la justesse binaire, mappée sur une échelle de 0–100.
2. T2-EV (Vigilance Épistémique) : Mesure la capacité à détecter des erreurs factuelles et à remettre en question la fiabilité de la source dans un raisonnement fourni. Il s'agit d'une tâche de précision binaire sans composante de confiance.
3. T3-KB (Limite des Connaissances) : Une tâche exploratoire (v75) où le modèle doit discriminer entre les items qu'il peut répondre et ceux qu'il ne peut pas, en articulant le type de limite.
4. T4-CR (Étendue de Calibration) : Mesure la surveillance inter-tâches. Le modèle répond à 12 faits avec un score de confiance de 0–100. Le score est basé sur un score de Brier pénalisé. Crucialement, il inclut des pénalités anti-triche :
   • Pénalité de profil plat : Déduit des points si l'écart-type de la confiance ($\sigma_{conf}$) est trop faible (indiquant que le modèle déclare la même confiance quelle que soit la difficulté).
   • Pénalité de plage étroite : Déduit des points si l'étendue de la confiance est trop petite.
5. T5-RCV (Validation de la Chaîne de Raisonnement) : Mesure la capacité à détecter des défauts dans des chaînes de raisonnement fournies. Il s'agit d'une tâche de précision binaire sans composante de confiance.

Cadre de Fiabilité

L'étude adhère à un seuil de fiabilité pré-spécifié : $\alpha \ge 0,25$ (alpha de Krippendorff) ET %-accord $\ge 0,90$.

• T4-CR est la seule tâche à franchir le seuil alpha ($\alpha = 0,66$), bien qu'elle manque de justesse la cible de %-accord (0,83).
• Les quatre autres tâches (T1-CC, T2-EV, T3-KB, T5-RCV) tombent significativement en dessous du seuil de fiabilité ($\alpha < 0,15$) et sont rapportées strictement comme des sondes diagnostiques en attendant un pilotage de la grille d'évaluation.
• La ligne de base humaine ($N=69$) a été recrutée à partir d'un échantillon spécialisé, biaisé vers les STEM, et n'est pas présentée comme une validation de population.

Résultats Clés

La « Dissociation Flash »

La découverte principale est une dissociation intra-modèle de 47 points observée chez Gemini 2.5 Flash :

• T1-CC (Meilleur du Panel) : Flash a obtenu un score de 88 (Spearman $\rho = +0,551$, $p=0,005$), indiquant une forte modulation de la confiance au niveau des items sur l'ensemble de tâches spécifique.
• T4-CR (Pire du Panel) : Flash a obtenu un score de 41. Bien qu'ayant répondu correctement à 8/12 faits, il a déclaré une confiance $\approx 100$ sur 11 des 12 items et 95 sur le dernier. Cela a résulté en une modulation de confiance quasi nulle ($\sigma_{conf} = 1,4$), déclenchant les deux pénalités anti-triche.
• Signification : L'écart démontre qu'une calibration élevée au sein de la tâche (T1-CC) ne garantit pas une calibration inter-tâches (T4-CR). Un système à seuil de confiance reposant sur la confiance déclarée de Flash échouerait à escalader les réponses incorrectes car le modèle reste surconfiant indépendamment de la justesse.

Résultats Secondaires

• Inverse Sonnet 4.6 : Sonnet 4.6 présente le profil opposé, avec T4-CR (88) > T1-CC (76), suggérant qu'il module mieux la confiance entre les tâches qu'il ne suit la justesse item par item.
• Paradoxe DeepSeek-R1 : DeepSeek montre un grand écart entre la Vigilance Épistémique (T2-EV = 74) et la Validation de la Chaîne de Raisonnement (T5-RCV = 47), suggérant qu'il détecte les erreurs locales dans le texte libre mais échoue à détecter les défauts de cohérence globale dans les chaînes fournies.
• Validité Externe : À $N=8$, aucune corrélation au niveau composite avec les benchmarks externes (MMLU, etc.) n'est distinguable de zéro. La corrélation MMLU ($\rho = +0,643$) a un intervalle de confiance à 95 % englobant zéro.
• Ligne de Base Humaine : L'hypothèse pré-spécifiée selon laquelle le niveau d'éducation est corrélé à la calibration métacognitive (H2) a été falsifiée avec le signe opposé ($\tau = -0,071$). L'instrument ne mesure pas actuellement les stades de développement.

Signification et Revendications

L'article se présente explicitement comme un diagnostic exploratoire, et non comme une échelle psychométrique validée.

1. Décomposition plutôt qu'Agrégation : La contribution principale est la démonstration que les scores composites effacent les modes de défaillance critiques. La « Dissociation Flash » prouve qu'un modèle peut être bien calibré sur des items spécifiques tout en étant catastrophiquement surconfiant sur un spectre de difficultés.
2. Pertinence pour le Déploiement : La métrique T4-CR (spécifiquement les pénalités anti-triche) met en lumière les risques pour les déploiements critiques pour la sécurité où des seuils de confiance déclenchent un examen humain. Un modèle comme Flash ne déclencherait jamais un tel examen malgré ses erreurs.
3. Limites et Modestie :
   • L'instrument n'est pas validé comme mesure de métacognition inter-espèces ; l'hypothèse inter-espèces a été falsifiée.
   • Seule T4-CR satisfait au seuil de fiabilité pré-spécifié ; les autres tâches sont provisoires.
   • Le panel de modèles de $N=8$ est sous-dimensionné pour des affirmations inter-modèles (effectif $N \approx 5$ lignées d'entraînement).
   • L'étude repose sur des comportements observables (confiance déclarée) plutôt que sur des états internes (logits/entropie), qui sont souvent inaccessibles via les API.

Les auteurs concluent que l'écart de 47 points est un phénomène robuste au niveau des items qui mérite une investigation plus approfondie via une réplication planifiée avec $N \ge 20$ modèles et $N \ge 100$ évaluateurs humains stratifiés, accompagnée d'un cycle de pilotage de la grille d'évaluation pour améliorer la fiabilité des tâches autres que T4-CR.