Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report

Résumé Technique : Échelles de Validité pour l'Auto-évaluation Métacognitive des LLM

1. Le Problème : L'absence de contrôle de validité dans l'évaluation des LLM

Les benchmarks actuels de métacognition pour les grands modèles de langage (LLM) traitent le signal de confiance du modèle (ses décisions de garder, retirer ou parier sur une réponse) comme une information fiable par défaut. Ces signaux sont utilisés pour des systèmes en aval tels que l'abstention, le routage des requêtes ou la boucle humaine.
Cependant, aucun de ces systèmes ne vérifie si ce signal de confiance est réellement corrélé à la justesse de la réponse avant d'être utilisé. En psychologie clinique, ce problème est résolu depuis des décennies par l'utilisation d'échelles de validité (comme dans le PAI ou le MMPI-3) qui détectent les profils de réponse déformés avant toute interprétation des échelles substantives. L'article propose d'importer ce cadre méthodologique dans l'évaluation des LLM.

2. Méthodologie : Un Cadre de Validité Structurel

L'auteur ne prétend pas que les LLM possèdent une personnalité ou une introspection. L'approche est structurelle et statistique : elle traite les données de sondage des LLM (réponses binaires à des items structurés) comme des données d'auto-déclaration, indépendamment de la cause de la distorsion (entraînement RLHF, contraintes architecturales, etc.).

Données et Échantillon :

• Échantillon : 20 modèles LLM de pointe (Anthropic, Google, Qwen, DeepSeek, OpenAI, Zhipu).
• Instrument : Batterie de surveillance métacognitive « Classical Minds » comprenant 524 items répartis sur 6 domaines cognitifs.
• Protocole : Après chaque réponse, deux sondes sont appliquées : « GARDER ou RETIRER » (KEEP/WITHDRAW) et « PARIER ou NON » (BET/NO BET).

Opérationnalisation des Indices de Validité (6 indices) :
Les indices sont mappés depuis les échelles cliniques (PAI/MMPI-3) pour détecter des schémas de réponse non informatifs :

1. L (Under-reporting) : Probabilité de garder une réponse alors qu'elle est incorrecte ($P(\text{KEEP} | \text{incorrect})$). Mesure la confiance maintenue malgré les erreurs.
2. K (Under-reporting) : Probabilité de parier sur une réponse incorrecte ($P(\text{BET} | \text{incorrect})$). Mesure une confiance injustifiée forte.
3. F (Over-reporting) : Probabilité de retirer des items où le consensus des modèles est de les garder ($P(\text{WITHDRAW} | \text{consensus KEEP} \ge 85\%)$).
4. Fp (Over-reporting) : Probabilité de retirer des réponses correctes ($P(\text{WITHDRAW} | \text{correct})$).
5. RBS (Monitoring inversé) : Différence entre le retrait des réponses correctes et incorrectes ($P(\text{WD}|\text{correct}) - P(\text{WD}|\text{incorrect})$). Une valeur positive indique un monitoring inversé.
6. TRIN (Réponse fixe) : Ratio de la réponse dominante (max des comptes KEEP ou WITHDRAW / total).

Classification par Niveaux :

• Niveau 1 (Invalidité structurelle) : Seuil théorique (ex: $L \ge 0.95$, $F \ge 0.50$). Indique que les données sont non interprétables.
• Niveau 2 (Élévation) : Seuil basé sur l'échantillon ($M + 1.5 \text{ SD}$). Indique une interprétation avec prudence.
• Validation : Le système a été validé contre 8 politiques de réponse synthétiques (ex: « toujours garder », « retrait aléatoire », « moniteur parfait »).

3. Contributions Clés

1. Cadre méthodologique : Introduction de six indices de validité formellement mappés aux échelles cliniques pour les données de sondage des LLM.
2. Validation par politiques synthétiques : Démonstration que le système de classification distingue correctement les politiques informatives des politiques non informatives.
3. Preuve empirique de l'information : Prouver que les modèles avec un profil valide produisent des décisions de confiance sensibles aux items, contrairement aux modèles invalides.
4. Effet du Chain-of-Thought (CoT) : Mise en évidence que l'entraînement CoT peut produire deux distorsions opposées (retrait excessif systématique vs confiance aveugle).
5. Indice de contradiction : Identification du taux de contradiction « RETIRER + PARIER » (WITHDRAW+BET) comme indicateur de découplage des signaux.
6. Discrimination prospective/rétrospective : Révélation que la validité n'est pas une propriété stable du modèle, mais dépend de l'interaction entre le modèle, le format du sondage et la politique de réponse.
7. Screener court : Identification de 161 items (sur 486) discriminant significativement les profils valides et invalides.

4. Résultats Principaux

A. Propriétés Psychométriques :

• Convergence forte : Corrélation élevée entre L et K ($r = .82$) et entre F et Fp ($r = .99$).
• Discrimination appropriée : L et F sont indépendants ($r = -.10$), confirmant deux dimensions latentes distinctes (sous-déclaration et sur-déclaration).
• Structure factorielle : Une analyse en composantes principales (PCA) révèle deux facteurs expliquant 94,6 % de la variance, correspondant aux blocs cliniques de sous- et sur-déclaration.

B. Classification des Modèles (N=20) :

• 4 Modèles Invalides (Niveau 1) : DeepSeek-R1, Gemini 3.1 Pro, Qwen 80B Think, Gemma 1B. Leurs signaux de confiance ne portent aucune information sur la justesse.
• 2 Modèles Élevés (Niveau 2) : GPT-5.4 nano, Gemma 12B.
• 14 Modèles Valides : Leurs décisions de « GARDER » sont significativement corrélées à la justesse de la réponse.

C. Analyse de Sensibilité aux Items (Test Empirique Central) :

• Modèles Valides : Corrélation moyenne $r(\text{KEEP}, \text{correct}) = .180$. Les décisions suivent la performance.
• Modèles Invalides : Corrélation moyenne $r = -.196$ (négative ou nulle).
• Différence de groupe : Effet de taille massif ($d = 2.17, p = .001$).
• Cas spécifiques :
  • DeepSeek-R1 : Présente un monitoring inversé massif et un taux de contradiction « RETIRER + PARIER » de 37,1 % sur les items corrects.
  • Qwen 80B Think : Confiance aveugle ($L = .974$), ne détecte aucune erreur.
  • Google-Gemini (famille) : Profil uniforme de sous-déclaration (confiance défensive élevée), suggérant un effet d'entraînement RLHF similaire au « coaching » en évaluation forensique.

D. Impact de l'Entraînement CoT :
L'ajout de modes de raisonnement (Chain-of-Thought) ne garantit pas une meilleure validité. Il crée des distorsions opposées :

• DeepSeek R1 : Retrait excessif (94,6 % de retraits sur les items corrects).
• Qwen Think : Confiance excessive (L passe de .782 à .974).

5. Signification et Implications

• Principe Fondamental : « Filtrer avant d'interpréter ». Tout comme en clinique, l'interprétation des capacités métacognitives d'un LLM est invalide si les échelles de validité sont élevées.
• Sécurité et Déploiement : Un modèle avec une haute précision mais une confiance non informative (profil invalide) est plus dangereux qu'un modèle moins précis mais avec un monitoring réel. Les systèmes d'abstention basés sur la confiance échouent avec des profils invalides.
• Nature de la Validité : La validité n'est pas une propriété intrinsèque de l'IA (comme une « personnalité »), mais une propriété statistique de la relation entre le signal de sortie et la vérité terrain.
• Biais d'Entraînement : Les résultats suggèrent que le RLHF (Reinforcement Learning from Human Feedback) peut induire des ensembles de réponses (response sets) systématiques, analogues aux effets de coaching dans les tests psychologiques humains.

Conclusion :
L'article établit que le problème de la validité des réponses dans les LLM est structurellement identique à celui des auto-évaluations humaines. En appliquant les échelles de validité cliniques, il est possible de détecter et d'exclure les modèles dont les signaux de confiance sont non informatifs, ouvrant la voie à une évaluation plus rigoureuse et plus sûre des capacités métacognitives des IA.