Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction

1. Problématique et Contexte

Les modèles de langage (LLM) sont de plus en plus utilisés dans des systèmes de déploiement critique où ils doivent pouvoir s'abstenir de répondre (abstention) ou router les tâches vers des experts humains lorsqu'ils sont incertains. Cette capacité repose sur la fiabilité des signaux de confiance du modèle.

Cependant, une question fondamentale demeure : la confiance exprimée par un LLM est-elle réellement corrélée à la justesse de sa réponse ? Des études antérieures (Cacioli, 2026d, 2026e) ont introduit un protocole de dépistage psychométrique (inspiré des échelles de validité du PAI et du MMPI-3) pour classer les modèles en trois catégories : Valide, Indéterminé ou Invalide.

Le problème identifié dans ces travaux précédents était l'absence de critère de validation orienté déploiement. Les seuils de classification n'avaient pas été calibrés par rapport aux résultats opérationnels réels. Cet article vise à combler ce fossé en validant ce protocole de dépistage contre une métrique de déploiement concrète : la prédiction sélective.

2. Méthodologie

Données et Modèles

• Corpus : 20 modèles LLM de pointe (7 familles : Anthropic, OpenAI, Google Gemini/Gemma, Qwen, DeepSeek, Zhipu).
• Tâches : Évaluation sur la batterie méta-cognitive Classical Minds (524 items répartis sur 6 tracks cognitifs : apprentissage, méta-cognition, cognition sociale, attention, fonctions exécutives, régulation prospective). Total : 10 480 observations.
• Signaux de confiance : Les modèles fournissent des réponses binaires (Garder/Retirer et Parier/Ne pas parier) pour chaque item, permettant de construire un score de confiance ordinal (0 à 3).

Protocole de Validation Concurrente

L'étude compare la classification issue du protocole de dépistage psychométrique (la variable indépendante) avec les performances de prédiction sélective (la variable dépendante).

1. Classification : Le script validity_screen.py attribue chaque modèle à un tiers (Valide, Indéterminé, Invalide) basé sur des indices cliniques (L, Fp, RBS, TRIN, et la corrélation $r(confidence, correct)$).
2. Critère de Validation (Prédiction Sélective) :
   • AUROC de Type 2 : Capacité du signal de confiance à discriminer les réponses correctes des incorrectes.
   • Gain sélectif : Différence de précision entre l'ensemble des réponses retenues (selon un seuil de confiance) et la précision de base.
   • Courbes Risque-Couverture : Évolution de la précision lorsque l'on ne conserve que le top $c$ % des réponses les plus confiantes.

Analyse Statistique

• Comparaison de groupes (ANOVA, Mann-Whitney U).
• Calcul des tailles d'effet (Cohen's $d$, $\eta^2$).
• Validation croisée Split-Half : 1 000 divisions aléatoires des données (50/50) pour tester si la classification sur un sous-ensemble prédit la performance sur l'autre, atténuant le risque de sur-ajustement sur l'échantillon unique.

3. Résultats Clés

Performance par Tiers de Validité

Les résultats montrent une séparation nette et monotone entre les tiers :

• Modèles Valides ($n=14$) : AUROC moyen = 0,624 (IC 95% [0,604 ; 0,647]). Tous dépassent le hasard. Ils montrent un gain de précision positif lors de l'abstention (ex: +3,1 points de pourcentage à 70% de couverture).
• Modèles Indéterminés ($n=3$) : AUROC moyen = 0,554. Performance proche du hasard, signal faible mais non inversé.
• Modèles Invalides ($n=3$) : AUROC moyen = 0,357 (IC 95% [0,031 ; 0,522]).
  • DeepSeek-R1 présente une inversion catastrophique (AUROC = 0,031). Plus le modèle est confiant, plus il se trompe (précision de 11,3% à 10% de couverture contre 85,3% en base).
  • Gemini 3.1 Pro et Qwen 80B Think montrent une confiance "enveloppante" (blanket confidence) : ils gardent presque tout (L > 0,96), rendant le signal de confiance non discriminant (AUROC $\approx$ 0,52).

Statistiques de Validation

• Différence de groupe : La différence entre les modèles Valides et Invalides est massive ($d = 2,81$, $p = 0,002$).
• Variance expliquée : La classification en trois tiers explique 47,0% de la variance des performances de prédiction sélective ($\eta^2 = 0,470$).
• Robustesse : La validation croisée split-half confirme la robustesse du résultat avec une médiane de $d = 1,77$ sur 1 000 splits, sans jamais inverser la tendance ($P(d > 0) = 1,0$).
• Corrélation intra-tier : Au sein des modèles valides, le taux de rétention (L) est négativement corrélé à l'AUROC ($\rho = -0,801$), suggérant un effet de plafond : les modèles qui gardent tout ne peuvent pas montrer de gain sélectif.

4. Contributions Principales

1. Validation Empirique du Dépistage : C'est la première validation concurrente démontrant qu'un protocole de dépistage psychométrique (développé à partir de principes cliniques) prédit efficacement les performances opérationnelles en apprentissage automatique.
2. Pont Méthodologique : L'article établit un lien entre les indices de validité psychométrique (PAI/MMPI-3) et les métriques de déploiement ML (prédiction sélective), prouvant que la méthodologie clinique est transférable aux LLM.
3. Diagnostic des Modes d'Échec : L'étude identifie trois modes d'échec distincts pour les modèles invalides :
   • Inversion catastrophique (le modèle est confiant dans ses erreurs).
   • Confiance enveloppante (le modèle ne retire jamais rien, rendant le signal inutile).
   • Signal ambigu (cas des modèles indéterminés).
4. Outil de Déploiement : Le protocole fournit un moyen rapide, peu coûteux et interprétable de vérifier si un modèle est prêt pour des tâches d'abstention ou de routage avant son déploiement.

5. Signification et Limites

Signification :
L'article démontre que la confiance des LLM n'est pas intrinsèquement fiable. Sans un pré-dépistage, un système d'abstention basé sur la confiance pourrait empirer les performances (en retirant les bonnes réponses et en gardant les mauvaises). La classification en trois tiers permet de filtrer les modèles dangereux (Invalides) et d'identifier ceux dont le signal de confiance est exploitable (Valides).

Limites :

• Validation Concurrente : Les métriques et la classification sont calculées sur le même jeu de données. Bien que la validation croisée split-half atténue ce problème, une généralisation prospective sur d'autres benchmarks (MMLU, GSM8K) n'est pas encore prouvée.
• Échantillon : 20 modèles seulement, avec une structure de famille (clustering) qui limite les modèles statistiques mixtes formels.
• Sensibilité à l'Élicitation : Les résultats sont spécifiques aux sondages binaires (Garder/Retirer). D'autres formats d'élicitation pourraient modifier les résultats.
• Plafond de Performance : Pour les modèles très performants (>95% de précision), le dépistage peut nécessiter des milliers d'items pour être stable en raison du manque de données d'erreur (cellules vides).

Conclusion Pratique :
L'auteur conclut par une recommandation forte : « Vérifiez avant de déployer ». Tout système utilisant la confiance des LLM pour l'abstention doit d'abord passer par ce filtre de validité. Un AUROC de 0,52 sans contexte de validité est ambigu ; avec ce filtre, il signale un modèle inapte à la sélection.