LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy

1. Problématique et Contexte

L'évaluation actuelle des Grands Modèles de Langage (LLM) repose souvent sur des métriques de calibration, telles que l'Erreur de Calibration Espérée (ECE). Ces métriques présentent une limitation fondamentale : elles confondent deux composantes distinctes de la performance cognitive :

1. La sensibilité (Sensitivity) : La capacité du modèle à discriminer les réponses correctes des incorrectes.
2. Le biais (Bias/Criterion) : La tendance du modèle à répondre de manière confiante ou prudente, indépendamment de sa justesse.

Un modèle peut être parfaitement calibré (faible ECE) tout en étant totalement incapable de discriminer la vérité (sensibilité nulle), simplement parce qu'il exprime une confiance proportionnelle à son taux d'erreur. La théorie du signal (Signal Detection Theory - SDT), utilisée en psychophysique, permet de décomposer ces deux paramètres. Bien que des métriques dérivées de la SDT (comme l'AUC-ROC) commencent à être utilisées, le cadre paramétrique complet (modèle à variance inégale, estimation du critère, analyse z-ROC) n'a pas encore été appliqué systématiquement aux LLMs.

De plus, une hypothèse courante suggère que l'ajustement de la température (paramètre de décodage) agit comme une manipulation de critère (décalage de la décision sans affecter la capacité de discrimination), à l'instar des manipulations de gains dans les expériences humaines. L'auteur remet en cause cette analogie, car chez les LLM, la température modifie non seulement la probabilité de sortie, mais aussi le processus de génération lui-même, potentiellement en changeant la réponse générée.

2. Méthodologie

L'étude est une recherche pré-enregistrée (sur l'OSF) appliquant le cadre complet de la SDT à trois LLMs :

• Modèles : Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, et Llama-3-8B-Base (sans ajustement d'instruction).
• Données : 168 000 essais de notation de confiance et 6 000 essais de choix forcé (4AFC) sur deux jeux de données : TriviaQA (5 000 questions, 5 domaines) et Natural Questions (3 000 questions).
• Variables Expérimentales :
  • Température ($T$) : Testée sur 7 niveaux (0.1 à 2.0).
  • Variable de preuve (Evidence) : Le NLP (Normalized Log-Probability) de la réponse générée, utilisé comme proxy de la force de la preuve sensorielle.
• Paradigmes :
  1. Notation de confiance (Paradigm A) : Construction de courbes ROC multipoints à partir des bins de NLP pour estimer la sensibilité ($d_a$) et le critère ($c$) via un modèle SDT à variance inégale (UVSD).
  2. Choix forcé 4AFC (Paradigm B) : Pour valider la convergence des mesures de sensibilité.
  3. Force-Decode (Analyse A) : Décodage forcé de la réponse correcte vs incorrecte pour isoler la sensibilité de base indépendante de l'échantillonnage.

3. Contributions Clés

L'article apporte trois contributions majeures à la compréhension des LLMs :

1. Rupture de l'analogie Température-Critère : Il démontre que la température n'est pas une manipulation pure du critère. Elle modifie simultanément la sensibilité et le critère, car la "stimulus" (la réponse générée) dépend du "critère" (la température).
2. Distribution à variance inégale : Les LLMs présentent des distributions de preuve à variance inégale (les réponses correctes ont une variance plus élevée que les incorrectes), avec des pentes de z-ROC allant de 0,52 à 0,84. Les modèles "Instruct" montrent une asymétrie plus extrême que les modèles de base ou la mémoire humaine.
3. Décomposition SDT supérieure aux métriques de calibration : La décomposition en sensibilité et biais révèle des structures invisibles pour l'ECE. Des modèles avec des profils de performance très différents peuvent avoir des scores ECE similaires, rendant les interventions (réentraînement vs recalibration) ambiguës sans l'approche SDT.

4. Résultats Principaux

• Hypothèse H1 (Température comme critère) : Rejetée.
  • Contrairement à la prédiction, l'AUC (mesure de sensibilité) augmente de manière monotone avec la température (de 0,1 à 2,0), tandis que le critère se déplace effectivement (de très libéral à moins libéral).
  • Interprétation : L'augmentation de l'AUC ne signifie pas une meilleure connaissance factuelle (la précision brute diminue avec la température). Elle reflète un effet distributionnel : la température élargit la distribution NLP, augmentant la séparation entre les preuves de réponses correctes et incorrectes.
• Hypothèse H2 (Structure cachée) : Confirmée.
  • À température égale, des modèles comme Llama-3-Instruct et Mistral occupent des positions distinctes dans l'espace $(d_a, c)$. Mistral a une sensibilité plus élevée mais un critère plus libéral. L'ECE seul ne permettrait pas de distinguer ces profils ni de prescrire la bonne intervention (ajustement de critère vs amélioration de capacité).
• Hypothèse H4 (Variance inégale) : Confirmée.
  • Toutes les pentes de z-ROC sont inférieures à 1,0, confirmant que la variance des signaux (réponses correctes) est supérieure à celle du bruit (réponses incorrectes).
  • Les modèles instruct montrent une variance inégale plus extrême (pentes 0,52–0,63) que le modèle de base (0,77–0,87) et que la mémoire humaine typique (~0,80).
• Hypothèse H5 (Sensibilité spécifique au domaine) : Confirmée.
  • La sensibilité ($d_a$) varie selon les domaines de connaissances. Le domaine "Sciences et Technologie" est systématiquement le plus difficile pour tous les modèles, une information masquée par les métriques agrégées.
• Hypothèse H6 (Dégradation à haute température) : Rejetée.
  • La sensibilité ne diminue pas aux températures élevées ($T > 1.0$) ; elle continue d'augmenter, bien que la précision globale chute.

5. Signification et Implications

Cette étude transforme la façon dont nous évaluons la confiance des LLMs :

• Diagnostic précis : La SDT permet de distinguer un modèle qui "ne sait pas" (faible sensibilité) d'un modèle qui "sait mais répond mal" (mauvais critère). Par exemple, si un modèle instruct a une bonne sensibilité mais un critère trop libéral, la solution est un ajustement de la température ou du prompt, et non un réentraînement coûteux.
• Limites de la calibration : Les métriques comme l'ECE sont insuffisantes pour le déploiement à haut risque car elles ne capturent pas la capacité discriminative sous-jacente.
• Nature de la "connaissance" : L'augmentation de la sensibilité avec la température est un artefact de la distribution des probabilités (NLP) et non une amélioration de la compétence factuelle. Cela met en lumière la dissociation entre la fluidité (fluency) et la justesse (accuracy) : les LLMs génèrent des erreurs très fluides qui peuvent masquer le signal de vérité.
• Cadre théorique : L'application du modèle UVSD (variance inégale) aux LLMs ouvre la voie à une compréhension plus profonde de la représentation interne des modèles, suggérant que les réponses correctes sont représentées de manière beaucoup plus variable (du très certain à l'incertain) que les réponses incorrectes.

En conclusion, l'auteur plaide pour l'adoption généralisée du cadre paramétrique de la SDT dans l'évaluation des LLMs, car il fournit des informations diagnostiques cruciales que les métriques de calibration traditionnelles ne peuvent pas révéler.