What Does a Factual-Error Detector Really Measure? Question Difficulty and Model Uncertainty Before the Answer Begins

Résumé technique : Que mesure réellement un détecteur d'erreurs factuelles ?

Énoncé du problème
Les détecteurs d'erreurs factuelles visent à prédire si la réponse d'un grand modèle de langage (LLM) est incorrecte en se basant sur le modèle et sa sortie. Cependant, une haute précision de détection ne suffit pas à elle seule pour révéler la source du signal prédictif. Un détecteur pourrait simplement identifier des questions qui sont difficiles pour de nombreux modèles, capturer des propriétés du texte généré, ou refléter l'incertitude de la sortie, plutôt que de mesurer l'évaluation interne par le modèle de sa propre connaissance. Les lignes de base existantes échouent souvent à distinguer l'information prédictive spécifique au modèle de la « difficulté de la question » générale. De plus, les affirmations concernant les signaux internes (par exemple, les activations par couche) manquent souvent de validation croisée rigoureuse entre les modèles ou ne tiennent pas compte du fait que l'entropie mesure la dispersion, et non la vérité.

Méthodologie
Les auteurs proposent un cadre d'évaluation rigoureux centré sur deux composantes principales : une ligne de base « Leave-One-Model-Out » (LOMO) et un audit prospectif des lectures scalaires à travers diverses lignées de modèles.

1. Ligne de base LOMO : Au lieu de s'appuyer sur les états internes, la ligne de base calcule la fraction des autres modèles disponibles ayant répondu incorrectement à une question spécifique, en excluant le modèle cible. Ce score dépend uniquement de la difficulté de la question et de la composition du panel, et non de la réponse ou des états internes du modèle cible.
2. Analyse du panel principal (TriviaQA) : L'étude audite les réponses factuelles courtes de 18 modèles en poids ouverts (17 conservés pour l'analyse). Sur 42 636 paires modèle-question possibles, 18 850 ont survécu à l'extraction. Les auteurs comparent un détecteur favorablement sélectionné à la ligne de base LOMO en utilisant l'AUROC. Ils utilisent également un cross-fitting continu (LOMO polynomial) et des contrôles exploratoires utilisant le texte de la réponse régénérée pour vérifier le chevauchement entre les signaux du détecteur et le contenu de la réponse.
3. Audit prospectif (Natural Questions) : Un audit distinct, filtré par cohérence, a été mené sur 18 modèles (12 lignées). Pour garantir la robustesse, seuls les couples où 10 échantillons de réponses ont reçu le même verdict de correction ont été conservés. L'étude a testé 24 mesures scalaires (incluant l'entropie et les marges de probabilité à 12 profondeurs relatives) contre une règle empirique préspécifiée : un effet de taille de Cohen $d \ge 0,5$ dans chaque modèle, de direction constante et de signification statistique.
4. Contrôles de portée :
   • Décodage : Comparaisons entre le décodage par échantillonnage (sampling) et le décodage glouton (greedy) pour déterminer si les associations dépendent de la sélection aléatoire de jetons.
   • Types d'erreurs : Analyse des « erreurs partagées » (survenant dans $\ge 3$ familles de modèles) par rapport aux « erreurs idiosyncrasiques » pour tester si le regroupement d'erreurs corrèle avec l'entropie.
   • Dépendance à la tâche : Évaluation à travers Natural Questions (NQ), TriviaQA et BioASQ.

Principales contributions

1. Évaluation opérationnelle contre la difficulté du panel : L'article établit LOMO comme une ligne de base forte, indépendante du détecteur. Il soutient que les affirmations de valeur d'information prédictive spécifique au modèle doivent démontrer des gains au-delà de cette ligne de base.
2. Audit techniquement validé : L'étude fournit un audit pré-enregistré strict de 24 lectures scalaires sur 18 modèles, exigeant la reconstruction exacte de la sortie native et un effet minimum dans chaque modèle.
3. Contrôles de portée : L'inclusion de contrôles de décodage glouton, d'analyses d'erreurs partagées et de comparaisons dépendantes de la tâche pour délimiter les conditions sous lesquelles les résultats tiennent.

Résultats

• LOMO vs Détecteurs : Dans le panel principal, la ligne de base LOMO a significativement surperformé le détecteur autonome sélectionné. La médiane de l'AUROC pour LOMO était de 0,855 contre 0,784 pour le détecteur. La différence appariée médiane était de +0,064, positive dans les 17 modèles ($p = 2,9 \times 10^{-4}$).
• Prédicteurs combinés : Bien que LOMO seul soit supérieur, l'ajout de caractéristiques de détecteur (spécifiquement l'entropie et des caractéristiques plus larges) à LOMO a apporté des gains incrémentiels positifs, suggérant une valeur prédictive complémentaire.
• Entropie et Profondeur : Parmi 24 mesures dans l'audit NQ, seule l'entropie de la sortie native (à la dernière couche, $u_{11}$) a satisfait au critère empirique préspécifié ($|d| \ge 0,5$ dans les 18 modèles). Aucune mesure de couche antérieure n'a réussi.
  • La taille d'effet moyenne pour l'entropie de la sortie native était de $d = 1,0515$, avec un minimum de 0,6512.
  • La mesure pré-sortie la plus proche (entropie à $u_{10}$) avait un effet minimum de 0,1495, échouant au seuil.
• Sensibilité à la difficulté : Lors du contrôle de la difficulté de la question par stratification, l'effet de l'entropie s'est affaibli. Seuls 16/18 modèles ont dépassé le seuil $d=0,5$ (par exemple, Mistral est tombé à 0,102), indiquant que le signal est sensible à la composition de l'échantillon.
• Décodage Glouton : L'association entre l'entropie et l'erreur persiste sous le décodage glouton, bien que l'ampleur varie. Cela suggère que le signal n'est pas uniquement un artefact de l'échantillonnage de la queue de la distribution.
• Erreurs Partagées vs Idiosyncrasiques : Les erreurs partagées (regroupables par sens) présentaient une entropie du premier jeton de contenu plus faible que les erreurs idiosyncrasiques dans 17/17 modèles. Cela implique que lorsque les modèles convergent vers la même mauvaise réponse, l'incertitude est faible, remettant en question l'idée que l'entropie élevée est le seul indicateur d'hallucination.
• Contrôles de Texte : Des contrôles exploratoires utilisant le texte régénéré ont suggéré qu'une grande partie du gain apparent des détecteurs basés sur les activations chevauche l'information contenue dans le texte de la réponse elle-même.

Signification et Revendications
L'article conclut que les détecteurs d'erreurs factuelles doivent être évalués par rapport à la difficulté des questions du panel (LOMO) plutôt qu'en isolation. Les résultats soutiennent l'entropie comme un signal d'avertissement pour les erreurs potentielles dans des populations de réponses courtes sélectionnées, mais non comme une mesure de la vérité.

• Limites de l'Entropie : L'entropie mesure la dispersion sur les jetons suivants, non la justesse. Un candidat erroné dominant peut maintenir une entropie basse, tandis que des formes de surface concurrentes peuvent augmenter l'entropie.
• Pas de mécanisme universel : L'étude n'établit pas de mécanisme causal partagé ou de seuil universel. Le succès de l'entropie de la sortie native est spécifique à la population sélectionnée et filtrée par cohérence.
• Revendications modestes : Les auteurs déclarent explicitement que leurs conclusions concernent les populations sélectionnées et ne se généralisent pas à la génération de longs formats, aux systèmes de récupération augmentée (RAG) ou au trafic de production. Les preuves soutiennent l'utilisation de la mesure de l'incertitude comme déclencheur de vérification ou d'abstention, mais une faible entropie seule ne peut justifier une confiance automatique.

En résumé, l'article démontre que bien que des signaux internes simples comme l'entropie de sortie puissent corréler avec les erreurs, ils sont fortement confondus par la difficulté de la question et les propriétés du texte. Le prédicteur le plus robuste de l'erreur factuelle dans cette étude était la performance collective des autres modèles sur la même question, et non l'état interne du modèle cible.