💻 computer science

Signed Layer-Level Evidence in Transformer Predictions, and a Diagnostic for When It Applies

Cet article introduit le Language Evidence Flow (LEF) pour décomposer les prédictions des Transformers en preuves par couche signées et propose ScopeGate, un outil de diagnostic basé sur la permutation qui révèle les limitations liées au modèle et à la tâche des détecteurs d'erreurs existants, démontrant qu'aucune métrique unique ne prédit universellement l'échec du modèle.

Auteurs originaux : Jeffery Opoku, David Banahene

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jeffery Opoku, David Banahene

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les grands modèles de langage sont les moteurs d'une nouvelle génération d'intelligence artificielle, capables de rédiger des essais, de résoudre des problèmes mathématiques et de tenir des conversations qui semblent remarquablement humaines. Pourtant, sous leur surface fluide se cache une faille persistante : ils inventent parfois des faits avec une assurance totale, un phénomène que les chercheurs appellent l'hallucination. Pendant des années, la manière standard de repérer ces erreurs a consisté à regarder la réponse finale du modèle et à se demander : « À quel point semble-t-elle sûre d'elle ? » Si le modèle attribue une probabilité élevée à un mot, nous supposons qu'il est correct. Mais cette approche présente un angle mort. Elle traite la sortie finale comme une boîte noire, ignorant la machinerie interne complexe qui l'a produite. Deux réponses peuvent avoir exactement le même niveau de confiance, alors que l'une peut être le résultat d'un accord clair et unanime entre les composants internes du modèle, tandis que l'autre est le produit fragile d'une lutte civile interne féroce où différentes parties du système tirent dans des directions opposées. Comprendre cette lutte cachée est crucial car un mensonge à l'allure assuré est souvent plus dangereux qu'une vérité hésitante.

Une équipe de chercheurs a développé une nouvelle méthode pour jeter un coup d'œil à l'intérieur de cette boîte noire, révélant le tir à la corde caché qui se produit avant qu'un seul mot ne soit prononcé. Ils appellent leur cadre de travail « Language Evidence Flow » (Flux d'Évidence Linguistique). Au lieu de simplement regarder le score final, cette méthode suit la contribution de chaque couche de l'architecture du modèle lorsqu'elle traite une phrase. Imaginez le modèle comme une longue chaîne de décideurs, où chaque maillon ajoute sa propre pièce d'évidence au choix final. Les chercheurs ont découvert qu'ils pouvaient attribuer une valeur positive ou négative à la contribution de chaque maillon. Une valeur positive signifie que la couche soutient le mot choisi ; une valeur négative signifie qu'elle s'y oppose. En les additionnant, ils peuvent calculer un « score de conflit ». Un score faible signifie que les couches internes sont en harmonie, tandis qu'un score élevé révèle que le modèle génère une réponse malgré un désaccord interne marqué. Cela leur permet de détecter quand un modèle hallucine, même si la réponse finale semble parfaitement assurée en surface.

Les chercheurs ont testé cette idée sur un large éventail de modèles, allant de versions plus petites de 1,4 milliard de paramètres jusqu'à des systèmes massifs de 14,7 milliards de paramètres, couvrant différentes familles architecturales. Ils ont découvert que la méthode fonctionne exceptionnellement bien pour repérer un type spécifique d'erreur : lorsque la mémoire interne d'un modèle entre en conflit avec des informations extérieures qu'il a récupérées. Dans une configuration de génération augmentée par récupération (RAG), le modèle reçoit un document à lire avant de répondre. Si le document dit une chose et que la mémoire d'entraînement du modèle en dit une autre, le score de conflit interne grimpe en flèche, signalant que la réponse est probablement une hallucination. Cela fonctionne en une seule passe, ce qui signifie que cela n'ajoute presque pas de temps au processus de génération, contrairement aux anciennes méthodes qui nécessitaient que le modèle génère la même réponse plusieurs fois pour vérifier la cohérence.

Cependant, l'étude a également révélé une limitation surprenante et importante : ce signal de conflit interne n'est pas une vérité universelle pour tous les modèles. Les chercheurs ont constaté que pour certains modèles, un score de conflit élevé prédisait de manière fiable une erreur, mais pour d'autres, le signal était faible ou même trompeur. Par exemple, sur un modèle populaire de 7 milliards de paramètres, le score de conflit était en fait pire qu'un choix aléatoire pour prédire les erreurs, tandis que sur un autre modèle de même taille, il était un indicateur fort de problèmes. Cette incohérence signifie qu'installer simplement cet outil sur n'importe quel système d'IA ne suffit pas ; vous devez d'abord vérifier qu'il fonctionne pour votre modèle spécifique. Pour résoudre cela, l'équipe a créé un test de sécurité appelé « ScopeGate ». Il s'agit d'un test simple qui s'exécute sur un petit ensemble de réponses correctes et incorrectes connues pour voir si le score de conflit est réellement corrélé aux erreurs pour ce modèle spécifique. Si le test échoue, l'outil n'est pas utilisé comme une alarme autonome, mais il peut toujours être utilisé pour comprendre pourquoi le modèle rencontre des difficultés.

Les conclusions suggèrent que la façon dont ces modèles pensent change lorsqu'ils sont ajustés pour la conversation humaine. Lorsque les modèles sont affinés (fine-tuned) pour être plus utiles et suivre des instructions, leur confiance de surface devient souvent un signal d'avertissement moins fiable, mais le signal de conflit interne reste fort ou devient même plus aigu. Cela rend la nouvelle méthode particulièrement précieuse pour les modèles les plus avancés, ajustés pour suivre des instructions, utilisés dans les applications du monde réel. Les chercheurs ont également montré que cette approche peut détecter des erreurs dans des tâches de raisonnement complexes à plusieurs étapes, où le modèle doit enchaîner des faits, capturant le moment où la logique interne commence à se défaire.

En fin de compte, ce travail déplace l'attention de la sortie finale vers le processus de création. Il prouve que le chemin vers une réponse importe autant que la réponse elle-même. En cartographiant l'évidence signée circulant à travers chaque couche du réseau, les chercheurs ont fourni un moyen de voir les désaccords internes du modèle en temps réel. Bien que la méthode ne fonctionne pas parfaitement sur chaque modèle sans vérification préalable, elle offre un outil puissant, ne nécessitant pas de réentraînement, qui peut être déployé immédiatement. Elle permet aux développeurs de voir exactement où et pourquoi un modèle lutte contre lui-même, transformant le processus opaque de l'intelligence artificielle en quelque chose qui peut être observé, mesuré et compris. La leçon clé est que la confiance ne suffit pas ; nous devons aussi chercher le silence de l'accord ou le bruit du conflit à l'intérieur de la machine.

Résumé Technique : Preuve de Niveau de Couche Signée dans les Prédictions des Transformers

1. Énoncé du Problème

Les grands modèles de langage (LLM) produisent fréquemment des sorties fluides et de haute probabilité qui sont pourtant factuellement incorrectes (hallucinations). Les méthodes de détection existantes font face à une limitation fondamentale : elles reposent sur des scores au niveau de la sortie (ex. : probabilité softmax, entropie prédictive) ou nécessitent un échantillonnage coûteux (ex. : SelfCheckGPT) ou des données d'entraînement étiquetées (ex. : classifieurs de sondage).

La difficulté centrale traitée par ce travail est que deux jetons ayant des probabilités softmax identiques peuvent être atteints via des processus internes radicalement différents. Un jeton peut être soutenu par un accord quasi unanime de toutes les couches du transformer, tandis qu'un autre peut survivre malgré une forte opposition interne (conflit) de diverses couches. Les scores au niveau de la sortie sont des fonctions du seul écart de logit et sont aveugles à la « masse d'évidence » ou à la structure de désaccord interne. Par conséquent, un modèle peut paraître hautement confiant alors que son évidence interne se dispute elle-même, un état que les métriques standards ne peuvent détecter.

2. Méthodologie : Flux d'Évidence Linguistique (LEF)

Les auteurs introduisent le Language Evidence Flow (LEF), un cadre qui décompose la prédiction d'un jeton en contributions signées de chaque couche, tête d'attention et, dans les contextes de Génération Augmentée par Récupération (RAG), de la mémoire paramétrique par rapport aux documents récupérés.

2.1 Mécanisme Central

LEF exploite la nature additive du flux résiduel du transformer. Pour une position de jeton $t$ donnée, le modèle sélectionne un jeton de tête $\hat{v}_t$ et un second choix $\hat{r}_t$ . L'écart de logit $\Delta_t$ est décomposé exactement en termes d'évidence signés $E_\ell(t)$ provenant de chaque couche $\ell$ :
$\Delta_t = E_0(t) + \sum_{\ell=1}^{L} E_\ell(t)$
où $E_\ell(t)$ est la contribution de la couche $\ell$ (combinant les sorties d'attention et MLP) à l'écart entre le jeton de tête et le second choix.

Évidence Signée : Si $E_\ell(t) > 0$ , la couche soutient le jeton choisi ; si $E_\ell(t) < 0$ , elle s'y oppose.
Masse de Soutien et d'Opposition : $S^+(t)$ et $S^-(t)$ sont les sommes des magnitudes d'évidence positives et négatives, respectivement.
Score de Conflit ( $C$ ) : Défini comme $C(t) = \frac{2 \min(S^+, S^-)}{S^+ + S^-}$ . Une valeur proche de 0 indique une évidence unilatérale ; une valeur proche de 1 indique un partage (conflit élevé).
Marge de Basculement ( $m_{flip}$ ) : La redistribution minimale d'évidence requise pour faire basculer la prédiction, calculée par $m_{flip}(t) = \frac{|\Delta_t|}{2} = \frac{M(t)(1-C(t))}{2}$ . Un conflit élevé implique une marge de basculement faible, indiquant une fragilité de la prédiction.

2.2 Décomposition RAG

Dans les scénarios RAG, LEF sépare l'évidence en sources paramétriques ( $E_{param}$ ) et récupérées ( $E_{retr}$ ). Il définit le Conflit Inter-Sources ( $C_{cross}$ ) pour mesurer le désaccord entre la mémoire interne du modèle et les documents externes. Cela permet la détection des hallucinations RAG où le modèle ignore les faits récupérés au profit de la connaissance paramétrique (ou vice versa).

2.3 Garanties Théoriques

Le papier prouve un Théorème d'Identification établissant que les scores au niveau de la sortie (comme la probabilité ou l'entropie) ne peuvent garantir la révélation du conflit interne car la masse d'évidence est un paramètre libre indépendant de la sortie softmax. Il prouve également une borne inférieure sur le conflit lorsque les sources paramétriques et récupérées sont en désaccord.

2.4 ScopeGate : Un Diagnostic de Déploiement

Reconnaissant que le conflit n'est pas universellement prédictif des erreurs pour tous les modèles, les auteurs introduisent ScopeGate. Il s'agit d'un test de permutation qui vérifie si le score d'un détecteur spécifique (ex. : conflit) est corrélé avec l'erreur sur une paire modèle-tâche spécifique en utilisant un petit ensemble d'exemples étiquetés (~100–250). Si le test échoue, le détecteur n'est pas prêt pour le déploiement pour cette configuration, évitant ainsi une dépendance excessive.

3. Contributions Clés

Cadre : LEF fournit une décomposition en un seul passage, sans entraînement, des prédictions en évidence signée par couche, permettant l'attribution par couche et la séparation des sources RAG.
Théorie : Preuves caractérisant la frontière d'identification où les scores de sortie échouent à révéler le conflit, un lien en forme close entre conflit et marge de basculement, et un théorème de propagation du conflit dans le décodage autorégressif.
Validation Empirique : Évaluation sur 11 modèles (1,4B–14,7B paramètres) et six familles d'architectures. Les conclusions clés incluent :
- LEF détecte le désaccord de source RAG en un seul passage direct (forward pass) à travers plusieurs familles d'architectures.
- Le conflit LEF (sans entraînement) égale presque les performances d'un sondage d'état caché entraîné (AUROC 0,660 vs 0,669) et surpasse les méthodes basées sur l'échantillonnage (SelfCheckGPT) avec un coût d'inférence 5x inférieur.
- Spécificité du Modèle : Le conflit est un signal d'erreur fort pour les variantes de Qwen2.5 et OLMo-2-7B-Instruct mais échoue ou est inversé pour Mistral-7B et Falcon-7B.
Protocole de Déploiement : Une recette en quatre étapes incluant la vérification de sécurité ScopeGate, l'ablation de couche pour l'efficacité (surveiller les 5 à 10 couches supérieures réduit le surcoût à <4 %), et des stratégies d'ensemble avec l'entropie.

4. Résultats Expérimentaux

QA Factuelle (TriviaQA) : Sur le QA simple à un saut, l'entropie prédictive surpasse généralement le conflit brut (ex. : Mistral-7B : Entropie 0,802 vs Conflit 0,463). Cependant, le conflit excelle dans la détection des erreurs confiantes (faible entropie, conflit élevé) et performe mieux sur les tâches de raisonnement multi-sauts pour certains modèles (ex. : Qwen2.5-7B-Instruct : AUROC du conflit 0,829 sur HotpotQA).
Désaccord de Source RAG : Lorsque les documents récupérés contredisent la mémoire paramétrique, les scores de conflit augmentent significativement (ex. : +0,048 pour Mistral-7B) tandis que la précision chute. Cet effet se reproduit de manière directionnelle à travers quatre familles d'architectures.
Performance de ScopeGate : ScopeGate a correctement identifié 4 configurations prêtes pour le déploiement (toutes les variantes de Qwen2.5 et OLMo-2-7B-Instruct) sur les 11 modèles testés. Il a correctement mis en garde contre l'utilisation du conflit comme signal autonome pour des modèles comme Mistral-7B et Phi-2.
Ajustement d'Instruction : L'ajustement d'instruction (RLHF) a été trouvé comme dégradant la détection basée sur l'entropie (rendant les modèles plus confiants mais potentiellement moins fiables) tout en préservant ou renforçant le signal de conflit, rendant LEF particulièrement précieux pour les modèles alignés.
Efficacité : LEF ajoute un surcoût négligeable (~3,7 % pour un passage unique sur les 5 couches supérieures) par rapport au passage direct de base.

5. Signification et Revendications

Le papier affirme que LEF offre un signal structurellement distinct pour la détection d'hallucinations qui est orthogonal aux scores de niveau de sortie. Sa principale importance ne réside pas dans le fait de surpasser universellement l'entropie sur toutes les tâches, mais dans :

Révéler les Processus Internes : Il expose le « pourquoi » derrière une prédiction (accord de couche vs conflit) plutôt que simplement le « quoi » (probabilité).
Attribution de Source : C'est la seule méthode en un seul passage capable de séparer la mémoire paramétrique de l'évidence récupérée dans le RAG.
Sécurité via les Diagnostics : L'inclusion de ScopeGate répond à la tendance du domaine à déployer des détecteurs sans vérifier leur validité sur des modèles cibles spécifiques. Le papier souligne que la validité du détecteur est une propriété du couple modèle-tâche, et non du détecteur seul.
Efficacité Sans Entraînement : Il atteint des performances compétitives avec les sondes supervisées et les méthodes d'échantillonnage sans nécessiter de données étiquetées ou de multiples passages d'inférence.

Les auteurs sont modestes quant à l'universalité du signal de conflit, affirmant explicitement que son efficacité dépend de l'architecture et de l'échelle spécifiques du modèle, et que ScopeGate est nécessaire pour vérifier son applicabilité avant le déploiement. Ils ne prétendent pas avoir identifié la raison mécaniste précise (ex. : diversité des couches) pour laquelle certains modèles fonctionnent et d'autres échouent, notant que les tests actuels de diversité des couches n'ont pas expliqué la variance.