Between the Layers Lies the Truth: Uncertainty Estimation in LLMs Using Intra-Layer Local Information Scores

Cet article propose une méthode d'estimation d'incertitude pour les grands modèles de langage qui, en exploitant les scores d'accord intra-couches lors d'une seule passe avant, offre une approche légère et transférable surpassant les techniques de sondage, notamment lors du transfert inter-ensembles et de la quantification.

L'essentiel

Imaginez que vous posez une question à un ami très intelligent, mais qui a parfois tendance à inventer des réponses avec une confiance absolue. C'est un peu le problème des Grands Modèles de Langage (IA) comme ceux qui écrivent ce texte. Ils sont brillants, mais ils peuvent aussi "halluciner" (inventer des faits) en étant 100% sûrs d'eux.

Le but de cette recherche est de donner à ces IA un sixième sens pour se dire : "Attends, je ne suis pas sûr de cette réponse, je devrais peut-être me taire."

Voici comment les auteurs ont résolu ce problème, expliqué simplement :

1. Le problème : Regarder la réponse ne suffit pas

Les méthodes actuelles pour vérifier si une IA a raison se basent souvent sur deux choses :

• La réponse elle-même : "Est-ce que la phrase semble logique ?" (Mais l'IA peut être très convaincante tout en mentant).
• L'analyse interne (Sondage) : On regarde les "pensées" brutes de l'IA à l'intérieur de son cerveau. C'est efficace, mais c'est comme essayer de comprendre un film en regardant 10 000 photos floues prises à la volée. C'est trop compliqué, ça prend trop de temps, et ça ne fonctionne pas bien quand on change de sujet.

2. La solution : Écouter les conversations entre les étages

Les auteurs ont eu une idée géniale. Au lieu de regarder le cerveau entier ou juste la réponse finale, ils ont décidé d'écouter comment les différentes parties du cerveau de l'IA se parlent entre elles.

Imaginez l'IA comme un immeuble de 30 étages (les couches du modèle) :

• L'information entre par le rez-de-chaussée.
• Elle monte étage par étage.
• À chaque étage, une équipe de "chercheurs" (les neurones) traite l'info et la passe à l'étage du dessus.

L'astuce de l'article :
Les chercheurs ont créé un outil qui mesure l'accord entre chaque étage.

• Si l'étage 5 et l'étage 20 sont d'accord sur la direction à prendre, c'est bon signe.
• S'ils se contredisent violemment (l'un dit "gauche", l'autre "droite"), c'est le signe que l'IA est perdue et qu'elle va probablement halluciner.

Ils appellent cela une "Carte d'Accord" (Signature Map). C'est une petite grille qui résume la conversation entre tous les étages de l'immeuble.

3. Pourquoi c'est génial ? (L'analogie du résumé)

• Avant (Sondage) : C'était comme demander à un traducteur de lire tout le livre original (les données brutes) pour vous dire s'il y a une erreur. C'est lent et lourd.
• Maintenant (Méthode de l'article) : C'est comme demander à un éditeur de lire un résumé de 2 pages (la carte d'accord) qui résume parfaitement l'histoire.
  • C'est rapide (une seule lecture).
  • C'est léger (ça ne prend pas de place).
  • C'est fiable : même si on change de livre (de sujet), le résumé reste utile pour détecter les incohérences.

4. Les résultats concrets

Les chercheurs ont testé leur méthode sur plusieurs IA célèbres (Llama, Mistral, Qwen) et sur plein de sujets différents (médecine, cinéma, mathématiques).

• Résultat 1 : Quand l'IA est sur son terrain habituel, leur méthode fonctionne aussi bien que les méthodes complexes existantes.
• Résultat 2 (Le plus important) : Quand on change de sujet (par exemple, passer de la cuisine à l'astrophysique), leur méthode est bien meilleure. Elle ne se trompe pas aussi facilement que les autres.
• Résultat 3 : Même si on "compresse" l'IA pour la rendre plus rapide (en réduisant sa précision), leur méthode reste solide.

En résumé

Cette recherche nous donne un thermomètre de confiance pour les IA.
Au lieu de regarder ce que l'IA dit (la réponse), on regarde comment elle pense (l'accord entre ses différentes couches). C'est une méthode simple, rapide et robuste qui permet de savoir quand une IA est en train de se tromper, même si elle semble très sûre d'elle.

C'est comme si on apprenait à l'IA à dire : "Je ne suis pas sûr, car mes étages internes ne sont pas d'accord", avant même qu'elle ne commette l'erreur.

Résumé technique

1. Problématique

Les Grands Modèles de Langage (LLM) sont de plus en plus déployés dans des domaines critiques où les erreurs peuvent avoir des conséquences tangibles. Cependant, ces modèles souffrent souvent d'un problème de miscalibration : ils produisent des réponses incorrectes (hallucinations) avec un haut niveau de confiance.

Les méthodes existantes pour estimer l'incertitude (Uncertainty Estimation - UE) présentent des limites majeures :

• Heuristiques basées sur la sortie (ex : entropie, marge) : Peu coûteuses mais fragiles, elles échouent souvent sous des décalages de distribution (distribution shift) et confondent la forme lexicale avec la confiance sémantique.
• Méthodes bayésiennes (ex : MC Dropout, ensembles) : Plus expressives mais computationnellement prohibitives à grande échelle, nécessitant plusieurs passages avant.
• Sondage interne (Probing) : Bien que efficaces pour extraire des signaux de vérité depuis les représentations internes, les sondes traditionnelles reposent sur des vecteurs cachés de haute dimension, sont souvent spécifiques à une tâche et difficiles à transférer d'un jeu de données à l'autre.

L'objectif est de développer une méthode d'estimation d'incertitude légère, compacte, transférable et basée sur une seule passe avant (single forward pass), capable de capturer des signaux internes structurés sans modifier l'architecture du modèle.

2. Méthodologie

L'approche proposée, nommée Signatures, exploite les relations statistiques entre les représentations des différentes couches du modèle pour construire une signature d'incertitude. Le pipeline se déroule en trois étapes principales :

1. Transformation des activations en distributions de probabilité :
   Pour chaque token pertinent (ex : token de réponse), les activations post-MLP de chaque couche $\ell$ ($h^{(t)}_\ell$) sont transformées en distributions de probabilité via un softmax échelonné par une température $\tau$ :
   $$p^{(t)}_\ell = \text{Softmax}\left(\frac{h^{(t)}_\ell}{\tau}\right)$$
   Cela rend les vecteurs d'activation comparables via des mesures de distance probabiliste.

2. Construction de cartes de signatures par divergence KL :
   Au lieu d'analyser les couches individuellement, la méthode calcule une matrice de divergence dirigée entre toutes les paires de couches. Pour un token $t$, une matrice $S^{(t)}$ de taille $L \times L$ (où $L$ est le nombre de couches) est générée :
   $$S^{(t)}_{ij} = D_{KL}(p^{(t)}_i \parallel p^{(t)}_j)$$
   Cette matrice capture les schémas d'accord et de désaccord entre les couches. Une transformation de contraste optionnelle est appliquée pour améliorer la dynamique de la carte avant d'être aplatie en un vecteur de caractéristiques $z$.

3. Estimation via un classifieur léger :
   Un modèle de Gradient Boosted Decision Tree (LightGBM) est entraîné sur ces cartes de signatures pour prédire la probabilité que la réponse du modèle soit correcte. L'incertitude est simplement définie comme $u(x) = 1 - q(x)$, où $q(x)$ est la probabilité de justesse prédite.

Concept clé : Cette méthode se situe entre le sondage classique et la perspective du Goulot d'Information (Information Bottleneck). Elle utilise la structure locale des représentations sans tenter d'estimer des informations mutuelles globales (impraticables en temps réel) ni dépendre de vecteurs cachés bruts de haute dimension.

3. Contributions Clés

1. Signatures informationnelles par couche : Introduction de cartes de signatures basées sur la divergence KL dirigée entre les couches, offrant une représentation structurée et compacte des activations neuronales aux tokens pertinents.
2. Estimateur compact : Un classifieur LightGBM entraîné sur ces cartes permet d'obtenir un score par instance sans modifications architecturales ni multiples passages avant. La dimension de la représentation est $L^2$, ce qui est bien inférieur à la dimension cachée $d_{hidden}$ des LLM modernes.
3. Suite d'évaluation complète : Évaluation sur trois modèles (Llama-3.1-8B, Qwen3-14B-Instruct, Mistral-7B-Instruct-v0.3) et plusieurs jeux de données (MMLU, TriviaQA, HotpotQA, etc.), incluant des tests de transfert inter-tâches et de robustesse à la quantification.

4. Résultats Expérimentaux

Les expériences comparent la méthode "Signatures" aux sondes linéaires (probing) traditionnelles.

• Performance intra-distribution (In-distribution) :
  La méthode atteint des performances comparables au sondage sur les mêmes données d'entraînement et de test. Elle présente un léger compromis : un score AUPRC (Area Under Precision-Recall Curve) légèrement inférieur (différence moyenne de -1,8 points), mais une meilleure calibration des probabilités, se traduisant par un score Brier supérieur (différence de +4,9 points).

• Transfert inter-distribution (Cross-dataset) :
  C'est ici que la méthode excelle. Lors du transfert d'une tâche à une autre (entraînement sur X, test sur Y), les signatures surpassent systématiquement le sondage.

  • Gain AUPRC jusqu'à +2,86 points.
  • Gain Brier jusqu'à +21,02 points.
    Cela suggère que les signatures capturent des propriétés agnostiques de la tâche concernant l'accord entre les couches, contrairement aux sondes qui surajustent aux indices spécifiques d'une tâche.

• Robustesse à la quantification (4-bit) :
  La méthode reste robuste face à la quantification des poids (4-bit), surpassant le sondage de +1,94 points AUPRC et +5,33 points Brier en moyenne. Les signaux structurés de divergence entre couches semblent moins sensibles à la réduction de précision que les activations brutes.

• Complexité et Efficacité :
  La dimensionnalité de la représentation utilisée par la méthode est de l'ordre de $L^2$ (ex: $1024^2$ pour un modèle de 1024 couches), ce qui est plusieurs ordres de grandeur plus petit que les méthodes basées sur l'ensemble des tokens et des dimensions cachées (ex: ACT-ViT ou LOS-NET), tout en maintenant des performances compétitives.

5. Signification et Conclusion

Ce travail démontre que l'information sur la justesse d'une prédiction dans un LLM est encodée non seulement dans les activations brutes, mais surtout dans la dynamique de l'accord entre les couches.

• Avantages pratiques : La méthode offre un moyen léger et efficace d'estimer l'incertitude, permettant des applications comme l'abstention (refus de répondre), le triage des réponses et la calibration, sans coût computationnel supplémentaire significatif.
• Interprétabilité : Les cartes de signatures offrent une nouvelle fenêtre d'observation sur la mécanique interne des modèles. L'analyse des attributions révèle des différences architecturales (ex: Mistral montre un déclin monotone de l'importance avec la distance entre couches, tandis que Qwen montre des interactions à longue portée), offrant un pont entre l'estimation d'incertitude "boîte noire" et l'interprétabilité mécanistique.
• Impact : En fournissant des signaux d'incertitude transférables et robustes, cette méthode contribue à rendre le déploiement des LLM plus sûr et plus fiable, en particulier dans des environnements où les données peuvent varier ou où les ressources de calcul sont limitées (quantification).

En résumé, l'article propose une approche élégante qui transforme la complexité des représentations internes en une signature compacte et interprétable, surpassant les méthodes actuelles en termes de généralisation et de robustesse.