💬 NLP

Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

Cet article propose une méthode novatrice pour quantifier l'incertitude des grands modèles de langage en entraînant un modèle de régression sur des cartes d'attention, des probabilités de tokens et des scores d'incertitude calculés de manière récurrente afin de détecter efficacement les hallucinations et d'améliorer la génération sélective sur plusieurs jeux de données et modèles.

Auteurs originaux : Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous écoutez un robot très intelligent et qui parle vite vous raconter une histoire. Le robot est excellent pour inventer des phrases, mais il arrive parfois qu'il soit confiant à propos de choses qui sont en réalité fausses (on appelle cela des « hallucinations »).

Le problème, c'est que le robot ne sait pas qu'il ment. Il continue simplement de parler, et s'il fait une erreur au début, il devient encore plus confiant au fur et à mesure qu'il construit le reste de l'histoire sur la base de cette erreur. C'est comme un jeu de « téléphone arabe » où la première personne chuchote un fait erroné, et où tout le monde le répète avec une confiance croissante.

Le Problème : Le Point Aveugle du Robot
Les méthodes actuelles pour vérifier si le robot ment examinent généralement le « score de confiance » du robot pour chaque mot qu'il prononce. Mais cela est délicat. Si le robot dit : « Le ciel est vert », il peut toujours se sentir très confiant à propos du mot suivant, « herbe », car il suit simplement sa propre logique. Il ne réalise pas que toute la phrase est construite sur un mensonge.

Les auteurs de cet article appellent cela le problème de la « dépendance conditionnelle ». La confiance du robot pour le mot suivant dépend entièrement du mot précédent, même si ce mot précédent était une erreur.

La Solution : TAD (Dépendance Basée sur l'Attention Apprenable)
Les chercheurs ont créé un nouvel outil appelé TAD. Imaginez TAD comme un éditeur sur-intelligent assis à côté du robot, le regardant écrire un mot à la fois.

Voici comment l'éditeur fonctionne, en utilisant quelques analogies simples :

Le « Regard » (Attention) : Lorsque le robot parle, il « regarde » les mots précédents pour décider quoi dire ensuite. Les chercheurs ont réalisé que lorsque le robot dit la vérité, son « regard » (attention) est stable et concentré. Mais lorsqu'il commence à halluciner, son regard devient vacillant ou confus. TAD observe ce regard de près.
La « Réaction en Chaîne » (Récurrence) : L'éditeur ne regarde pas seulement le mot actuel. Il se souvient de l'incertitude des mots précédents. Si le robot a trébuché sur le mot n°1, l'éditeur signale les mots n°2, n°3 et n°4 comme suspects, même si le robot semble confiant à leur égard. C'est comme un professeur qui sait que si un élève se trompe dès la première étape d'un problème de mathématiques, la réponse finale est probablement fausse aussi, peu importe la propreté avec laquelle l'élève a écrit sa solution.
L'« Entraînement en Deux Étapes » : Pour enseigner cet éditeur, les chercheurs ont utilisé un processus en deux étapes.
- Étape 1 : Ils ont appris à l'éditeur à repérer les erreurs en utilisant uniquement la confiance brute du robot.
- Étape 2 : Ils ont laissé l'éditeur utiliser son propre « instinct » issu de l'étape 1 pour l'aider à apprendre encore mieux. C'est comme pratiquer un sport : d'abord vous apprenez les mouvements de base, puis vous jouez un match complet où vous devez réagir à vos propres mouvements précédents.

Comment Ils L'Ont Testé
Ils ont testé cet éditeur sur dix types de tâches différents, allant de la synthèse d'articles de presse à la réponse à des questions pièges de culture générale, en utilisant trois versions différentes du robot (LLaMA, Gemma et Qwen).

Le Résultat : TAD était bien meilleur pour attraper les mensonges du robot que toute autre méthode qu'ils avaient essayée. Il était particulièrement efficace pour repérer quand une longue histoire déraillait.
L'Efficacité : Contrairement à d'autres méthodes qui obligent le robot à « réfléchir » à la réponse cinq fois différentes (ce qui est lent et coûteux), TAD est très rapide. Il ajoute seulement environ 5 % de temps supplémentaire au processus de réflexion du robot. C'est comme ajouter un rapide second coup d'œil au lieu de demander au robot de réécrire toute l'histoire.

La Conclusion
L'article affirme qu'en apprenant à un modèle informatique à prêter attention à la façon dont le robot regarde ses propres mots précédents, et en se souvenant des erreurs commises plus tôt dans la phrase, nous pouvons construire un bien meilleur « détecteur de mensonges » pour l'IA. Cela rend l'IA plus sûre et plus fiable, en particulier pour les réponses longues, sans trop ralentir les choses.

Ce Que L'Article NE Prétend PAS

Il ne prétend pas que cela fonctionne pour tous les types d'IA dans toutes les situations (il a été testé sur des modèles et des tâches spécifiques).
Il ne prétend pas que c'est un outil médical ou un juge juridique.
Il ne prétend pas que l'IA ne fera plus jamais d'erreurs ; il prétend simplement que cet outil est meilleur pour repérer les erreurs afin qu'elles puissent être filtrées.

1. Énoncé du problème

Les grands modèles de langage (LLM) sont sujets à la génération d'hallucinations et de sorties de faible qualité. La quantification de l'incertitude (UQ) est un mécanisme critique pour détecter ces erreurs, généralement en attribuant un score de confiance au texte généré. Cependant, les méthodes UQ existantes font face à une limitation fondamentale : la dépendance conditionnelle.

Le problème central : Les LLM génèrent du texte de manière autoregressive (token par token). La probabilité du token actuel $y_i$ est conditionnée par tous les tokens précédents $y_{<i}$ . Si un token précoce est une hallucination (une erreur), le modèle le traite comme une vérité terrain pour les étapes suivantes. Par conséquent, le modèle génère les tokens subséquents avec une grande confiance, même si l'ensemble de la séquence est erronée.
Le fossé : Les méthodes UQ standards calculent l'incertitude basée sur la probabilité conditionnelle immédiate $p(y_i | y_{<i})$ . Elles échouent à propager l'incertitude des étapes précédentes. Si le premier token est faux mais que le modèle est confiant dans le prochain token étant donné ce contexte erroné, l'ensemble de la séquence est jugé « sûr », conduisant à des hallucinations non détectées.
Limitations actuelles : Les tentatives précédentes pour modéliser cette dépendance reposent sur des heuristiques (par exemple, pénaliser les scores basés sur l'attention maximale précédente) ou nécessitent un échantillonnage coûteux en calcul (génération de multiples sorties pour vérifier la cohérence).

2. Méthodologie : Dépendance basée sur l'attention entraînable (TAD)

Les auteurs proposent TAD, une approche supervisée et pilotée par les données pour apprendre l'incertitude « inconditionnelle » d'un token en modélisant les dépendances complexes entre les étapes de génération.

A. Concept central

Au lieu de se fier uniquement à la probabilité conditionnelle brute du LLM, TAD apprend une fonction de régression $C(\cdot)$ qui estime la confiance inconditionnelle d'un token $y_i$ . Cette fonction intègre :

Probabilités de l'étape actuelle : Les probabilités des tokens $p(y_i | y_{<i})$ fournies par le LLM.
Cartes d'attention : Les poids d'attention du token actuel vers les tokens précédents, qui encodent le focus interne du modèle et la structure de dépendance.
Incertitude récurrente : Les scores de confiance inconditionnelle estimés des tokens précédents ( $C_{<i}$ ).

La formulation est :
$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$

B. Procédure d'entraînement (deux étapes)

Puisque la variable cible (la confiance inconditionnelle) dépend de la sortie du modèle lui-même (récurrence), les auteurs emploient une procédure d'entraînement en deux étapes :

Étape 1 : Entraîner un modèle de régression en utilisant uniquement les probabilités des tokens actuels et les poids d'attention. La cible pour le premier token est la similarité sémantique entre la séquence générée et la vérité terrain. Pour les tokens subséquents, la cible reste la similarité avec la vérité terrain, mais le modèle apprend à prédire en se basant sur les caractéristiques immédiates.
Étape 2 : Réentraîner le modèle en utilisant les prédictions de l'Étape 1 comme caractéristiques. Plus précisément, les « scores d'incertitude calculés de manière récurrente » des étapes précédentes (prédits par le modèle de l'Étape 1) sont injectés dans le modèle de l'Étape 2. Cela permet au modèle d'apprendre comment propager l'incertitude à travers la séquence.

C. Ingénierie des caractéristiques

Cibles : La vérité terrain pour l'entraînement est dérivée de la similarité sémantique (en utilisant des métriques comme COMET, AlignScore ou la Précision) entre la séquence générée complète et la réponse de référence.
Entrées : Pour chaque token $y_i$ , le vecteur de caractéristiques inclut les poids d'attention vers les $N$ tokens précédents, leurs probabilités conditionnelles, et la confiance inconditionnelle estimée de ces tokens précédents.

D. Inférence

Pendant l'inférence, TAD traite les tokens de manière séquentielle. Pour le premier token, il utilise la probabilité brute. Pour les tokens subséquents, il calcule récursivement la confiance inconditionnelle en utilisant la fonction apprise $C$ , en agrégeant ces scores au niveau du token (via la moyenne ou la somme logarithmique) pour produire un score d'incertitude au niveau de la séquence.

3. Contributions clés

Approche supervisée novatrice : TAD est la première méthode à apprendre explicitement la dépendance conditionnelle entre les étapes de génération en utilisant un modèle de régression supervisé entraîné sur des cartes d'attention et des scores d'incertitude récurrents.
Intégration de caractéristiques récurrentes : L'article démontre que l'intégration de scores d'incertitude calculés de manière récurrente est essentielle pour une UQ précise, propageant efficacement le « risque » des erreurs précoces à l'ensemble de la séquence.
Entraînement en deux étapes : Les auteurs introduisent un protocole d'entraînement spécifique pour gérer la dépendance circulaire de la prédiction de l'incertitude basée sur des prédictions d'incertitude précédentes, évitant le surapprentissage et améliorant la convergence.
Efficacité : Contrairement aux méthodes basées sur l'échantillonnage (par exemple, l'entropie sémantique) qui nécessitent plusieurs passes avant, TAD ajoute une surcharge computationnelle minimale (environ 5 % par rapport à l'inférence standard) car il utilise une régression linéaire légère ou un MLP au-dessus d'une seule passe avant.

4. Résultats expérimentaux

Les auteurs ont évalué TAD sur 10 jeux de données (couvrant la synthèse de documents, la traduction automatique et diverses tâches de QA) et 3 LLM (LLaMA-3.1 8B, Gemma-2 9B, Qwen-2.5 7B).

Performance : TAD a obtenu les meilleures performances globales sur tous les modèles et jeux de données.
- Il a nettement surpassé les méthodes non supervisées de l'état de l'art (par exemple, la perplexité, l'entropie sémantique) et les bases de référence supervisées (par exemple, LookBackLens, SATRMD, Sheeps).
- Sur le jeu de données TruthfulQA, TAD a amélioré le ratio de rejet des prédictions (PRR) de 0,045 par rapport à la deuxième meilleure base de référence.
- Sur MedQUAD, il a surpassé le deuxième classé de 0,077 PRR.
Études d'ablation :
- Caractéristiques : La suppression des poids d'attention ou des caractéristiques récurrentes a considérablement dégradé les performances, confirmant que les deux sont critiques.
- Entraînement : La procédure d'entraînement en deux étapes s'est révélée essentielle ; une approche en une seule étape n'a pas réussi à capturer les dépendances nécessaires.
- Couches : Les poids d'attention des couches intermédiaires se sont avérés les plus informatifs, bien que les première et dernière couches aient également contribué.
Généralisation : TAD a montré une généralisation hors domaine (OOD) prometteuse. Alors que la plupart des méthodes supervisées échouaient lorsqu'elles étaient entraînées sur des QA et testées sur de la synthèse ou de la traduction, TAD a maintenu des performances robustes, surpassant les bases de référence sur des domaines QA non vus.
Efficacité : TAD n'a introduit qu'une surcharge d'exécution de 5 %, tandis que les méthodes basées sur l'échantillonnage (comme l'entropie sémantique) entraînaient une surcharge de 400 à 600 %.

5. Importance et conclusion

Cet article aborde un angle mort critique dans la sécurité des LLM : l'incapacité des métriques d'incertitude standards à détecter les erreurs en cascade causées par des hallucinations précoces.

Impact pratique : TAD offre une solution efficace en calcul, prête à l'emploi, pour la génération sélective (rejet des sorties de faible qualité). Elle permet un déploiement plus sûr des LLM dans des applications à haut risque sans le coût prohibitif de la vérification par échantillonnage.
Insight théorique : Ce travail valide que les cartes d'attention contiennent des informations riches sur les dépendances conditionnelles des étapes de génération, et que ces dépendances peuvent être apprises pour estimer la « véracité » inconditionnelle.
Voies futures : Les auteurs suggèrent d'étendre TAD à la génération augmentée par la récupération (RAG) pour évaluer la crédibilité des preuves récupérées, améliorant ainsi davantage la fiabilité des applications de LLM axées sur la connaissance.

En résumé, TAD représente une avancée significative pour rendre les LLM plus fiables en passant de vérifications de probabilité statiques au niveau des tokens à une estimation dynamique et consciente du contexte de l'incertitude, qui comprend la « chaîne de pensée » et son potentiel de propagation d'erreurs.