💻 computer science

Forecasting the Onset of Hallucination: Causal, Token-Level, Black-Box Survival Analysis During Generation

Cet article introduit un cadre d'analyse de survie causal au niveau du jeton qui prévoit avec succès l'apparition des hallucinations dans les grands modèles de langage avant qu'elles ne surviennent, atteignant un AUROC de 0,777 en détectant la dérive de nouveauté textuelle et en fournissant des avertissements environ 11 jetons plus tôt que les détecteurs post-hoc traditionnels.

Auteurs originaux : Igor Itkin

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Igor Itkin

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un spectacle de magie où le magicien (un IA géante) raconte une histoire. Habituellement, quand le magicien commence à mentir — en inventant des faits qui n'existent pas dans le script — nous appelons cela une « hallucination ».

Pendant longtemps, la seule façon de prendre le magicien en flagrant délit était d'attendre qu'il dise réellement le mensonge, de pointer du doigt et de dire : « Hé, arrête ! C'est faux ! » Mais à ce moment-là, le public a déjà entendu le mensonge. C'est comme essayer de rattraper un vase qui tombe après qu'il a touché le sol ; on peut nettoyer le désastre, mais on ne peut pas réparer le vase brisé.

Cette publication pose une question audacieuse : Peut-on prédire le mensonge avant même que le magicien n'ouvre la bouche pour le dire ?

La boule de cristal contre le détecteur de fumée

Les auteurs ont construit une « boule de cristal » (un outil de prévision) qui observe l'histoire de l'IA pendant qu'elle est écrite, mot après mot. Ils l'ont comparée à un « détecteur de fumée » (l'ancienne méthode consistant à simplement attendre que le mensonge se produise).

Voici le tour de magie qu'ils ont découvert : L'IA ne passe pas brutalement de la « vérité » au « mensonge ». Au lieu de cela, elle commence lentement à dériver loin de la vérité, comme un bateau qui dévie de sa trajectoire avant de heurter les rochers.

L'ancienne méthode (Le détecteur) : Cet outil attend que l'IA commence à inventer des choses. Dans leurs tests, il a déclenché l'alarme 15 tokens (environ 15 mots) après le début du mensonge. Il est rapide, mais il est toujours en retard.
La nouvelle méthode (Le prévoyant) : Cet outil observe la « dérive » de l'IA. Il a remarqué qu'avant que l'IA ne commence à mentir, le texte devient étrangement nouveau et déconnecté de la source originale. Parce qu'il voit cette dérive, il peut déclencher l'alarme 11 tokens avant que le mensonge ne se produise réellement.

C'est un événement majeur. Cela signifie que le système peut vous avertir alors que le texte est encore vrai, vous donnant la chance d'arrêter l'IA avant qu'elle ne dise quoi que ce soit de faux.

Comment la boule de cristal voit-elle la dérive ?

Vous pourriez penser que l'IA commence à agir de manière nerveuse ou confuse juste avant de mentir. Vous pourriez vous attendre à ce que l'outil surveille le niveau de « surprise » de l'IA (à quel point l'IA est choquée par ses propres mots).

Mais l'article écarte cette hypothèse. Les auteurs ont découvert que l'IA n'est pas surprise avant de mentir. Au lieu de cela, le signal d'alerte provient de la nouveauté du texte.

Voyez cela comme un chanteur qui connaît parfaitement les paroles. Lorsqu'il commence à dériver vers une chanson imaginaire, il ne devient pas soudainement nerveux ; il commence simplement à chanter des notes de plus en plus différentes de la partition originale. L'outil mesure à quel point les mots deviennent « nouveaux » et « hors contexte » par rapport à la source. Quand les mots commencent à paraître trop frais et trop éloignés de l'histoire originale, l'outil sait qu'un mensonge se prépare.

Ce que l'outil ne peut pas faire (Le rappel à la réalité)

Les auteurs veillent à ne pas survendre leur invention. Voici ce qu'ils précisent explicitement que cet outil n'est pas :

Ce n'est pas un traducteur universel : Si vous entraînez cet outil sur des articles longs et détaillés (comme un résumé de Wikipédia) et que vous essayez ensuite de l'utiliser pour des questions courtes et rapides (comme un jeu de culture générale), il échoue complètement. En fait, il est moins performant qu'un choix aléatoire ! La « dérive » est différente selon le type de texte. L'outil ne fonctionne que si vous l'entraînez spécifiquement sur le type de texte qu'il surveille.
Ce n'est pas une solution miracle pour arrêter les mensonges : Les auteurs ont mené une simulation où ils ont simplement dit à l'IA de « s'arrêter de parler » dès que l'alarme sonne. Ils ont constaté que l'ancien « détecteur de fumée » (qui attend le mensonge) était en fait meilleur pour économiser des mots. Pourquoi ? Parce que le nouvel outil arrête parfois l'IA trop tôt, coupant des phrases bonnes et vraies simplement parce qu'elles semblaient un peu « dérivantes ». Le temps d'avance n'est utile que si vous avez un moyen de corriger la phrase (comme la réécrire) plutôt que de simplement supprimer toute la chose.
Il ne lit pas dans l'esprit de l'IA : L'outil n'a pas besoin de voir le code interne du cerveau de l'IA. Il regarde seulement les mots qui sortent, ce qui en fait un outil de type « boîte noire » qui fonctionne avec n'importe quelle IA.

Les chiffres derrière la magie

Ils ont testé cela sur un ensemble de données massif appelé RAGTruth. Voici ses performances :

Lorsqu'il prédisait un mensonge dans les 3 mots suivants, l'outil était correct 77,7 % du temps (un score de 0,777).
Même en observant un seul document spécifique où l'IA ment, l'outil pouvait repérer le mensonge imminent 68,7 % du temps, prouvant qu'il ne se contentait pas de deviner quels documents étaient mauvais, mais qu'il repérait réellement le moment où le mensonge allait commencer.
L'outil a réussi à prévenir 11 tokens avant le mensonge, tandis que l'ancien détecteur attendait 15 tokens après.

L'essentiel

Cette publication prouve que nous pouvons voir venir une hallucination, mais seulement si nous surveillons la « dérive » du texte, et non la confusion de l'IA. C'est comme remarquer qu'une voiture dévie légèrement de sa voie avant de s'écraser, plutôt que d'attendre l'accident.

Cependant, ce n'est pas encore un problème résolu. L'outil est très spécifique au type de texte sur lequel il est entraîné, et simplement arrêter l'IA lorsque l'alerte retentit n'est pas toujours la meilleure solution. Mais pour la première fois, nous avons un moyen de voir le mensonge arriver alors que l'histoire est encore vraie.

Résumé technique : Prévoir l'apparition des hallucinations

Formulation du problème
Les détecteurs d'hallucinations actuels au niveau du jeton (token) opèrent de manière réactive, signalant les fausses affirmations seulement après qu'elles ont été générées. Une analyse complémentaire réalisée par les auteurs a établi une borne de délai théorique d'environ 1,3 jeton pour tout détecteur réagissant à un point de rupture (change-point), ce qui signifie que la détection intervient intrinsèquement après le début de l'hallucination. Cet article traite de la question de savoir si l'apparition d'une hallucination peut être prédite avant qu'elle ne se produise. La tâche est formulée comme une analyse de survie en temps discret : traiter le début d'un segment halluciné comme un « événement de défaillance » sur l'ensemble des risques composé des jetons actuellement fidèles. L'objectif est de calculer un risque (hazard) par jeton — la probabilité qu'une apparition se produise dans les $k$ prochains jetons — en utilisant uniquement des caractéristiques causales et compatibles avec un flux continu (streaming-safe) disponibles jusqu'au jeton actuel $t$ .

Méthodologie
Le cadre proposé repose sur un pipeline causal, boîte noire, au niveau du jeton, conçu pour un déploiement pendant la génération :

Audit des caractéristiques causales : Les auteurs utilisent un flux de 33 caractéristiques dérivées de travaux antérieurs, mais effectuent un audit causal strict pour éliminer les composantes présentant une « fuite du futur » (future-leaking). Les caractéristiques normalisées par la longueur totale de la sortie (ex: position, nombre de phrases) ou calculées à partir de phrases incomplètes (ex: caractéristiques NLI) sont écartées. Cela laisse 24 caractéristiques compatibles avec le flux : 18 caractéristiques textuelles (fenêtres de nouveauté, chevauchement de n-grammes, drapeaux d'entités) et 6 caractéristiques de modèle de langage (log-probabilité, entropie).
Architecture du modèle : Le prédicteur emploie un réseau récurrent à sens unique (un GRU à deux couches avec une largeur de couche cachée de 64) pour lire l'historique des caractéristiques causales. Une tête de risque (hazard head) produit un logit pour plusieurs horizons ( $k \in \{1, 3, 5, 10\}$ ), représentant la probabilité d'une apparition dans les $k$ prochains jetons.
Entraînement : Le modèle est entraîné avec une perte de cross-entropie binaire multi-horizon masquée sur l'ensemble des risques (jetons fidèles uniquement), avec des poids ajustés pour la rareté des apparitions aux horizons plus longs.
Évaluation : La performance est mesurée via l'AUROC et la PR-AUC. Crucialement, les auteurs distinguent l'AUROC global (qui confond le risque au niveau du document avec le timing) de l'AUROC intra-document (qui isole le signal temporel en évaluant uniquement sur des documents connus pour halluciner).

Résultats clés

Prévisibilité : L'apparition est prévisible à chaque horizon. Sur le corpus RAGTruth, le prédicteur récurrent atteint un AUROC de 0,777 ± 0,002 à l'horizon $k=3$ (prédisant une apparition dans les trois prochains jetons). C'est 12 points de plus qu'une ligne de base logistique de risque ponctuel, ce qui indique la valeur de la lecture de la trajectoire des caractéristiques.
Source du signal : Le signal d'alerte précoce est identifié comme étant la dérive de la nouveauté textuelle, et non la surprisal du modèle de langage. Les modèles utilisant uniquement les 18 caractéristiques textuelles égalent la performance de l'ensemble causal complet, tandis que les caractéristiques de modèle de langage seules sont en retrait. Le signal reflète le fait que le modèle s'éloigne progressivement de son contexte source avant que l'hallucination ne commence, plutôt qu'un pic local d'incertitude.
Délai négatif : Comparé à un détecteur de point de rupture compagnon à un budget de faux positifs égal ( $\alpha=10^{-3}$ ), le prédicteur atteint un délai négatif. Le prédicteur avertit un délai médian de 11 jetons avant l'apparition, alors que le détecteur se déclenche un délai médian de 15 jetons après. Cela réalise un délai négatif structurellement interdit pour les détecteurs.
Modèles nuls : Le signal n'est pas simplement l'autocorrélation des apparitions passées (un modèle nul de capacité équivalente utilisant uniquement l'historique des apparitions et l'horloge a obtenu un AUROC de 0,65, nettement inférieur au prédicteur basé sur le contenu) ni une auto-excitation (un processus de Hawkes n'a rien ajouté par rapport à un modèle de covariables).
Spécificité du domaine : La capacité de prédiction est spécifique au domaine. Le modèle échoue en zéro-shot lorsqu'il est transféré de RAGTruth (RAG de long format) à PsiloQA (QA de court format), inversant sa performance pour descendre sous le niveau du hasard ; cependant, lorsqu'il est réentraîné sur le domaine PsiloQA, il retrouve une performance élevée (0,74–0,79 AUROC), alors que les signaux de détection se transfèrent partiellement.

Signification et revendications
L'article affirme que la prévision de l'apparition des hallucinations est une tâche distincte et orthogonale à la détection. Alors que les prédicteurs au niveau du prompt peuvent identifier quelles générations sont risquées, et que les détecteurs peuvent identifier qu'une hallucination a commencé, seul ce prédicteur identifie quand et où, à l'intérieur d'une génération, le risque devient une apparition.

Les auteurs soulignent que le mécanisme pilotant la prévision est une dérive graduelle de la nouveauté textuelle par rapport à la source, plutôt qu'un changement d'état abrupt. Par conséquent, le temps d'avance fourni par le prédicteur est particulièrement précieux pour les interventions qui doivent avoir lieu avant l'émission du jeton faux (ex: régénérer un segment, contraindre le décodage ou orienter le modèle). Pour les politiques d'arrêt simples (interrompre la génération), les auteurs notent qu'un détecteur post-apparition peut être plus efficace en termes de jetons, car il évite de couper des jetons fidèles avant que l'erreur ne survienne. L'article conclut que bien que l'alerte précoce existe et atteigne un délai négatif, réaliser une réduction des taux d'hallucination nécessite un accès en direct au décodeur et des stratégies d'intervention spécifiques, ce qui dépasse le cadre de cette étude hors ligne.

La boule de cristal contre le détecteur de fumée

Comment la boule de cristal voit-elle la dérive ?

Ce que l'outil ne peut pas faire (Le rappel à la réalité)

Les chiffres derrière la magie

L'essentiel

Articles similaires