💻 computer science

Turbulence Is Not What You Need to Detect Hallucinations

Malgré l'attrait théorique de considérer les hallucinations comme des instabilités dynamiques dans les grands modèles de langage, cet article démontre que les représentations statiques sont bien plus efficaces pour la détection, car l'ajout de caractéristiques dynamiques n'apporte aucune amélioration statistiquement significative par rapport à de simples sondes linéaires.

Auteurs originaux : Igor Itkin

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Igor Itkin

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme une immense rivière magique coulant à travers un canyon de couches. Pendant longtemps, les chercheurs ont eu une idée très séduisante : que lorsque le modèle commence à « halluciner » (inventer des choses), la rivière devient turbulente. Ils pensaient que l'eau commencerait à tourbillonner, à tourner et à perdre sa stabilité, créant un flux chaotique qu'un détecteur pourrait repérer.

Cet article, écrit par le chercheur indépendant Igor Itkin, décide de tester cette idée avec une règle scientifique très stricte. La réponse courte est la suivante : la rivière peut bien tourbillonner, mais vous ne pouvez pas utiliser les tourbillons pour attraper les menteurs.

Voici l'histoire de ce qu'ils ont trouvé, décomposée en une vue d'ensemble, le « démenti des mythes » et l'endroit où la véritable magie opère réellement.

L'idée générale : La rivière contre le cliché instantané

Considérez le cerveau du modèle comme une rivière. À mesure que la rivière s'écoule (le modèle génère du texte), elle transporte un « flux résiduel » (residual stream) — une somme cumulée de tout ce qui s'est passé jusqu'à présent.

L'ancienne théorie : Si la rivière devient trop agitée (turbulente), le modèle hallucine. Si nous mesurons la vitesse à laquelle l'eau tourne ou la façon dont elle dérive, nous pouvons attraper le mensonge.
Le test de l'article : Les chercheurs ont construit un détecteur qui regardait deux choses :
1. Le cliché (Snapshot) : Une image unique, figée, de l'eau à un moment précis (la représentation statique).
2. Le flux (Flow) : L'historique de la façon dont l'eau s'est déplacée pour arriver là (la trajectoire dynamique).

Ils ont demandé : Savoir comment l'eau a bougé nous aide-t-il à repérer un mensonge mieux que de simplement regarder l'eau en ce moment même ?

Le verdict : Non.
Lorsqu'ils ont comparé les deux, le « flux » n'a presque rien ajouté.

Un détecteur regardant uniquement le cliché a obtenu un score de 0,83 (une performance très forte).
L'ajout de toutes les données complexes de « turbulence » (tourbillons, dérive, taux d'expansion) n'a modifié le score que de +0,004.
Statistiquement, il s'agit d'un résultat nul. L'intervalle de confiance était de [-0,011, +0,020], et la p-valeur était de 0,30. En clair : les données supplémentaires n'étaient que du bruit. La lentille de la turbulence est un excellent moyen de comprendre comment le modèle fonctionne, mais ce n'est pas un moyen de détecter les hallucinations.

Ce qu'ils ont écarté (La liste des « Non »)

L'article est très prudent pour démolir certaines idées populaires qui semblaient fonctionner, mais qui n'étaient en réalité que des illusions.

Le piège de la « base faible » (Weak Baseline) :
Auparavant, certains tests montraient que les caractéristiques de turbulence aidaient effectivement. Mais les chercheurs se sont rendu compte que ces tests comparaient la turbulence à une « base faible » (une supposition simple basée sur la position du mot et la probabilité). C'est comme dire qu'un radar sophistiqué est incroyable parce qu'il a trouvé un oiseau mieux qu'une personne essayant de deviner où se trouvent les oiseaux.

Le rappel à la réalité : Lorsqu'ils ont comparé la turbulence à la base forte (le cliché lui-même), l'avantage a disparu. La turbulence n'ajoutait rien de nouveau ; elle semblait simplement bonne parce que la compétition était faible.

L'illusion du « télescopage » :
Une façon de mesurer la turbulence est de regarder la vitesse à laquelle l'eau s'étend. Les chercheurs ont découvert qu'une méthode courante pour calculer cela (un « exposant de Lyapunov à temps fini ») était défectueuse. C'était comme un tour de mathématiques où tous les nombres du milieu s'annulaient, ne laissant que le début et la fin. Cela donnait l'impression de mesurer toute la rivière, alors qu'en réalité, cela ne mesurait que le début et la fin. Ils ont corrigé cela, et le « signal de turbulence » a disparu.
Le tour de force de la « génération libre » :
Ils ont testé si le modèle devient chaotique lorsqu'il génère réellement du texte (et non pas seulement lorsqu'il lit du texte fini). Ils ont trouvé que oui, le flux amplifie les petits changements (il est sensible). Mais même si la rivière tourbillonne physiquement, ce tourbillonnement ne vous donne pas un meilleur signal pour détecter un mensonge que le cliché ne le fait. La physique est réelle, mais le signal de détection ne l'est pas.

Où réside réellement le signal

Si la turbulence n'est pas la clé, où se cache le « détecteur de mensonges » ?

Les chercheurs ont trouvé que la réponse se trouve dans le cliché statique, plus précisément au milieu des couches du modèle.

L'emplacement : Le signal devient clair dans les couches intermédiaires à tardives du réseau (autour des couches 14 à 31 pour un modèle de 32 couches).
La forme : Il ne s'agit pas d'un seul « neurone de vérité » magique. C'est un circuit diffus. Imaginez une rumeur qui se propage dans une foule ; aucune personne ne l'est la source, mais tout le groupe connaît l'histoire. Dans le modèle, environ 10 % des composants supérieurs (neurones et têtes d'attention) portent le signal, et ils sont répartis.
Le bémol : Ce signal est spécifique à la tâche. Si le modèle écrit une histoire, le « détecteur de mensonges » sera différent de celui utilisé s'il répond à une question de mathématiques. La direction du signal change selon ce que fait le modèle.
- Exemple : Dans un modèle (Mistral-7B), le signal était spécifique à la tâche (la similitude cosinus entre les tâches était de seulement 0,03 à 0,42). Dans un autre modèle (Llama-2-7b), il était plus partagé (similitude cosinus autour de 0,8).
- Conclusion : Il n'existe pas d'interrupteur unique et universel de l'hallucination qui fonctionne pour chaque modèle et chaque tâche.

La preuve causale (L'expérience de pilotage)

Pour prouver qu'il ne s'agissait pas d'une simple coïncidence, ils ont tenté de « piloter » (steer) le modèle. Ils ont poussé l'état interne du modèle dans la direction du signal d'« hallucination ».

Le résultat : En poussant le modèle vers la direction de l'« hallucination », ils ont effectivement fait en sorte que le modèle produise un texte moins fidèle.
La force : L'effet était réel mais modeste. Lorsqu'ils ont utilisé un juge externe puissant pour vérifier le texte, l'amélioration de la détection des mensonges était faible. Le modèle ne s'est pas transformé instantanément en un menteur chaotique ; il est juste devenu légèrement moins honnête.
Le mécanisme : Ils ont utilisé un « théorème de décomposition » mathématique pour montrer que l'effet n'était pas seulement un changement statique ; c'était un effet propagé par le Jacobien. Cela signifie que le changement s'est produit parce que le signal a traversé les couches non linéaires du modèle, inversant les signes en cours de route (comme une ride qui se transforme en vague).

La conclusion finale

L'article conclut que l'idée de la « turbulence » est une belle métaphore pour comprendre comment les LLM fonctionnent, mais que c'est un outil de détection défaillant.

Ont-ils prouvé que la turbulence n'existe pas ? Non, le flux devient bien sensible.
Ont-ils prouvé que la turbulence aide à détecter les mensonges ? Non, l'article l'exclut explicitement avec un haut degré de confiance. La trajectoire n'ajoute que 0,004 au score de détection, ce qui est statistiquement indiscernable de zéro.
Qu'est-ce qui fonctionne ? Une simple sonde sur la représentation statique (le cliché) fonctionne le mieux, atteignant une AUC de 0,83.

Les auteurs nous mettent en garde contre la séduction des métaphores sophistiquées. Ce n'est pas parce que le fleuve interne d'un modèle ressemble à une tempête que la tempête est l'alarme. L'alarme sonne déjà dans le cliché statique et paisible.

L'essentiel à retenir : Si vous voulez attraper une hallucination, ne regardez pas la rivière tourbillonner. Prenez simplement une photo claire et nette de l'eau en ce moment. La photo vous dit tout ce que vous avez besoin de savoir.

Résumé technique : La turbulence n'est pas ce dont vous avez besoin pour détecter les hallucinations

Énoncé du problème

Les grands modèles de langage (LLM) sont des systèmes intrinsèquement non linéaires, ce qui mène à l'hypothèse que les hallucinations (sorties non fondées ou fabriquées) découlent d'une perte de stabilité dynamique dans le flux de calcul du modèle. Plus précisément, la « lentille de la turbulence » suggère que les générations hallucinées correspondent à un régime de « bord du chaos » ou de flux instable, où de petites perturbations d'entrée s'amplifient en écarts de sortie importants, se distinguant ainsi des régimes « laminaires » stables.

Bien que les comptes statistiques expliquent pourquoi les hallucinations sont inévitables en termes d'espérance, ils n'identifient pas si une génération spécifique est hallucinée au moment de sa production. La question de recherche centrale est la suivante : les signatures dynamiques de la trajectoire du flux résiduel (ex: taux d'expansion en temps fini, dérive, entropie spectrale) fournissent-elles des signaux détectables d'hallucination qui ne sont pas déjà capturés par la représentation statique de l'état caché ?

Méthodologie

Configuration expérimentale

L'étude utilise une configuration « fidèle » où les modèles sont évalués sur leur propre texte généré, garantissant que le flux résiduel reflète le processus de génération réel plutôt qu'un passage d'encodeur sur la sortie d'un autre modèle.

Jeux de données : Le benchmark principal est RAGTruth (segments de hallucination ancrés dans des tâches de données-vers-texte, QA et résumé). Un jeu de données secondaire, PsiloQA, est utilisé pour des vérifications inter-jeux de données.
Modèles : Les expériences couvrent plusieurs architectures et échelles, incluant Mistral-7B, Llama-2-7b/13b, et une grille de cinq modèles de l'ère 2026 (Phi-4, Mistral-Nemo, Gemma-4, Qwen3, Qwen3.6).
Étiquettes : Les segments de hallucination sont annotés selon le support de la source. Pour les modèles modernes sans étiquettes humaines, un juge LLM (Gemma-3-12B-it) est utilisé, calibré par rapport aux annotations humaines.

Extraction et comparaison de caractéristiques

L'article compare deux ensembles de caractéristiques pour la détection binaire d'hallucination :

STATIQUE : Une sonde sur la représentation statique (états cachés regroupés via PCA) plus un contrôle non supervisé faible (log-probabilités, niveaux de signal, position du jeton).
STATIQUE + DYNAMIQUE : Les caractéristiques statiques augmentées des signatures dynamiques extraites de la trajectoire du flux résiduel :
- Proxy d'expansion en temps fini : Une pente de moindres carrés des log-normes des incréments de trajectoire (un proxy pour les exposants de Lyapunov).
- Dérive : Dérive cumulative hors du « manifold laminaire ».
- Entropie spectrale et rang effectif : Mesures de la complexité de la forme de la trajectoire.
- Asymétrie d'expansion précoce : Différence entre les taux d'expansion précoces et tardifs.

Protocole d'évaluation

Métrique : Aire sous la courbe ROC (AUC).
Validation : Validation croisée groupée par réponse avec un bootstrap de 2000 rééchantillonnages pour éviter toute fuite de données entre les plis d'entraînement et de test.
Test décisif : L'expérience centrale mesure le gain marginal ( $\Delta$ AUC) de l'ajout de caractéristiques dynamiques à la sonde statique.
Contrôles :
- Baseline faible : Scores non supervisés (log-prob, etc.) pour tester si la dynamique aide par rapport à une baseline naïve.
- Baseline forte : La représentation statique elle-même (PCA des états cachés).
- Contrôle de dimensionnalité appariée : S'assurer que la sonde statique utilise le même nombre de composantes que les caractéristiques dynamiques pour exclure les artefacts de budget.
- Hypothèse nulle : Un « null d'influence appariée » (ablant les composantes top-k d'une direction aléatoire) est utilisé pour les tests causaux afin d'éviter une signification gonflée par des ensembles de composantes aléatoires à faible variance.

Analyse mécaniste

Sondage par couche : Identification de l'endroit où l'hallucination devient linéairement décodable à travers la profondeur du réseau.
Pilotage causal (Causal Steering) : Intervention sur le flux résiduel à la couche de pointe pour observer les effets en aval sur les signaux d'hallucination et la fidélité comportementale.
Attribution de circuit : Décomposition de la direction de l'hallucination en contributions des têtes d'attention individuelles et des neurones MLP.
Transfert inter-tâche/modèle : Test de la généralisation de la direction et du circuit de l'hallucination à travers les tâches, les jeux de données et les familles de modèles.
Théorème de décomposition : Une décomposition formelle des lectures linéaires en un terme direct et un terme indirect propagé par le Jacobien pour expliquer les inversions de signe observées dans les études d'ablation.

Résultats clés

1. Le résultat négatif décisif

La conclusion centrale est que les caractéristiques dynamiques n'apportent aucune information significative au-delà de la représentation statique.

Performance statique : Une sonde sur la représentation statique seule atteint une AUC de 0,831 sur Mistral-7B fidèle.
Incrément dynamique : L'ajout de toutes les caractéristiques dynamiques n'augmente l'AUC que de +0,004 (IC 95 % : $[-0,011, +0,020]$ , $p=0,30$ ).
Robustesse : Ce résultat nul se maintient à travers :
- Trois graines aléatoires et divers budgets PCA.
- Contrôles de dimensionnalité appariée (budget statique = 9 composantes).
- Plusieurs modèles (Llama-2, Phi-4, Qwen, Gemma) et échelles (jusqu'à 35B).
- Différentes étiquettes d'hallucination (humaine, auto-juge, juges externes, consensus).
- Analyse par jeton (où la dynamique dégrade légèrement la performance, suggérant un surapprentissage du bruit).
- Flux de génération libre (où la boucle autorégressive amplifie réellement les perturbations, pourtant cette amplification ne produit toujours aucun signal de détection).

2. Le signal statique est réel et causal

Bien que la dynamique n'ajoute rien, le signal statique est robuste :

Décodabilité : L'hallucine est linéairement décodable à partir de l'état caché statique, émergeant à travers la profondeur vers un large plateau (couches 14–31 dans Mistral) avec une AUC de pointe $\approx 0,71$ .
Causalité : Piloter le flux résiduel le long de la direction d'hallucination apprise à la couche de pointe déplace causalement le signal en aval (corrélation dose-réponse $\approx 0,99$ ) et module la fidélité comportementale (bien que l'effet comportemental soit modeste et asymétrique).
Structure du circuit : Le circuit produisant le signal est diffus (les 20 meilleures composantes ne portent que $\sim 10 \%$ du signal dans Mistral) et spécifique à la tâche (la similitude cosinus inter-tâche est faible, 0,03–0,42).
Transfert : Le mécanisme se transfère partiellement entre les jeux de données (RAGTruth $\to$ PsiloQA) mais est hautement idiosyncrasique au modèle (ex: Llama-2-7b montre un circuit concentré et partagé entre les tâches, contrairement à Mistral).

3. Illusions méthodologiques identifiées

L'article identifie trois « pièges » spécifiques qui ont précédemment fait paraître les théories de la turbulence validées :

Estimateur dégénéré : Un calcul naïf de l'exposant de Lyapunov en temps fini se télescope pour dépendre uniquement des premiers et derniers incréments, se faisant passer pour une quantité physique complexe.
Confusion de position : Dans certains jeux de données, les hallucinations se produisent dans des segments contigus, rendant la position du jeton prédicteur fort ; les caractéristiques dynamiques corrélées à la longueur du préfixe semblaient alors aider.
Baseline faible : Les caractéristiques dynamiques ne montrent des gains significatifs que lorsqu'elles sont comparées à des bases non supervisées faibles (log-probs). Lorsqu'elles sont comparées à la forte baseline de la représentation statique, les gains disparaissent.

4. Commensurabilité des détecteurs

Les différents détecteurs mécanistes (différence de moyennes supervisée, dérive, densité, ICR) ne partagent pas un circuit unique et robuste. La similitie apparente se dissipe lorsqu'elle est testée contre un null d'influence appariée et à travers plusieurs graines.

Signification et affirmations

L'article revendique trois contributions principales :

Un test négatif rigoureux : Il fournit une réfutation reproductible et puissante de l'hypothèse selon laquelle la dynamique du flux résiduel offre un signal supérieur ou indépendant pour la détection d'hallucination par rapport aux représentations statiques. Le cadrage de la « turbulence » est une lentille interprétative utile pour comprendre le comportement du modèle, mais n'est pas un mécanisme de détection viable.
Caractérisation mécaniste de l'hallucination ancrée : Il établit que l'hallucination ancrée est linéairement décodable, causalement active et localisée dans les couches intermédiaires à tardives du réseau, mais que sa mise en œuvre spécifique (direction, concentration du circuit, partage des tâches) dépend fortement de l'architecture du modèle et de la tâche, contestant la notion d'une « direction de vérité » universelle.
Correction méthodologique : Il souligne la nécessité d'utiliser des baselines fortes (représentations statiques), des nulls d'influence appariés et des vérifications de stabilité de graines pour éviter les faux positifs en interprétabilité mécaniste. L'article soutient que les « négatifs propres » sont des résultats précieux qui empêchent le déploiement de faux signaux de sécurité.

Les auteurs concluent que la lentille de la « turbulence » est un bon moyen de penser l'hallucination comme une perte de stabilité, mais que la représentation statique encode déjà l'information nécessaire pour la détecter, rendant la trajectoire dynamique redondante pour la détection.