🤖 machine learning

Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation

Cette étude fournit des preuves causales démontrant que les hallucinations dans les modèles de langage autoregressifs résultent d'une adhésion précoce à des trajectoires gouvernées par une dynamique d'attracteurs asymétrique, où l'entrée dans un bassin d'erreur est rapide et probabiliste, tandis que la correction nécessite une intervention coordonnée et soutenue.

Auteurs originaux : G. Aytug Akarlar

Publié 2026-04-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : G. Aytug Akarlar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que l'intelligence artificielle (IA) n'est pas un simple livre de réponses, mais plutôt un voyageur qui doit choisir une route pour raconter une histoire.

Ce papier de recherche, intitulé "Hallucination comme engagement de trajectoire", révèle quelque chose de fascinant et d'un peu inquiétant sur la façon dont les IA (comme les modèles de langage) se trompent.

Voici l'explication simple, avec des images pour mieux comprendre :

1. Le point de départ : Une fourche invisible

Imaginez que vous demandez à l'IA : "Quelle est la capitale de la Birmanie ?".
L'IA commence à réfléchir. À ce moment précis, elle a exactement la même "pensée" que si elle allait répondre correctement. C'est comme si elle se tenait au sommet d'une colline, prête à partir.

Mais dès qu'elle choisit le tout premier mot de sa réponse (par hasard, comme un dé lancé), elle bascule sur l'une des deux routes possibles :

La route verte (Vraie) : Elle dit "Yangon".
La route rouge (Hallucination) : Elle dit "Rangoon" (un nom obsolète) ou invente une ville.

Le plus surprenant ? Les deux routes partent du même point exact. L'IA ne "sait" pas qu'elle va mentir au début. C'est un choix aléatoire qui l'engage irrévocablement sur une fausse piste.

2. Le piège : La vallée de l'illusion

C'est ici que la métaphore devient puissante. Les chercheurs ont découvert que la "route rouge" (l'erreur) est comme une vallée profonde et stable.

Entrer dans le piège est facile : Si vous prenez un voyageur qui suit la bonne route (la vraie réponse) et que vous le poussez légèrement dans la mauvaise direction (en modifiant une seule pensée interne), il tombe dans la vallée de l'erreur. Une fois en bas, il est coincé. C'est comme un toboggan : une fois lancé, on ne peut pas s'arrêter.
Sortir du piège est très difficile : Si le voyageur est déjà en bas de la vallée de l'erreur, le pousser un tout petit peu ne suffit pas pour le faire remonter. Il faut une intervention massive, continue et énergique (comme le pousser pendant plusieurs étapes de la phrase) pour réussir à le sortir de là.

En termes techniques, les chercheurs appellent cela un "attracteur asymétrique". L'erreur est un aimant puissant qui attire l'IA et la garde prisonnière.

3. L'expérience du "Patch" (La greffe de pensée)

Pour prouver cela, les chercheurs ont fait une expérience étrange, un peu comme un chirurgien du cerveau :

Ils ont pris une IA qui était en train de dire la vérité.
Ils ont remplacé une de ses "pensées" (une activation interne) par celle d'une IA qui était en train de mentir.
Résultat : L'IA honnête a instantanément commencé à mentir dans 87,5 % des cas. C'est très facile de la corrompre.

Ensuite, ils ont fait l'inverse :

Ils ont pris une IA qui mentait.
Ils ont remplacé sa pensée par celle d'une IA honnête.
Résultat : L'IA menteuse a réussi à se corriger seulement dans 33 % des cas, et seulement si on l'a aidée sur plusieurs étapes de la phrase. Une seule aide ne suffit pas.

4. Pourquoi est-ce important ?

Jusqu'à présent, on pensait que les IA hallucinaient parce qu'elles "ne savaient pas" ou qu'elles avaient oublié les faits.

Ce papier dit : Non, elles savent.
Si vous posez la même question deux fois, l'IA peut donner la bonne réponse une fois et la mauvaise l'autre. Elle possède la vérité, mais elle est piégée dans un système dynamique où l'erreur est un "trou" dans lequel elle tombe facilement et d'où il est dur de sortir.

En résumé

L'hallucination n'est pas un bug de mémoire, c'est un bug de trajectoire.

C'est comme si l'IA avait deux destinations possibles : une ville réelle et une ville imaginaire.
La ville imaginaire est construite dans une vallée profonde.
Il suffit d'un petit coup de vent (un choix aléatoire) pour y tomber.
Une fois dedans, il faut un effort colossal pour remonter la pente.

La leçon pour nous : Pour éviter que l'IA ne mente, il ne suffit pas de lui donner plus de données. Il faut peut-être trouver un moyen de "remplir la vallée" ou de rendre la pente de l'erreur moins glissante, car une fois qu'elle y est entrée, il est très difficile de la faire revenir en arrière.

1. Problématique et Contexte

Les grands modèles de langage (LLM) génèrent souvent des textes plausibles mais factuellement incorrects, un phénomène appelé hallucination. Bien que des études empiriques aient établi des corrélations entre l'hallucination et certaines caractéristiques internes du modèle (comme des sondes linéaires ou des signaux d'entropie), les mécanismes causaux sous-jacents restent mal compris.

La question centrale abordée par cet article est : Quand et où le modèle s'engage-t-il dans une trajectoire hallucinée, et cet engagement est-il réversible de manière causale ? L'hypothèse des auteurs est que l'hallucination n'est pas simplement un échec de récupération de connaissances, mais un phénomène dynamique où le modèle entre dans un « bassin d'attraction » stable, d'où il est difficile de sortir.

2. Méthodologie

L'étude repose sur trois contributions méthodologiques principales appliquées au modèle Qwen2.5-1.5B (28 couches) :

A. Bifurcation à même prompt (Same-prompt bifurcation)

Au lieu de comparer différents prompts, les auteurs échantillonnent le même prompt de manière répétée (avec une température $\tau = 0.7$ ).

Objectif : Isoler la dynamique de la trajectoire des confusions liées au sémantisme du prompt.
Critère : Un prompt est dit « bifurquant » si, sur 20 échantillons, le modèle produit à la fois des réponses correctes et des hallucinations. Cela prouve que l'entrée initiale est identique, mais que le chemin stochastique de l'échantillonnage détermine le résultat.

B. Patching d'activation causal (Activation Patching)

Pour chaque prompt bifurquant, les auteurs collectent des caches d'états cachés complets pour les trajectoires correctes et hallucinées. Ils effectuent ensuite un patching bidirectionnel :

Correction (H→C) : Injection d'une activation correcte dans une trajectoire hallucinée.
Corruption (C→H) : Injection d'une activation hallucinée dans une trajectoire correcte.

Contrôles : Patching aléatoire (différents prompts), patching « erreur sur erreur », et ligne de base sans intervention.
Protocole : Balayage sur les 28 couches et les étapes de génération (pas 1 à 4).

C. Analyse des états résiduels et clustering

Probing : Utilisation de sondes linéaires sur les états résiduels à l'étape 0 (encodage du prompt) pour prédire le taux d'hallucination futur.
Clustering : Regroupement non supervisé des états d'encodage pour identifier des « régimes » de génération.

3. Résultats Clés

A. Engagement immédiat et divergence discontinue

Divergence à l'étape 1 : Pour 92 % des prompts bifurquants, la divergence entre les distributions de sortie (mesurée par la divergence KL) est nulle à l'étape 0 (logits identiques) mais explose dès l'étape 1 ( $D_{KL} > 1.0$ ).
Conclusion : L'engagement dans une trajectoire (correcte ou hallucinée) se produit de manière discontinue au premier token généré, sans dérive progressive.

B. Asymétrie Causale Majeure (Le résultat central)

L'étude révèle une asymétrie frappante dans la stabilité des trajectoires :

Corruption (C→H) : Très facile. Injecter une activation hallucinée dans une trajectoire correcte corrompt le résultat dans 87,5 % des cas (pic à la couche 20).
Correction (H→C) : Très difficile. Injecter une activation correcte dans une trajectoire hallucinée ne réussit à corriger le résultat que dans 33,3 % des cas (pic à la couche 24).
Signification : Le bassin d'attraction de l'hallucination est localement stable et large (entrée facile), tandis que le bassin correct est métastable (vulnérable à la perturbation).

C. Nécessité d'une intervention soutenue (Window Patching)

Une seule injection d'activation correcte est souvent insuffisante pour sortir le modèle du bassin d'hallucination.
L'efficacité de la correction augmente avec la durée de l'intervention : patcher sur une fenêtre de 1 étape donne 12,5 % de succès, tandis que patcher sur 4 étapes monte à 33,3 %.
Cela confirme la nature profonde du bassin d'attraction : les couches suivantes réabsorbent les perturbations ponctuelles.

D. Structure des Régimes à l'Encodage

Les états résiduels à l'étape 0 (avant même la génération) contiennent des informations prédictives sur le risque d'hallucination ( $r = 0.776$ à la couche 15).
Le clustering révèle 5 régimes distincts. Le « régime selle » (Saddle cluster) concentre presque tous les prompts à prémisse fausse qui bifurquent, indiquant que la frontière entre les bassins d'attraction est déjà structurée lors de l'encodage du prompt.

4. Contributions et Significativité

Contributions Théoriques

Modèle des Attracteurs Asymétriques : L'article propose un cadre théorique où l'hallucination est un bassin d'attraction stable. L'entrée dans ce bassin est probabiliste et rapide, mais la sortie nécessite une intervention coordonnée et soutenue.
Preuve Causale : Contrairement aux travaux antérieurs basés sur la corrélation, cette étude utilise le patching d'activation pour démontrer la causalité de l'engagement de trajectoire.
Dynamique de Bifurcation : Démonstration que des états initiaux identiques peuvent diverger de manière discontinue dès le premier token, contredisant l'idée d'une dérive lente.

Implications pour la Sécurité et l'Alignement

Échec des méthodes linéaires : Les tentatives de « steering » (pilotage) linéaire échouent souvent car elles ne traversent pas la frontière non-linéaire du bassin d'attraction. Le modèle reconstruit le signal d'hallucination dans les couches suivantes.
Nouvelles stratégies d'intervention : Pour corriger l'hallucination, il ne suffit pas d'une intervention ponctuelle. Il faut soit une intervention multi-étapes, soit cibler le « régime » dès l'encodage du prompt (avant la génération).
Compréhension de la fiabilité : Le modèle possède les connaissances factuelles (il peut répondre correctement au même prompt), mais la dynamique stochastique de génération l'engage irrévocablement dans une trajectoire erronée.

Conclusion

Cet article redéfinit l'hallucination non pas comme un manque de connaissances, mais comme un phénomène dynamique de engagement de trajectoire. La stabilité asymétrique des bassins d'attraction explique pourquoi les hallucinations sont si persistantes et difficiles à corriger une fois initiées, suggérant que les futures méthodes de sécurité doivent viser à stabiliser les bassins corrects ou à intervenir de manière prolongée plutôt que ponctuelle.