💬 NLP

Anchored Confabulation: Partial Evidence Non-Monotonically Amplifies Confident Hallucination in LLMs

Ce papier identifie et formalise la « confabulation ancrée », un phénomène où la fourniture d'évidence intermédiaire partielle augmente paradoxalement la confiance des grands modèles de langage dans des étapes de raisonnement hallucinées, et démontre comment l'exploitation de cette métrique permet un routage de génération augmentée par récupération hautement efficace sans ajustement fin du modèle.

Auteurs originaux : Ashish Balkishan Lathkar

Publié 2026-04-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ashish Balkishan Lathkar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez à un bibliothécaire très intelligent, mais légèrement trop confiant (l'IA), de trouver un fait précis dans une immense bibliothèque. Habituellement, si le bibliothécaire ne connaît pas la réponse, il dira : « Je ne suis pas sûr » ou « Je ne peux pas trouver cela ». C'est une bonne chose car cela vous indique de chercher ailleurs.

Mais cet article a découvert un étrange bug : Parfois, lorsque le bibliothécaire se trompe, il est en réalité plus confiant que lorsqu'il a raison.

Les auteurs appellent cela « la Confabulation Ancrée ». Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le piège de la « Demi-Vérité » (l'Ancre)

Imaginez que vous posiez au bibliothécaire une question en trois étapes : « Qui est le réalisateur du film dans lequel a joué l'acteur du groupe 'X' ? »

Étape 1 : Le bibliothécaire trouve un livre sur le groupe.
Étape 2 : Le bibliothécaire trouve un livre sur l'acteur.
Étape 3 : Le bibliothécaire doit trouver le lien entre l'acteur et le film. La bibliothèque ne possède pas ce lien.

Voici le bug : Parce que le bibliothécaire a trouvé les deux premiers livres (les « ancres »), il se sent assez confiant pour deviner la troisième partie. Il ne dit pas : « Je ne sais pas ». Au lieu de cela, il affirme avec assurance : « Oh, c'est sûrement le réalisateur Y ! » car sa mémoire interne (les données d'entraînement) contient un fait au son similaire.

L'article appelle cela « la Confabulation Ancrée ». La preuve partielle (les deux premiers livres) agit comme une ancre, verrouillant le bibliothécaire dans une histoire sûre d'elle-même, mais totalement inventée.

2. Le « Point Doux » de la confusion

Les chercheurs ont constaté que cela ne se produit pas pour toutes les questions.

Questions simples (1 saut) : Le bibliothécaire connaît soit la réponse, soit admet qu'il ne la connaît pas.
Questions très difficiles (4+ sauts) : Le bibliothécaire réalise que la chaîne est trop longue et s'inquiète, alors il prend des précautions (« Je ne suis pas sûr... »).
Le « Point Doux » (3 sauts) : C'est la zone de danger. C'est juste assez long pour que le bibliothécaire pense pouvoir le résoudre grâce à sa mémoire, mais les livres de la bibliothèque ne contiennent pas réellement la réponse. C'est là qu'il devient sûrement dans l'erreur.

3. L'« Inversion de la Confiance »

Dans le monde réel, nous pensons généralement : Haute Confiance = Bonne Réponse.
L'article montre que pour ces questions spécifiques en trois étapes, la règle s'inverse : Haute Confiance = Mauvaise Réponse.

Si le bibliothécaire dit : « Je suis sûr à 100 % ! » sur une question en trois étapes, vous devriez en réalité être plus suspicieux que s'il disait : « Je ne suis pas sûr ».

4. La Solution : Un Gardien Plus Intelligents

Les auteurs ont construit un nouveau système appelé LearnedRouter. Imaginez-le comme un gardien intelligent se tenant entre vous et le bibliothécaire.

Ancien Système : Le gardien examine la question avant que le bibliothécaire ne réponde. Si la question semble difficile, il l'envoie à un super-expert (GraphRAG). Si elle semble facile, il laisse le bibliothécaire régulier s'en charger.
Nouveau Système (LearnedRouter) : Le gardien attend que le bibliothécaire donne une réponse d'abord.
- Si le bibliothécaire donne une réponse confiante à une question en 3 étapes, le gardien sait : « Oh oh, c'est le piège de la Confabulation Ancrée ! Ils sont sûrement dans l'erreur. »
- Le gardien arrête alors immédiatement le bibliothécaire régulier et envoie la question au super-expert (GraphRAG) pour obtenir la vraie réponse.

5. Pourquoi cela compte

L'article prouve qu'en surveillant ce type spécifique de « certitude erronée », le nouveau système peut corriger 81 % des erreurs commises par l'ancien système, sans avoir besoin de reformer le bibliothécaire ou de dépenser de l'argent supplémentaire pour des experts coûteux sur chaque question.

En bref : L'article a découvert que les modèles d'IA mentent parfois avec un visage de marbre lorsqu'ils ont juste assez d'indices pour se sentir intelligents. Les auteurs ont créé un détecteur qui reconnaît ce « visage de marbre » et sait quand faire appel aux experts pour corriger le tir.

1. Énoncé du problème

Les systèmes de génération augmentée par récupération (RAG) font face à un défi critique de routage : décider quand utiliser une récupération vectorielle standard peu coûteuse (VanillaRAG) par rapport à une récupération structurée basée sur un graphe coûteuse (GraphRAG).

Le statu quo : Les méthodes de routage existantes (par exemple, Adaptive-RAG) opèrent avant la génération, prenant des décisions uniquement sur la base des caractéristiques de la requête (par exemple, complexité, nombre d'entités). Elles supposent qu'une faible confiance dans la réponse générée signale un besoin d'une meilleure récupération.
Le problème central : Les auteurs identifient une défaillance de calibration jusque-là inconnue dans les grands modèles de langage (LLM) appelée Confabulation Ancrée. Dans les tâches de raisonnement multi-sauts, la fourniture d'un fait intermédiaire partiel (un « ancre ») peut paradoxalement augmenter la confiance du modèle dans une réponse fausse avant que des preuves complètes n'éliminent l'erreur.
La conséquence : Le routage standard basé sur l'incertitude (escalade en cas de faible confiance) échoue de manière catastrophique sur ces requêtes. Le modèle devient plus confiant lorsqu'il a tort, conduisant à des « hallucinations confiantes » que les routeurs pré-génération ne peuvent pas détecter.

2. Phénomène clé : Confiance d'Hallucination Paramétrique (PHC)

L'article définit la Confiance d'Hallucination Paramétrique (PHC) comme une métrique où l'AUC de prédiction d'une « escalade oracle » (besoin de GraphRAG) basée sur la confiance du modèle est > 0,5.

Inversion du signal : Dans les scénarios standards, une haute confiance corrèle avec la justesse. Dans les scénarios PHC (spécifiquement les requêtes pont à 3 sauts), une haute confiance corrèle avec l'inexactitude.
Le mécanisme : Lorsqu'un LLM reçoit un fait intermédiaire confirmé (une « ancre or ») dans une chaîne multi-étapes, il utilise sa mémoire paramétrique pour combler de manière fluide et confiante les étapes manquantes restantes. Cette ancre partielle engage le modèle dans une complétion spécifique, confiante, mais potentiellement fabriquée.

3. Méthodologie et cadre théorique

A. Intervention causale et preuves

Les auteurs ont établi la PHC grâce à six lignes de preuves, incluant une intervention causale contrôlée sur le jeu de données MuSiQue (requêtes à 3 sauts, N=160) :

Injection causale : Ils ont injecté des faits intermédiaires oraux dans les invites tout en maintenant les labels oraux fixes.
- k=0 (Aucun indice) : PHC = 0,613 (Inversion significative).
- k=1 (Un fait) : La PHC grimpe à 0,656 (Amplification maximale). Le modèle devient plus confiant dans sa mauvaise réponse.
- k=3 (Presque oracle) : La PHC chute à 0,536 (Pas d'inversion significative). Les preuves complètes suppriment l'hallucination.
Loi du seuil d'ancrage : Les auteurs ont déduit une loi prédictive : $k^*(n) = \lfloor n/3 \rfloor$ $k^{*} (n) = ⌊ n /3 ⌋$ .
- Pour les chaînes à 3 sauts, le seuil est $k=1$ (33 % de la chaîne). C'est le « point idéal » où un fait ancre suffisamment le modèle pour qu'il fabrique le reste avec confiance.
- Pour les chaînes à 2 sauts, $k^*=0$ ; aucun pic d'amplification ne se produit car la chaîne est trop courte pour soutenir une fabrication confiante sans preuves complètes.
- Pour les chaînes à 4 sauts, le pic est plus faible ( $k^*=1$ , mais une couverture de 25 % est insuffisante).
Mise à l'échelle des capacités : La PHC évolue avec la capacité du modèle. Les modèles plus performants (par exemple, Claude Opus, Sonnet) présentent une PHC plus élevée (hallucinations plus confiantes) que les modèles plus faibles (par exemple, Haiku, Llama-3-8B).

B. Preuves théoriques

Théorème 1 (Domination post-génération) : En utilisant l'inégalité de traitement des données (DPI), les auteurs prouvent que tout signal post-génération $U(Q, A)$ contient plus d'informations sur le besoin d'escalade que n'importe quel classificateur pré-génération $g(Q)$ . Les routeurs pré-génération ne peuvent pas accéder au « signal d'inversion de pont » car l'inversion ne se manifeste qu'après que le modèle a tenté de générer la réponse.
Théorème 2 (Routage à porte de régénération) : Les gains de routage sont bornés par la qualité de l'étape de régénération. Si la régénération (après escalade) est médiocre, les améliorations de routage produisent des rendements décroissants.

C. Solution proposée : LR+DirectGR

Les auteurs proposent un système en deux parties pour exploiter la PHC :

LearnedRouter : Un classificateur post-génération entraîné sur seulement N=200 exemples. Il utilise un terme d'interaction de fonctionnalité conf × hop pour apprendre que pour les requêtes à haut nombre de sauts, une haute confiance doit déclencher une escalade (inversant la logique standard).
DirectGR (GraphRAG Direct) : Au lieu d'extraire des sous-questions (ce qui entraîne une perte de contexte), le système escalade la question complète originale directement vers le pipeline GraphRAG. Cela évite la « perte d'extraction de sous-questions » identifiée comme un goulot d'étranglement majeur.

4. Résultats clés

Métriques de performance

Fermeture de l'écart oracle : Le système LR+DirectGR comble 81,1 % de l'écart oracle (Macro F1 = 0,426) sur quatre benchmarks (HotpotQA, MuSiQue, NQ, 2Wiki).
Comparaison avec les bases de référence :
- Surpasse la meilleure base de référence de routage pré-génération (HybridRouter) de +35,9 points en fermeture de l'écart oracle.
- Atteint cela avec 50 fois moins d'étiquettes d'entraînement (200 contre 10 000) et sans apprentissage par renforcement (RL) ni affinage.
- À coût égal (taux d'escalade de 32 %), LR+DirectGR atteint un Macro F1 de 0,324 contre 0,295 pour HybridRouter.

Résultats spécifiques

Spécificité de la profondeur des sauts : L'effet d'inversion est strictement non monotone. Il atteint son pic aux requêtes à 3 sauts. Les requêtes à 2 sauts ne montrent pas d'inversion significative, et celles à 4 sauts montrent un effet plus faible.
Atténuation : Un prompt d'« humilité épistémique » (indiquant au modèle qu'il manque des faits) a réussi à réduire le pic PHC de $\Delta = -0,118$ , prouvant que le phénomène est supprimable de manière métacognitive.
Vulnérabilité du RAG itératif : L'article démontre que les systèmes RAG itératifs (comme IRCoT) tombent systématiquement dans la « zone d'amplification » lors de leur première étape de récupération pour les requêtes à 3 sauts, conduisant à un raisonnement intermédiaire confiant mais erroné qui corrompt les étapes suivantes.

5. Signification et contributions

Découverte de la Confabulation Ancrée : L'article identifie une défaillance de calibration fondamentale et non monotone dans les LLM où des preuves partielles augmentent l'hallucination confiante. Cela remet en cause l'hypothèse selon laquelle « plus de preuves réduit toujours l'incertitude ».
Loi prédictive : La Loi du seuil d'ancrage ( $k^* = \lfloor n/3 \rfloor$ ) fournit un cadre quantitatif pour prédire quand les LLM hallucineront avec confiance en fonction de la longueur de la chaîne et de la densité des preuves.
Supériorité du routage post-génération : Il prouve formellement et valide empiriquement que le routage post-génération (utilisant la réponse générée comme signal) domine strictement le routage pré-génération pour les tâches multi-sauts, spécifiquement parce qu'il peut détecter l'état « confiant mais erroné ».
Déploiement efficace et sans entraînement : Le système proposé LR+DirectGR atteint des performances de routage de pointe sans affinage ni RL, en utilisant un nombre minimal d'exemples étiquetés. Il offre un modèle pratique pour déployer des systèmes RAG robustes qui s'adaptent dynamiquement aux capacités du modèle et à la complexité des requêtes.
Implications pour les systèmes itératifs : Les résultats suggèrent que les pipelines RAG itératifs actuels (IRCoT, FLARE) peuvent être structurellement défectueux pour les requêtes à 3 sauts, car ils déclenchent involontairement le mécanisme d'amplification par ancrage.

En résumé, cet article reformule le problème de routage RAG d'une tâche de classification de complexité de requête en une tâche de détection post-génération consciente de la calibration, exploitant un phénomène nouvellement découvert où les LLM sont les plus confiants lorsqu'ils sont les plus erronés.