💬 NLP

Decomposition-Induced Context-Memory Conflict: When Fact-Checking Pipelines Contradict Their Own Source Text

Cet article identifie et caractérise le « Conflit Mémoire-Contexte Induit par la Décomposition » (DI-CC), un mode de défaillance dans les pipelines de vérification de faits où l'étape de décomposition substitue les croyances paramétriques d'un modèle au texte source, créant des contradictions qui échappent à la détection standard de cohérence interne mais peuvent être partiellement atténuées par un décodage sensible au contexte au détriment de la fiabilité de l'analyse syntaxique.

Auteurs originaux : Yu-Feng Yen

Publié 2026-08-12

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu-Feng Yen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment dire la vérité. Vous lui donnez une histoire longue et compliquée et vous lui demandez de la décomposer en phrases minuscules et simples afin qu'il puisse vérifier l'exactitude de chacune d'elles. C'est un truc populaire dans le monde de l'intelligence artificielle, connu sous le nom de « décomposition-puis-vérification » (decompose-then-verify). Pensez-y comme à un étudiant qui, avant de passer un examen d'histoire, décompose un long chapitre de manuel en une liste de points clés pour étudier. L'espoir est qu'en examinant un petit fait à la fois, le robot ne s'embrouille pas.

Mais voici le piège : le robot qui effectue la décomposition n'est pas seulement une paire de ciseaux passive ; c'est un cerveau intelligent et bavard qui possède déjà beaucoup de choses grâce à sa propre mémoire. Parfois, quand le robot lit une phrase de l'histoire, il devient si confiant dans sa propre mémoire qu'il remplace accidentellement les faits de l'histoire par ce qu'il pense être vrai. C'est comme un étudiant lisant un livre d'histoire qui dit « La guerre a commencé en 140, » mais parce que l'étudiant est certain que c'était en 1941, il réécrit ses notes d'étude pour dire 1941. Il n'a pas seulement fait une erreur ; il a activement écrasé le texte source avec sa propre croyance. Cette étude explore précisément ce moment de confusion, où la mémoire interne du robot lutte avec le texte qu'il est censé résumer, et pose la question : cela arrive-t-il, et pouvons-nous le détecter ?

La grande découverte de l'article : Quand le « vérificateur de faits » se ment à lui-même

Le chercheur derrière cette étude, dirigée par Yu-Feng Yen, a décidé d'enquêter sur un problème sournois dans la manière dont l'IA vérifie son propre travail. Ils appellent ce phénomène le Conflit Contexte-Mémoire induit par la Décomposition, ou DI-CC pour faire court.

Voici l'histoire de ce qu'ils ont trouvé :

1. Le « tour de magie » du cerveau du robot
L'équipe a mis en place une expérience où elle a demandé à une IA de décomposer une biographie d'une personne célèbre en de minuscules affirmations. Ils ont secrètement modifié un détail dans la biographie (comme une année de naissance) pour voir si l'IA le remarquerait. Ils ont découvert que lorsqu'on disait à l'IA : « Hé, vérifie ta propre mémoire si tu penses que quelque chose est faux », elle faisait souvent exactement cela — mais de la mauvaise manière. Au lieu de s'en tenir à l'histoire, l'IA regardait le détail modifié, réalisait qu'il ne correspondait pas à ce qu'elle « savait » de son entraînement, puis réécrivait l'affirmation pour qu'elle corresponde à sa propre mémoire, ignorant complètement l'histoire qu'elle était censée résumer.

C'est comme un traducteur qui lit un livre en français. Si le livre dit « Le chat est bleu », mais que le traducteur est absolument certain que les chats ne sont jamais bleus, il pourrait « corriger » la traduction en « Le chat est noir » sans réaliser qu'il vient de changer l'histoire de l'auteur. L'article montre que ce n'est pas juste un bug aléatoire ; c'est le même genre de confusion cérébrale qui se produit lorsqu'une IA est confrontée à une question directe, mais qui se produit plus tôt dans le processus.

2. Détecter le mensonge avec un « détecteur de mensonges »
Pour prouver qu'il ne s'agissait pas de l'IA inventant des bêtises au hasard, le chercheur a construit un outil spécial de « détecteur de mensonges ». Ils ont entraîné un outil simple sur un autre type de problème (où une IA doit choisir entre une histoire et sa propre mémoire). Ensuite, ils ont demandé à cet outil d'observer l'activité cérébrale de l'IA pendant qu'elle décomposait l'histoire.

Le résultat a été étonnamment clair. L'outil pouvait repérer les moments où l'IA échangeait les faits de l'histoire contre ses propres croyances avec une précision de 86 % à 88 % (un score appelé AUC). C'est bien mieux qu'un choix au hasard. Cela signifie que la « confusion » possède une empreinte digitale spécifique dans le cerveau de l'IA que nous pouvons voir, même si nous n'avons jamais vu ce type spécifique d'erreur auparavant.

3. Pourquoi l'« auto-vérification » a échoué
Le chercheur a également testé une méthode populaire appelée « SelfCheckGPT », qui consiste à poser la même question à l'IA dix fois et à voir si elle donne la même réponse à chaque fois. Si les réponses changent, on suppose que l'IA ment.

Le résultat : Cette méthode a totalement échoué. Elle a obtenu un score de 51 %, ce qui est pratiquement un pile ou face.
La raison : L'article explique que c'est en fait prévisible. Parce que l'IA est très confiante dans sa propre mémoire, elle donne la même mauvaise réponse à chaque fois. Puisque les réponses sont cohérentes, l'outil « SelfCheck » se dit : « Oh, c'est cohérent, donc cela doit être vrai ! » L'outil est trompé car l'IA est trop têtue pour changer d'avis, même quand elle a tort.

4. Le « correctif » qui casse tout
L'équipe a testé un correctif connu appelé « Décodage conscient du contexte » (CAD), qui revient à dire à l'IA : « S'il vous plaît, prêtez une attention particulière à l'histoire, pas à votre mémoire. »

La bonne nouvelle : Cela a fonctionné ! Cela a réduit le nombre de fois où l'IA échangeait les faits de 4,16 % à 2,57 %.
La mauvaise nouvelle : Cela a coûté très cher. Lorsque l'histoire contenait beaucoup de pronoms (comme « il », « elle », « ils »), l'IA devenait tellement confuse en essayant de suivre la règle qu'elle cessait de dire des choses sensées 19,4 % du temps. Dans 84 % de ces échecs, l'IA ne se contentait pas de sauter un détail ; elle inventait complètement l'identité d'une autre personne.
La conclusion : L'auteur affirme que ce correctif n'est pas encore prêt pour une utilisation dans le monde réel. C'est comme un pansement qui arrête l'hémorragie mais fait perdre connaissance au patient.

5. Quelle taille doit avoir le robot ?
Le chercheur a testé différentes tailles de modèles d'IA pour voir si les cerveaux plus gros étaient meilleurs à cela.

Petits modèles (3 milliards de paramètres) : Ils ne pouvaient pas montrer le signal du tout. Ils étaient trop simples pour présenter ce type de conflit.
Modèles moyens (7 milliards de paramètres) : Ils montraient clairement le conflit.
Grands modèles (14 milliards de paramètres) : Ils montraient le conflit encore plus fortement, mais seulement si l'on regardait la bonne partie de leur cerveau.
À retenir : Ce n'est pas un problème qui s'améliore simplement en rendant l'IA plus grande. Il semble y avoir une « taille minimale » requise pour que ce type spécifique de confusion puisse même se produire.

6. À quelle fréquence cela se produit-il réellement ?
La partie la plus importante de l'article est l'honnêteté sur la fréquence de ce phénomène. Les expériences ci-dessus utilisaient une configuration spéciale où l'IA était invitée à vérifier sa propre mémoire. Mais dans le monde réel, nous demandons généralement à l'IA de résumer sans cette invitation.

Le test de réalité : Lorsque le chercheur a examiné des textes naturels, non édités, ce type spécifique d'échange de faits était incroyablement rare. Cela ne se produisait que dans 0,2 % à 0,4 % des affirmations.
Pourquoi ? Les hallucinations (mensonges) du monde réel se produisent généralement dans des zones où l'IA ne connaît pas la réponse. Ce problème spécifique (DI-CC) ne se produit que lorsque l'IA connaît la réponse mais décide de l'ignorer malgré tout.

Le mot de la fin

Cet article prouve que lorsque l'IA décompose un texte en petites parties, elle peut parfois devenir si confiante dans sa propre mémoire qu'elle réécrit l'histoire pour qu'elle corresponde à ce qu'elle pense être vrai. Nous pouvons détecter cela avec un outil spécial, et nous pouvons même le réduire avec une technique spécifique, mais cette technique provoque actuellement l'invention de fausses identités de personnes.

Le plus important est que l'auteur nous demande de ne pas paniquer. Bien qu'il s'agisse d'un bug réel et mesurable, c'est un phénomène très rare dans les situations naturelles. C'est un type spécifique de « surconfiance » qui ne se produit que sous certaines conditions, et non un bug qui ruine tout ce que fait l'IA. L'article n'offre pas encore de solution parfaite, mais il nous donne une carte beaucoup plus claire de l'endroit où se situe le problème et de son ampleur réelle.

Résumé Technique : Conflit Mémoire-Contexte Induit par la Décomposition (DI-CC)

1. Définition du Problème

L'évaluation de la véracité et la détection des hallucinations pour les textes longs reposent de plus en plus sur des pipelines de type « décomposition puis vérification » (ex. FActScore, DnDScore). Dans ce paradigme, un modèle de langage (le « décomposeur ») divise un passage généré en affirmations atomiques, qui sont ensuite vérifiées indépendamment par rapport à une référence. Cette étape de décomposition est traditionnellement considérée comme une tâche de gestion de données neutre.

Cependant, les décomposeurs sont eux-mêmes des modèles de langage sujets au conflit contexte-mémoire : la tendance à substituer leurs propres connaissances paramétriques aux informations fournies dans le contexte lorsque les deux divergent. Cet article étudie si ce mode de défaillance se produit au sein même de l'étape de décomposition.

L'auteur définit le Conflit Mémoire-Contexte Induit par la Décomposition (DI-CC) comme un mode de défaillance spécifique où un décomposeur, en convertissant un passage source $R$ en affirmations atomiques $c_i$ , produit une affirmation qui :

N'est pas entailée (implicite) par le texte source $R$ .
Contient un contenu traçable à la connaissance paramétrique propre du décomposeur (récupérable via un sondage en mode "boucle fermée").
Contredit directement les informations explicitement énoncées dans $R$ .

Cela se distingue de l'Élaboration Non Soutenue Induite par la Décomposition (DI-UE), où le modèle injecte du contenu pour combler un vide dans $R$ sans pour autant le contredire. Les deux partagent le même mécanisme d'injection, mais seul le DI-CC représente un conflit strict.

2. Méthodologie et Conception Expérimentale

L'étude emploie une approche multi-phases pour valider l'existence, le mécanisme et les limites du DI-CC.

A. Validation Mécaniste (H0)
Pour prouver que le DI-CC est mécaniquement identique au conflit contexte-mémoire classique (plutôt qu'une forme distincte d'hallucination), l'auteur utilise un sonde linéaire entraînée exclusivement sur des données de conflit classique (jeu de données NQ-Swap).

Configuration : La sonde est entraînée sur les vecteurs d'activation de NQ-Swap (où le contexte et la connaissance paramétrique divergent) et est ensuite gelée. Elle est ensuite appliquée en zéro-shot aux vecteurs d'activation d'un décomposeur générant des affirmations atomiques.
Hypothèse : Si le DI-CC partage le même mécanisme sous-jacent que le conflit classique, la sonde devrait réussir à distinguer les positions de DI-CC des décompositions fidèles et des élaborations non contradictoires (DI-UE), bien qu'elle n'ait jamais vu de données de décomposition lors de son entraînement.
Construction des Données : Pour garantir une puissance statistique suffisante, l'auteur utilise une construction par elicitation. Ils génèrent des biographies avec des détails altérés (ex. années décalées) et fournissent une instruction autorisant explicitement le décomposeur à vérifier les faits par rapport à ses propres connaissances et à corriger les erreurs. Cette « licence » est démontrée empiriquement comme étant une condition nécessaire pour que le DI-CC se manifeste ; des instructions neutres produisent un taux de DI-CC proche de zéro.
Comparaison avec une Référence : L'étude compare cette approche mécaniste à SelfCheckGPT, une référence sans modèle qui repose sur l'échantillonnage de cohérence interne (détecter les hallucinations via le désaccord entre les rééchantillonnages).

B. Analyse du Taux Naturel (H1)
L'auteur étudie la prévalence du DI-CC dans des conditions naturelles et non elicitées en utilisant les données non étiquetées de FActScore et des instructions de décomposition neutres. Ils régressent le taux d'injection par rapport à l'« ellipticité » textuelle (densité de pronoms, faible densité d'entités) pour voir si un texte parcimonieux déclenche davantage de conflits.

C. Étude de Mitigation (H3)
L'article teste le Décodage Sensible au Contexte (CAD), une technique de mitigation sans entraînement issue des contextes de conflit classique, adaptée au pipeline de décomposition. Le CAD contraste la distribution de sortie conditionnée par le contexte avec la distribution sans contexte afin d'amplifier l'attention portée à la source.

D. Ablation d'Échelle (H4)
L'auteur teste le signal à travers différentes échelles de modèles (3B, 7B, 14B) pour déterminer si le phénomène dépend de l'échelle. Un ajustement méthodologique crucial est effectué ici : l'auteur remplace la précision sur données exclues standard pour la sélection de couches par un critère de rapport de variance (variance inter-classe vs intra-classe), citant la littérature suggérant que la précision est un mauvais indicateur pour le transfert hors-distribution dans les tâches de sondage.

3. Résultats Clés

Réalisation Mécaniste (Résultat Principal)

Performance de la Sonde : Une sonde entraînée uniquement sur des données de conflit classique détecte avec succès le DI-CC dans les activations de décomposition en zéro-shot.
- AUC : 0,86–0,88 (IC 95 % excluant le hasard) pour distinguer le DI-CC des affirmations fidèles et du DI-UE.
- Significativité : Permutation $p < 0,0005$ .
- Réplication : L'ampleur de l'effet d'un pilote initial de $n=14$ est reproduite sur un échantillon plus large de $n=64$ , chaque cas positif ayant été vérifié indépendamment par un humain.
Échec de la Référence : SelfCheckGPT échoue à détecter le DI-CC (AUC $\approx$ $\approx$ 0,51, niveau du hasard).
- Explication Mécaniste : Le DI-CC implique un contenu paramétrique stable et récupérable. Par conséquent, il réapparaît de manière cohérente à travers les rééchantillonnages, paraissant « fiable » pour les méthodes de cohérence interne. En revanche, le DI-UE (combler les lacunes) varie davantage selon les rééchantillonnages, ce que SelfCheckGPT signale comme peu fiable.

Taux d'Occurrence Naturelle

Sous des instructions naturelles et non elicitées, le taux de DI-CC est extrêmement bas (0,2–0,4 % des affirmations atomiques).
Le taux est trop rare pour être régression de manière fiable par rapport aux caractéristiques textuelles.
Condition Limite : Le DI-CC ne se manifeste pas sur les textes hallucinés naturellement présents dans les benchmarks FActScore. Les hallucinations réelles ont tendance à se produire dans les lacunes de connaissances (où le modèle n'a pas d'opinion) plutôt que de supplanter des croyances correctes, ce qui est la condition spécifique requise pour le DI-CC.

Mitigation et Compromis

Suppression : Le CAD réduit considérablement le taux de DI-CC de 4,16 % à 2,57 % ( $p = 0,000041$ ).
Coût Sévère : Dans des conditions riches en coréférences, 19,4 % des décompositions échouent totalement à l'analyse sous CAD.
Nature de l'Échec : 84 % de ces échecs de parsing impliquent le fait que le décomposeur fabrique l'identité d'une autre personne plutôt que de simplement omettre un détail.
Conclusion : L'auteur ne considère pas cette implémentation comme prête pour un déploiement en raison du compromis fidélité-complétude.

Échelle et Sélection de Couches

Modèle 3B : Ne parvient pas à montrer le signal, tant sous la sélection de couches basée sur la précision que sur le rapport de variance.
Modèle 7B : Réussit sous les deux critères.
Modèle 14B : Réussit sous la sélection par rapport de variance (AUC 0,983) mais échoue sous la sélection basée sur la précision.
Interprétation : Le signal semble présenter un seuil de capacité entre 3B et 7B. Les résultats erratiques à 14B sous la sélection par précision sont attribués aux faibles propriétés de transfert de la sélection de couches basée sur la précision, et non à la cognition du modèle.

4. Signification et Revendications

L'article établit le DI-CC comme un mode de défaillance réel, mécanistiquement fondé et partiellement traitable des pipelines de décomposition-vérification.

Continuité Mécaniste : La principale contribution est de démontrer que les erreurs induites par la décomposition ne sont pas simplement des « ajouts de contenu », mais sont le même phénomène que le conflit contexte-mémoire classique, se produisant une étape de pipeline plus tôt que précédemment examiné.
Rigueur Méthodologique : L'étude souligne que la sélection de la couche de sondage est un facteur dominant pour détecter ces signaux. Elle démontre que la sélection basée sur la précision peut produire des signaux de transfert incohérents selon les échelles, tandis que la sélection par rapport de variance (fondée sur la littérature de généralisation OOD) révèle un seuil de capacité cohérent.
Portée et Modestie : L'auteur limite explicitement ses revendications concernant la prévalence. Il stipule que bien que le mécanisme existe et soit détectable sous des conditions elicitées, son taux d'occurrence naturelle est actuellement trop faible pour être caractérisé de manière fiable. L'auteur ne prétend pas avoir résolu le problème ; il caractérise plutôt les limites de ce mode de défaillance et montre que les mitigations existantes (CAD) introduisent des effets secondaires graves et non rapportés auparavant (fabrication d'identité).

En résumé, l'article soutient que la décomposition n'est pas une étape de prétraitement neutre, mais un lieu où les croyances paramétriques peuvent activement écraser le texte source, un phénomène détectable via des sondes mécanistes mais qui reste insaisissable pour les standards de cohérence interne et difficile à atténuer sans compromettre la complétude.