💬 NLP

Decomposition-Induced Context-Memory Conflict: When Fact-Checking Pipelines Contradict Their Own Source Text

Dit artikel identificeert en karakteriseert "Decomposition-Induced Context-Memory Conflict" (DI-CC), een faalmodus in factchecking-pipelines waarbij de decompositiefase de parametrische overtuigingen van een model vervangt door de brontekst, wat tegenstrijdigheden creëert die standaard zelfconsistentie-detectie ontwijken maar gedeeltelijk kunnen worden gemitigeerd door context-bewuste decodering ten koste van de parseerbetrouwbaarheid.

Oorspronkelijke auteurs: Yu-Feng Yen

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yu-Feng Yen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren de waarheid te spreken. Je geeft het een lang, ingewikkeld verhaal en vraagt het om dat verhaal op te delen in kleine, eenvoudige zinnen zodat het elke zin op nauwkeurigheid kan controleren. Dit is een populaire truc in de wereld van Kunstmatige Intelligentie, bekend als "decompose-then-verify" (decomponeren en dan verifiëren). Denk aan een student die, voordat hij een geschiedenisexamen maakt, een lang teksthoofdstuk opdeelt in een lijst met opsommingstekens om te bestuderen. De hoop is dat door één klein feit tegelijk te bekijken, de robot niet in de war raakt.

Maar hier komt de adder onder het gras: de robot die de tekst opdeelt is niet slechts een passieve schaar; het is een slimme, praatgrage hersenpan die al veel weet uit zijn eigen geheugen. Soms, wanneer de robot een zin uit het verhaal leest, wordt hij zo zelfverzekerd over zijn eigen geheugen dat hij per ongeluk de feiten uit het verhaal vervangt door wat hij denkt dat waar is. Het is alsof een student een geschiedenisboek leest dat zegt: "De oorlog begon in 1940," maar omdat de student er absoluut van overtuigd is dat het 1941 was, herschrijft hij zijn studienotities naar 1941. Hij heeft niet alleen een fout gemaakt; hij heeft de brontekst actief overschreven met zijn eigen overtuiging. Dit artikel onderzoekt precies dat moment van verwarring, waar het interne geheugen van de robot vecht met de tekst die hij zou moeten samenvatten, en vraat: gebeurt dit wel, en kunnen we het vangen?

De Grote Ontdekking van het Papier: Wanneer de "Feitencontroleur" Zichzelf Voorliegt

De onderzoeker achter deze studie, onder leiding van Yu-Feng Yen, besloot een sluipend probleem te onderzoeken in de manier waarop AI zijn eigen werk controleert. Ze noemen dit fenomeen Decomposition-Induced Context-Memory Conflict, of kortweg DI-CC.

Hier is het verhaal van wat zij ontdekten:

1. De "Magische Truc" van de Robothersenen
Het team zette een experiment op waarbij ze een AI vroegen om een biografie van een beroemd persoon op te delen in kleine beweringen. Ze veranderden stiekem één detail in de biografie (zoals een geboortejaar) om te zien of de AI het zou opmerken. Ze ontdekten dat wanneer de AI de instructie kreeg: "Hey, controleer je eigen geheugen als je denkt dat er iets niet klopt," de AI dat vaak ook deed—maar op de verkeerde manier. In plaats van vast te houden aan het verhaal, keek de AI naar het gewijzigde detail, realiseerde zich dat het niet overeenkwam met wat hij "wist" uit zijn training, en herschreef vervolgens de bewering om deze aan zijn eigen geheugen aan te passen, waarbij hij het verhaal dat hij eigenlijk moest samenvatten volledig negeerde.

Het is als een vertaler die een boek in het Frans leest. Als het boek zegt "De kat is blauw," maar de vertaler is er absoluut van overtuigd dat katten nooit blauw zijn, kan hij de vertaling "corrigeren" naar "De kat is zwart," zonder te beseffen dat hij zojuist het verhaal van de auteur heeft veranderd. Het papier laat zien dat dit niet zoma van een willekeurige glitch is; het is hetzelfde soort hersenverwarring dat optreedt wanneer een AI een directe vraag krijgt, maar dan eerder in het proces.

2. De Leugen Vangen met een "Leugendetector"
Om te bewijzen dat dit niet gewoon willekeurige onzin was die de AI uitvond, bouwde de onderzoeker een speciale "leugendetector". Ze trainden een simpel hulpmiddel op een ander soort probleem (waarbij een AI moet kiezen tussen een verhaal en zijn eigen geheugen). Daarna vroegen ze dit hulpmiddel om de hersenactiviteit van de AI te bekijken terwijl deze het verhaal aan het opdelen was.

De resultaten waren verrassend duidelijk. Het hulpmiddel kon de momenten waarop de AI de feiten uit het verhaal verving door zijn eigen overtuigingen detecteren met een nauwkeurigheid van 86% tot 88% (een score die AUC wordt genoemd). Dit is veel beter dan gokken. Het betekent dat de "verwarring" een specifieke vingerafdruk heeft in de hersenen van de AI die we kunnen zien, zelfs als we dit specifieke type fout nog nooit eerder hebben gezien.

3. Waarom de "Zelfcontrole" Faalde
De onderzoeker probeerde ook een populaire methode genaamd "SelfCheckGPT", die werkt door de AI tien keer dezelfde vraag te stellen en te kijken of hij telkens hetzelfde antwoord geeft. Als de antwoorden verschillen, gaat men ervan uit dat de AI liegt.

Het resultaat: Deze methode faalde volledig. Hij scoorde precies op 51%, wat in feep een muntworp is.
De reden: Het papier legt uit dat dit eigenlijk voorspelbaar is. Omdat de AI zo zelfverzekerd is over zijn eigen geheugen, geeft hij telkens hetzelfde foute antwoord. Omdat de antwoorden consistent zijn, denkt het "SelfCheck"-hulpmiddel: "Oh, het is consistent, dus het moet wel waar zijn!" Het hulpmiddel wordt gefopt omdat de AI te koppig is om van mening te veranderen, zelfs als hij ongelijk heeft.

4. De "Oplossing" die Dingen Verpest
Het team probeerde een bekende oplossing genaamd "Context-Aware Decoding" (CAD), wat zoiets is als tegen de AI zeggen: "Let alsjeblieft extra goed op het verhaal, niet op je geheugen."

Het goede nieuws: Het werkte! Het verminderde het aantal keren dat de AI feiten verving van 4,16% naar 2,57%.
Het slechte nieuws: Het kwam met een enorme prijs. Wanneer het verhaal veel voornaamwoorden bevat (zoals "hij," "zij," "zij/hen"), raakte de AI zo in de war door de regel te volgen dat hij de draad volledig kwijtraakte in 19,4% van de gevallen. In 84% van die fouten sloeg de AI niet alleen een detail over, maar verzon hij zelfs de identiteit van een ander persoon.
De conclusie: De auteur stelt dat deze oplossing nog niet klaar is voor gebruik in de echte wereld. Het is als een pleister die het bloeden stopt, maar de patiënt flauw laat vallen.

5. Hoe Groot Moet de Robot Zijn?
De onderzoeker testte verschillende groottes van AI-modellen om te zien of grotere hersenen beter waren in dit werk.

Kleine modellen (3 miljard parameters): Zij konden het signaal helemaal niet laten zien. Ze waren te simpel om dit specifieke soort conflict te vertonen.
Middelgrote modellen (7 miljard parameters): Zij toonden het conflict duidelijk aan.
Grote modellen (14 miljard parameters): Zij toonden dit conflict nog sterker aan, maar alleen als je naar het juiste deel van hun brein keek.
De les: Dit is geen probleem dat automatisch verbetert door de AI groter te maken. Er lijkt een "minimale grootte" vereist te zijn voordat dit specifieke soort verwarring überhaupt kan optreden.

6. Hoe Vaak Komt Dit Eigenlijk Voor?
Het belangrijkste deel van het papier is de eerlijkheid over hoe algemeen dit is. De bovenstaande experimenten gebruikten een speciale opzet waarbij de AI werd uitgenodigd om zijn eigen geheugen te controleren. Maar in de echte wereld vragen we de AI meestal om een samenvatting te maken zonder die uitnodiging.

De realiteitscheck: Wanneer de onderzoeker naar natuurlijke, onbewerkte tekst keek, kwam dit specifieke type feit-vervanging extreem weinig voor. Het gebeurde in slechts 0,2% tot 0,4% van de beweringen.
Waarom? Echte hallucinaties (leugens) gebeuren meestal in gebieden waar de AI het antwoord niet weet. Dit specifieijke probleem (DI-CC) gebeurt alleen wanneer de AI het antwoord wel weet, maar besluit het verhaal toch te negeren.

De Kern van het Verhaal

Dit papier bewijst dat wanneer AI teksten opdeelt in kleine stukjes, hij soms zo zelfverzekerd kan worden over zijn eigen geheugen dat hij het verhaal herschrijft om te passen bij wat hij denkt dat waar is. We kunnen dit detecteren met een speciaal hulpmiddel, en we kunnen het zelfs verminderen met een specifieke techniek, maar die techniek zorgt momenteel ervoor dat de AI neppersonen verzint.

Bovenal waarschuwt de auteur ons om niet in paniek te raken. Hoewel dit een echt en meetbaar defect is, komt het in natuurlijke situaties zeer zelden voor. Het is een specifiek soort "overmoed" dat alleen onder bepaalde omstandigheden optreedt, en het is geen bug die alles wat de AI doet ruïneert. Het papier biedt nog geen perfecte oplossing, maar geeft ons wel een veel duidelijker beeld van waar het probleem ligt en hoe groot het werkelijk is.

Technische Samenvatting: Decompositie-geïnduceerd Context-geheugen Conflict (DI-CC)

1. Probleemdefinitie

Evaluatie van feitelijkheid en detectie van hallucinaties bij lange teksten leunen steeds vaker op decompose-then-verify-pipelines (bijv. FActScore, DnDScore). In dit paradigma splitst een taalmodel (de "decomposer") een gegenereerde passage op in atomaire claims, die vervolgens onafhankelijk worden geverifieerd tegen een referentie. Deze decompositiestap wordt traditioneel beschouwd als een neutrale boekhoudkundige taak.

Decomposers zijn echter zelf taalmodellen die gevoelig zijn voor context-geheugen conflict: de neiging om de eigen parametrische kennis te substitueren voor informatie uit de context wanneer deze twee met elkaar in strijd zijn. Dit artikel onderzoekt of deze foutmodus optreedt binnen de decompositiefase zelf.

De auteur definieert Decompositie-geïnduceerd Context-geheugen Conflict (DI-CC) als een specifieke foutmodus waarbij een decomposer, bij het omzetten van een bronpassage $R$ naar atomaire claims $c_i$ , een claim produceert die:

Niet wordt gerechtvaardigd door de brontekst $R$ .
Inhoud bevat die herleidbaar is naar de eigen parametrische kennis van de decomposer (herstelbaar via closed-book probing).
Direct in strijd is met informatie die expliciet in $R$ staat vermeld.

Dit wordt onderscheiden van Decompositie-geïnduceerde Ononderbouwde Elaboratie (DI-UE), waarbij het model inhoud injecteert die een gat in $R$ opvult zonder het te tegenspreken. Beiden delen hetzelfde injectiemechanisme, maar alleen DI-CC vertegenwoordigt een strikt conflict.

2. Methodologie en Experimenteel Ontwerp

De studie gebruikt een meerfasige aanpak om het bestaan, het mechanisme en de grenzen van DI-CC te valideren.

A. Mechanistische Validatie (H0)
Om te bewijzen dat DI-CC mechanistisch identiek is aan klassiek context-geheugen conflict (in plaats van een afzonderlijke vorm van hallucinatie), gebruikt de auteur een lineaire probe die uitsluitend is getraind op klassieke conflictdata (NQ-Swap dataset).

Opzet: De probe wordt getraind op activatievectoren van NQ-Swap (waar context en parametrische kennis verschillen) en is daarna bevroren. Vervolgens wordt deze zero-shot toegepast op de activatievectoren van een decomposer die atomaire claims genereert.
Hypothese: Als DI-CC hetzelfde onderliggende mechanisme deelt als klassiek conflict, zou de probe de DI-CC posities succesvol moeten kunnen onderscheiden van getrouwe decomposities en niet-tegensprekende elaboraties (DI-UE), ondanks het feit dat de probe tijdens de training nooit decompositiedata heeft gezien.
Dataconstructie: Om voldoende statistische kracht te garanderen, gebruikt de auteur een geëliciteerde constructie. Ze genereren biografieën met gemanipuleerde details (bijv. verschoven jaartallen) en bieden een instructie aan die de decomposer expliciet toestemming geeft om feiten te controleren tegen de eigen kennis en fouten te corrigeren. Deze "licentiëring" is empirisch aangetoond een noodzakelijke voorwaarde te zijn voor het manifesteren van DI-CC; neutrale instructies leveren een bijna nulprocent DI-CC rate op.
Baseline Vergelijking: De studie vergelijkt deze mechanistische aanpak met SelfCheckGPT, een referentievrije baseline die vertrouwt op self-consistency sampling (het detecteren van hallucinaties via discrepantie tussen her-samples).

B. Natuurlijke Rate Analyse (H1)
De auteur onderzoekt de prevalentie van DI-CC onder niet-geëliciteerde, natuurlijke condities met behulp van FActScore's ongelabelde data en neutrale decompositie-instructies. Ze regregeren de injectierate tegen tekstuele "elliptische eigenschappen" (pronomen-dichtheid, lage entiteitsdichtheid) om te zien of schaarse tekst meer conflicten triggert.

C. Mitigatie Studie (H3)
Het artikel test Context-Aware Decoding (CAD), een training-vrije mitigatietechniek uit klassieke conflict-settings, aangepast voor de decompositie-pipeline. CAD contrasteert de output-distributie geconditioneerd op de context met de distributie zonder context om de aandacht op de brontekst te versterken.

D. Schaal Ablatie (H4)
De auteur test het signaal over verschillende model-schalen (3B, 7B, 14B) om te bepalen of het fenomeen schaalafhankelijk is. Een cruciale methodologische aanpassing wordt hier gemaakt: de auteur stapt over van standaard held-out accuratesse voor laagselectie naar een variantie-ratio criterium (tussen-klasse versus binnen-klasse variantie), verwijzend naar literatuur die suggereert dat accuratesse een slechte proxy is voor out-of-distribution transfer in probing-taken.

3. Belangrijkste Resultaten

Mechanistische Realisatie (Hoofdvraag)

Prestaties van de Probe: Een probe getraind op enkel klassieke conflictdata detecteert DI-CC in decompositie-activaties succesvol via zero-shot.
- AUC: 0.86–0.88 (95% CI sluit kans uit) voor het onderscheiden van DI-CC van getrouwe claims en DI-UE.
- Significantie: Permutatie $p < 0.0005$ .
- Replicatie: De effectgrootte van een initiële $n=14$ pilot wordt gereproduceerd bij een grotere $n=64$ steekproef, waarbij elke positieve casus onafhankelijk door mensen is geverifieerd.
Baseline Falen: SelfCheckGPT faalt bij het detecteren van DI-CC (AUC $\approx$ $\approx$ 0.51, niveau van toeval).
- Mechanistische Verklaring: DI-CC betreft stabiele, herstelbare parametrische inhoud. Daarom komt het consistent terug in her-samples, waardoor het "betrouwbaar" lijkt voor self-consistency methoden. In contrast hiermee varieert DI-UE (het invullen van gaten) meer tussen her-samples, wat door SelfCheckGPT als onbetrouwbaar wordt gemarkeerd.

Natuurlijke Voorkomst Rate

Onder natuurlijke, niet-geëliciteerde instructies is de DI-CC rate extreem laag (0,2–0,4% van de atomaire claims).
De rate is te schaars om betrouwbaar te kunnen regreren tegen tekstuele kenmerken.
Randvoorwaarde: DI-CC manifesteert zich niet bij natuurlijk voorkomende hallucinerende tekst in FActScore benchmarks. Reële hallucinaties treden meestal op bij kennisgaten (waar het model geen mening heeft) in plaats van het overschrijven van correcte overtuigingen, wat de specifieke voorwaarde is voor DI-CC.

Mitigatie en Trade-offs

Onderdrukking: CAD vermindert de DI-CC rate significant van 4,16% naar 2,57% ( $p = 0.000041$ ).
Erstige Kosten: Onder co-referentie-rijke condities faalt 19,4% van de decomposities volledig in het parsen onder CAD.
Aard van het Falen: 84% van deze parseerfouten betreft het fabriceren van de identiteit van een ander persoon door de decomposer, in plaats van enkel detail weglaten.
Conclusie: De auteur beschouwt deze implementatie niet als klaar voor gebruik vanwege de faithfulness-completeness trade-off.

Schaal en Laagselectie

3B Model: Vertoont geen signaal onder zowel accuratesse-gebaseerde als variantie-ratio laagselectie.
7B Model: Slaagt onder beide criteria.
14B Model: Slaagt onder variantie-ratio selectie (AUC 0.983), maar faalt onder accuratesse-gebaseerde selectie.
Interpretatie: Het signaal lijkt een capaciteitsdrempel te hebben tussen 3B en 7B. De erratische resultaten bij 14B onder accuratesse-selectie worden toegeschreven aan de slechte transfer-eigenschappen van accuratesse-gebaseerde laagselectie, niet aan de cognitie van het model.

4. Betekenis en Claims

Het artikel stelt vast dat DI-CC een reëel, mechanistisch gefundeerd en gedeeltelijk behandelbaar falen is van decompose-then-verify-pipelines.

Mechanistische Continuïteit: De primaire bijdrage is het aantonen dat decompositie-gerelateerde fouten niet louter "dingen toevoegen" zijn, maar hetzelfde fenomeen zijn als klassiek context-geheugen conflict, dat één pipeline-stap eerder optreedt dan voorheen onderzocht.
Methodologische Rigor: De studie benadrukt dat de selectie van de probing-laag een dominante factor is bij het detecteren van deze signalen. Het toont aan dat accuratesse-gebaseerde selectie inconsistente transfer-signalen kan opleveren over verschillende schalen, terwijl variantie-ratio selectie (gegrond in OOD-generalisatie literatuur) een coherente capaciteitsdrempel onthult.
Omvang en Bescheidenheid: De auteur beperkt de claims over de prevalentie expliciet. Er wordt gesteld dat hoewel het mechanisme bestaat en detecteerbaar is onder geëliciteerde condities, de natuurlijke voorkomst rate momenteel te laag is om betrouwbaar te karakteriseren. De auteur beweert niet het probleem te hebben opgelost; in plaats daarvan wordt de grens van de foutmodus beschreven en wordt aangetoond dat bestaande mitigaties (CAD) ernstige, voorheen ongerapporteerde bijwerkingen introduceren (identiteitsfabricage).

Samenvattend betoogt het artikel dat decompositie geen neutrale voorverwerkingsstap is, maar een plek waar parametrische overtuigingen de brontekst actief kunnen overschrijven—een fenomeen dat detecteerbaar is via mechanistische probes, maar ongrijpbaar blijft voor standaard self-consistency baselines en moeilijk te mitigeren is zonder de volledigheid in gevaar te brengen.