💬 NLP

Where Knowledge Collides: A Mechanistic Study of Intra-Memory Knowledge Conflict in Language Models

Dit artikel presenteert een mechanistische studie naar intra-geheugen kennisconflicten in taalmodellen, waarbij wordt onthuld dat dergelijke conflicten doorgaans in de laatste lagen worden opgelost via afzonderlijke circuits in plaats van via een universeel mechanisme, en dat interventies aanzienlijk minder effectief zijn bij real-world conflicten vergeleken met synthetische conflicten vanwege verschillen in de distributie van gespecialiseerde attention heads.

Oorspronkelijke auteurs: Minh Vu Pham, Hsuvas Borkakoty, Yufang Hou

Gepubliceerd 2026-08-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minh Vu Pham, Hsuvas Borkakoty, Yufang Hou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantisch, digitaal brein voor dat bijna alles op het internet heeft gelezen. Dit brein, bekend als een Large Language Model (LLM), is als een superintelligente bibliothecaris die vragen kan beantwoorden, verhalen kan schrijven en problemen kan oplossen. Maar hier is de crux: soms raakt deze bibliothecaris in de war. Als je vraagt: "Waar ging Niels naar school?", kan de bibliothecaris tegelijkertijd twee verschillende antwoorden onthouden. Misschien zegt een deel van zijn geheugen "Universiteit van A", terwijl een ander deel volhoudt "Universiteit van B". Dit komt niet doordat de bibliothecaris naar een nieuw boek kijkt (externe informatie); het komt doordat de interne aantekeningen van de bibliothecaris zelf een rommeltje zijn. Wetenschappers noemen dit "intra-memory knowledge conflict" (kennisconflict binnen het geheugen). Het is een beetje alsof je twee verschillende versies van hetzelfde verhaal hebt geschreven in hetzelfde schrift, en de bibliothecaris niet weet welke hij hardop moet voorlezen. Dit is een groot probleem, want als deze AI-systemen vertrouwd moeten worden met taken in de echte wereld, moeten ze stoppen met hallucineren of tegenstrijdige antwoorden geven. Onderzoekers willen weten: waar in het digitale brein vindt deze verwarring precies plaats, en kunnen we het specifieke deel dat de verwarring veroorzaakt repareren?

Dit artikel, getiteld "Where Knowledge Collides", duikt diep in de binnenwereld van deze AI-breinen om de bron van de verwarring te vinden. De auteurs bouwden een speciale testomgeving met behulp van vier verschillende AI-modellen. Ze creëerden een dataset van fictieve biografieën — denk aan nep-Wikipedia-pagina's over mensen die niet bestaan — waar ze doelbewust tegenstrijdige feiten in hebben geplant. Bijvoorbeeld, ze vertelden de AI dat een fictieve persoon genaamd "Niels Cavalli" afstudeerde aan de "Universiteit van Ukopnwm", maar vertelden de AI daarnaast dat dezelfde Niels afstudeerde aan de "Universiteit van Ohfgrgr". Door de AI te trainen op deze door elkaar gehusselde verhalen, creëerden ze een gecontroleerde omgeving waarin het model moest twee tegenstrijdige feiten tegelijkertijd in zijn hoofd te houden.

Om te begrijpen wat er aan de hand was, gebruikten de onderzoekers een techniek genaand "mechanistic interpretability" (mechanistische interpreteerbaarheid). Stel je de AI voor als een fabriek met meerdere verdiepingen waar informatie van de onderste naar de bovenste verdieping stroomt. Elke verdieping heeft werkers (genaamd "layers" of lagen) en specifieke teams binnen die verdiepingen (genaamd "attention heads" of aandachtskoppen) die verschillende delen van de klus afhandelen. De onderzoekers gebruikten een tool genaamd een "logit lens" om in elke verdieping van de fabriek in te kijken en te zien hoe het vertrouwen van de AI veranderde terwijl het de vraag verwerkte. Ze ontdekten iets zeer consistente: de verwarring gebeurde niet aan het begin of in het midden van de fabriek. In plaats daarvan barstte het conflict altijd los in de laatste paar lagen. Het is also en de AI het grootste deel van de tijd doorbrengt met het verzamelen van feiten, maar vlak aan het einde, net voordat hij spreekt, botsen de twee tegenstrijdige herinneringen op elkaar, waardoor het model wankelt en onzeker wordt.

Het team probeerde het probleem vervolgens op te lossen door de AI te "patchen". Dit is alsof je in de fabriek reikt en het werk van een specifiek team vervangt door het werk van een team dat het juiste antwoord weet. Ze probeerden twee hoofdbenaderingen: het repareren van een hele verdieping (layer-wise intervention) of het repareren van slechts één specifiek team (head-level intervention). De resultaten waren duidelijk: het repareren van de hele verdieping was oké, maar het repareren van het specifieke team was veel, veel beter. Sterker nog, door specifiek de "attention heads" aan te pakken die verantwoordelijk waren voor het foute feit, konden ze de AI met grote successen richting het juiste antwoord sturen. Ze ontdekten zelfs dat er in hun fictieve, gecontroleerde wereld vaak "specialistische" heads waren die alleen om één specifiek feit gaven. Echter, toen ze dit op echte gegevens probeerden (met een dataset genaamd DynamicQA met werkelijke, rommelige menselijke kennis), waren de reparaties minder effectief. Dit suggereert dat conflicten in de echte wereld verstrengelder en moeilijker te ontwarren zijn dan de schone, synthetische conflicten die ze in het lab creëerden.

Een van de meest interessante zaken waar het artikel juist tegenin gaat, is het idee van een "universeel circuit". Je zou kunnen denken dat alle AI-modellen één specifieke, toegewezen schakelaar of pad hebben dat alle kennisconflicten afhandelt, zoals een "conflictresolutieknop". De auteurs suggereren dat dit waarschijnlijk niet waar is. In plaats daarvan wijzen hun bevindingen op het idee dat verschillende stukjes kennis in verschillende, aparte circuits zijn opgeslagen. Het uiteindelijke antwoord dat de AI geeft, hangt af van welk van deze concurrerende circuits het sterkste signaal krijgt van jouw vraag. Er is niet één enkele "conflictmanager"; het is meer een touwtrekken tussen verschillende groepen werkers, en degene die het hardst trekt, wint.

De onderzoekers merkten ook op dat een van de modellen, GPT-2 XL, moeilijker te repareren was dan de andere. Ze concludeerden dat dit niet kwam omdat het model kapot was, maar simpelweg omdat het groter was. Het had veel meer "werkers" (attention heads), waardoor ze een groter aantal van hen moesten repareren om dezelfde resultaten te zien als bij de kleinere modellen. Het is alsof je een verkeersopstopping probeert op te lossen in een klein dorpje versus een enorme stad; je moet meer auto's in de stad wegwerken om dezelfde doorstroming te krijgen.

Uiteindelijk geeft deze studie ons de eerste echte kaart van waar deze interne conflicten plaatsvinden. Het vertelt ons dat de strijd tussen conflicterende feiten plaatsvindt vlak bij de finishlijn van het denkproces van de AI. Hoewel we deze conflicten in de rommelige echte wereld nog niet perfect kunnen oplossen, suggereert het artikel dat we, door de specifieke, kleine teams aan te pakken die verantwoordelijk zijn voor de foute feiten, deze AI-systemen betrouwbaarder kunnen maken. Het is een cruciale stap naar het bouwen van AI die niet alleen slim klinkt, maar ook echt weet waar het over praat.

Technische Samenvatting: Waar Kennis Botst: Een Mechanistische Studie naar Intra-geheugen Kennisconflict in Taalmodellen

Probleemdefinitie

Grote taalmodellen (LLM's) worden geconfronteerd met een kritieke betrouwbaarheidsuitdaging die bekend staat als intra-geheugen kennisconflict. Dit treedt op wanneer inconsistente informatie over hetzelfde onderwerp is gecodeerd binnen de parametrische kennis van het model, wat leidt tot instabiele interne representaties waarbij verschillende prompts conflicterende feitelijke associaties oproepen. Terwijl eerder onderzoek uitgebreid heeft gefocust op context-geheugen conflicten (het oplossen van spanningen tussen interne kennis en externe context via fine-tuning of kennisbewerking), blijven de mechanismen die intra-geheugen conflicten aansturen grotendeels onverkend. Specifiek is het onbekend waar binnen de architectuur van het model deze conflicten ontstaan, welke componenten verantwoordelijk zijn voor het oplossen ervan, en hoe effectief gerichte interventies het gedrag van het model kunnen veranderen om deze conflicten op te lossen.

Methodologie

De auteurs stellen een mechanistisch interpreteerbaar kader voor om intra-geheugen conflicten te lokaliseren en causaal te interveniëren. De studie maakt gebruik van een driefasige pijplijn:

Dataset Constructie:
- Synthetische Data (SynWikiBio): Een gecureerde dataset van Wikipedia-stijl biografieën voor synthetische entiteiten. De auteurs genereerden 2.000 unieke individuen, waarbij ze 1.000 paren conflicterende biografieën (bijv. verschillend universiteit of bedrijf) en 1.000 conflictvrije biografieën creëerden. Dit maakt gecontroleerde experimenten mogelijk waarbij de grondwaarheid en conflicterende feiten precies gedefinieerd zijn.
- Real-World Data (DynamicQA): Om generaliseerbaarheid te testen, gebruikten de auteurs de DynamicQA-dataset, die statische, temporele en betwistbare feiten bevat. Zij construeerden conflicterende contexten door feitelijke kennis te vervangen door contrafeitelijke informatie die in de dataset aanwezig is.
Model Training:
- Vier LLM's van variërende architecturen en schalen werden geëvalueerd: GPT-2 XL (1.5B), Llama-3.2-1B, OPT-2.7B en Qwen3-4B.
- $\ell_{mix}$ : Modellen werden verder getraind via continued pre-training op de gemengde dataset ( $B_{mix}$ ) die zowel conflicterende als conflictvrije biografieën bevat, wat resulteert in modellen met interne kennisconflicten.
- $\ell_{clean}$ : Modellen werden verder getraind op een conflictvrije subset ( $B_{clean}$ ), dienend als referentie voor niet-conflicterende parametrische representaties.
Causale Probing en Interventie:
- Logit Lens: Gebruikt om de representaties in de residual stream per laag te inspecteren om te lokaliseren waar conflicterende kennis wordt gecodeerd en hoe de voorspellingszekerheid evolueert.
- Activation Patching: Een causale traceermethode waarbij activaties van een "bron"-prompt (conflictvrij) worden gepatcht in een "doel"-prompt (conflicterend) om de causale bijdrage van specifieke componenten (lagen of koppen/heads) aan de output van het model te meten.
- Cross-Model Activation Patching (CMAP): Een geavanceerde variant waarbij activaties afkomstig zijn van het schone model ( $\ell_{clean}$ ) en worden geïnjecteerd in het conflicterende model ( $\ell_{mix}$ ). Dit mitigeert problemen waarbij het vinden van een niet-conflicterende bronprompt binnen dezelfde dataset moeilijk is of gevoelig is voor verstrengeling.
- Interventietechnieken: De studie maakte gebruik van Activation Patching, Zero Ablation (het op nul zetten van activaties) en JUICE (het versterken van specifieke head-activaties) om het vermogen te testen om modelvoorspellingen weg te sturen van conflicterende feiten.

Belangrijkste Resultaten

1. Lokalisatie van Conflict

In alle vier de geteste modellen ontstaan en worden intra-geheugen conflicten consistent in de laatste paar lagen van het netwerk opgelost.

Evolutie van Zekerheid: Analyse van entropie en KL-divergentie laat zien dat modellen met en zonder conflicterende kennis vergelijkbaar convergeren door de middelste lagen. Divergentie vindt pas plaats in de laatste lagen (bijv. lagen 40–47 in GPT-2 XL), waar het conflicterende model een toenemende onzekerheid vertoont terwijl het niet-conflicterende model blijft convergeren naar een zekere voorspelling.
Component Specificiteit: Attention-componenten vertonen sterkere geaggregeerde bijdragen aan conflictresolutie dan MLP-componenten.

2. Effectiviteit van Interventies

Head-Level vs. Layer-Level: Gerichte interventies op het niveau van de attention-heads presteren significant beter dan interventies op laag-niveau.
Synthetisch vs. Real-World Gap: Interventies zijn aanzienlijk effectiever op de synthetische SynWikiBio-dataset dan op de real-world DynamicQA-dataset.
- Bijvoorbeeld, in GPT-2 XL daalde de Steering Success Rate (SSR) voor laag-gewijze patching van 0.214 (synthetisch) naar 0.141 (real-world).
- Filtering-analyse suggereert dat dit gat bestaat omdat synthetische conflicten vaak vertrouwen op heads die gespecialiseerd zijn voor één enkel concurrerend feit, terwijl real-world conflicten betrokken zijn bij complexere, minder gespecialiseerde beslissings-heads door ongecontroleerde datadistributies.
Prestaties van Methoden:
- JUICE bleek de meest robuuste interventiemethode over verschillende modellen en datasets heen.
- CMAP presteerde vergelijkbaar met standaard Activation Patching op synthetische data en bood een meer praktische opzet voor real-world kennisconflicten waarbij het vinden van een "schone" bronprompt moeilijk is.

3. Model-schaal en Architectuur Afhankelijkheden

GPT-2 XL Anomalie: GPT-2 XL vertoonde aanvankelijk lagere interventie-succespercentages. Verdere analyse toonde aan dat dit kwam door het grotere totale aantal attention heads (1.200). Wanneer het aantal geïnt intervenirende heads proportioneel werd geschaald, stemde de prestatie-trend overeen met andere modellen, wat suggereert dat de taakrelevante signalen over een breder scala aan heads verdeeld zijn in GPT-2 XL vergeleken met modellen zoals OPT-2.7B of Qwen3-4B.
Geen Universeel Circuit: De studie vond geen bewijs voor een enkel, universeel circuit dat gewijd is aan het afhandelen van kennisconflicten over alle modellen of onderwerpen. In plaats daarvan lijken onderscheidende circuits verschillende stukken parametrische kennis te coderen, waarbij de uiteindelijke voorspelling wordt bepaald door welk circuit-signaal het sterkst wordt geactiveerd door de input-prompt.

Betekenis en Claims

Het artikel claimt de eerste mechanistische verklaring te bieden voor de resolutie van intra-geheugen kennisconflicten in LM's. De primaire bijdragen zijn:

Lokalisatie: Het vaststellen dat interne conflicten niet uniform verdeeld zijn maar gelokaliseerd zijn in de laatste lagen en specifieke attention heads.
Interventie Hiërarchie: Het aantonen dat fijnmazige, head-level interventies superieur zijn aan grove laag-level interventies, vooral wanneer specifieke heads worden aangepakt.
Methodologische Vooruitgang: Het valideren van Cross-Model Activation Patching (CMAP) als een levensvatbaar en vaak noodzakelijk alternatief voor standaard Activation Patching bij het bestuderen van real-world kennisconflicten.
Synthetisch-Real Gap: Het benadrukken van een aanzienlijk prestatieverschil tussen synthetische en real-world settings, wat onderstreept dat hoewel synthetische datasets nuttig zijn voor mechanistische ontdekking, de complexiteit van real-world data (bias, ruis, entiteitsdistributie) conflictresolutie aanzienlijk bemoeilijkt.

De auteurs concluderen dat LM's niet vertrouwen op één enkele "conflictresolutie"-module, maar eerder op een competitie tussen verschillende circuits die verschillende feiten coderen. Dit suggereert dat het sturen van modelgedrag vereist dat men gewenste signalen versterkt of concurrerende signalen onderdrukt op het specifieke head-niveau, in plaats van brede architecturale veranderingen toe te passen. De studie erkent beperkingen, waaronder het vertrouwen op Logit Lens-projecties (die minder betrouwbaar zijn in vroege lagen) en het gebruik van synthetische conflicten die de statistische eigenschappen van natuurlijk voorkomende pre-training conflicten mogelijk niet perfect weerspiegelen.