💬 NLP

Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process

Dit artikel onthult dat feitelijke extractie in grote taalmodellen steunt op redundante, gedistribueerde en niet-aaneengesloten computationele paden over meerdere lagen, wat de aanname van gelokaliseerde kennisopslag uitdaagt en de geobserveerde mismatch bij kennisbewerking verklaart.

Oorspronkelijke auteurs: Hail Hochman, Natalie Shapira, Yoav Goldberg

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hail Hochman, Natalie Shapira, Yoav Goldberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, meervoudige bibliotheek waar elk boek een klein stukje van de wereldwijde kennis bevat. Lange tijd dachten onderzoekers dat als je een specifieke feit wilde vinden — zoals "Wat is de moedertaal van Angela Merkel?" — het antwoord in één specifieke kamer werd opgeslagen (een specifieke laag van het model) en in een rechte lijn, verdieping voor verdieping, werd opgehaald.

Dit artikel betoogt dat de werkelijkheid veel chaotischer, flexibeler en redundanter is. Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Niet-Aaneengesloten" Liftrit

Het Oude Idee: Om een antwoord te krijgen, stopt de interne "lift" van het model (de gegevensverwerking) op elke verdieping, waarbij de informatie op elke stap wordt gecontroleerd, van de begane grond tot de bovenste verdieping.

De Ontdekking van het Papier: De lift stopt niet op elke verdieping. Sterker nog, de lift slaat vaak hele verdiepingen over.

De Analogie: Stel je voor dat je een pakketje moet laten bezorgen. Je hebt niet nodig dat de bezorgwagen bij elk huis in de straat stopt. Soms kan de wagen direct van de 2e verdieping naar de 8e verdieping springen, de tussenliggende verdiepingen negerend, en nog steeds het pakketje bij de juiste deur afleveren.
De Bevinding: De auteurs ontdekten dat het model om een feit op te halen slechts een specifieke, verspreide set lagen nodig heeft. Het kan de informatie door het netwerk "teleporteren", waarbij het veel tussenliggende stappen overslaat die voor dat specifieke feit onnodig blijken te zijn.

2. De "Redundante Reservepaden"

Het Oude Idee: Er is één "juist" pad om een feit te vinden. Als je dat pad blokkeert, faalt het model.

De Ontdekking van het Papier: Het model heeft meerdere reservepaden die net zo goed werken.

De Analogie: Denk aan een stad met een hoofdweg. Als je de hoofdweg blokkeert, staat het verkeer niet stil; het wijkt onmiddellijk uit naar een complex netwerk van zijwegen, achterafstraatjes en zelfs een andere snelweg die een langere, meer kronkelende route neemt. Beide routes brengen je bij dezelfde bestemming, maar ze zien er volkomen anders uit.
De Bevinding: Voor bijna elk feit dat ze testten, vonden de onderzoekers een "primair pad" (de kortste, meest efficiënte route) en minstens één "alternatief pad" (een langere, diepere route). Als je het primaire pad blokkeert, kan het model het antwoord nog steeds vinden via het alternatieve pad. Dit betekent dat de kennis niet op slechts één plek is opgeslagen; het is gedistribueerd en redundant.

3. Het "Minimale Team" versus Het Volledige Orkest

Het Oude Idee: Het hele model werkt samen om elk antwoord te genereren.

De Ontdekking van het Papier: Je hebt slechts een klein, specifiek team van lagen nodig om de klus te klaren.

De Analogie: Stel je een symfonieorkest voor dat een lied speelt. Je zou kunnen aannemen dat elke muzikant nodig is voor elke noot. Maar de auteurs ontdekten dat voor een specifiek feit slechts een paar specifieke muzikanten (lagen) daadwerkelijk de noten spelen. De rest van het orkest is in essentie stil of doet iets anders.
De Bevinding: Ze identificeerden een "minimaal attribuut-computatiepad". Dit is de kleinste groep lagen die nodig is om het juiste antwoord te produceren. Verrassend genoeg eindigt deze groep vaak in het midden van het model. Zodra de informatie door deze paar lagen is verwerkt, hoeft de rest van het model geen zwaar werk meer te verrichten om het antwoord te weten.

4. Het Mysterie van de "Bewerkingsmismatch"

Het Oude Idee: Als je een feit in het model wilt veranderen (bijv. "Merkels taal is Duits" veranderen naar "Frans"), moet je de specifieke laag bewerken waar dat feit is opgeslagen.

De Ontdekking van het Papier: Waar een feit wordt "opgeslagen" en waar je het moet "bewerken" zijn vaak verschillende plaatsen.

De Analogie: Stel je een fabriekslijn voor. Het onderdeel dat het product maakt, bevindt zich misschien aan het begin van de lijn, maar het onderdeel dat een fout herstelt, bevindt zich misschien helemaal aan het einde. Als je probeert het product aan het begin te repareren, kun je de machine beschadigen.
De Bevinding: Omdat het model deze verspreide, redundante paden gebruikt, is het simpelweg vinden van de laag waar de data eruitziet als het antwoord, niet voldoende. Om een feit succesvol te bewerken, moet je vaak ingrijpen op een specifiek "transformatie-stadium" in het pad, en niet noodzakelijkerwijs daar waar de kennis lijkt te zitten.

Samenvatting van het "Grote Plaatje"

De auteurs concluderen dat de manier waarop LLM's feiten opslaan en ophalen niet lijkt op een archiefkast waar je een enkele lade uittrekt. In plaats daarvan is het als een zeer flexibel, redundant neuraal netwerk waarbij:

Kennis is gedistribueerd: Het is verspreid over vele lagen, niet opgesloten in één.
Paden zijn flexibel: Het model kan korte, directe routes nemen of lange, kronkelende reservepaden gebruiken om hetzelfde antwoord te vinden.
Overslaan is normaal: Het model negeert vaak tussenliggende lagen en springt direct naar waar de informatie nodig is.

Dit verklaart waarom AI-modellen zo robuust zijn (ze hebben reserves) maar ook waarom het zo moeilijk is om precies aan te wijzen "waar" een feit leeft of hoe je het betrouwbaar kunt veranderen. Het proces is een complexe, meerstaps dans die op een niet-lineaire, verspreide manier plaatsvindt.

Technisch overzicht: Feitelijke extractie in LLM's is een redundant, gedistribueerd en niet-aaneengesloten proces

Probleemstelling

Hoewel Large Language Models (LLM's) aantoonbaar feitelijke kennis opslaan en ophalen (bijv. "Duits" voorspellen voor "De moedertaal van Angela Merkel is"), blijft het precieze mechanisme waarmee entiteitsrepresentaties worden getransformeerd om specifieke attribuutextractie mogelijk te maken, onderbelicht. Bestaande literatuur stelt dat feitelijke extractie plaatsvindt bij de laatste entiteit-tokenpositie en een driestaps-proces omvat: entiteitsconsolidatie, entiteitsverrijking (het laden van attributen via MLPs) en attribuutextractie. Het is echter onduidelijk welke causale berekeningen vereist zijn om een entiteitsrepresentatie te transformeren naar een staat die voldoende is voor attribuutextractie. Het is ambigu of extractie een continue accumulatie van informatie over lagen is of een discrete staat die op een specifiek punt wordt bereikt, en of het proces leunt op een enkel, gelokaliseerd circuit of een gedistribueerd mechanisme.

Methodologie

De auteurs stellen een raamwerk voor dat gecentreerd is rond het attribuut-computatiepad: een sequentie van computationele stappen (transformerlagen) over een entiteitsrepresentatie die nodig zijn om een doelattribuut op te roepen. Het kernobjectief is het identificeren van een minimaal attribuut-computatiepad—een subset van lagen die zowel voldoende als noodzakelijk is voor de berekening, waarbij het verwijderen van een willekeurige laag de output verstoort.

Om dit te bereiken, introduceren de auteurs een nieuw iteratief activation-patching protocol bestaande uit drie hoofdfasen:

Het lokaliseren van het eindpunt ( $\ell_{attr}$ ):
Met behulp van een operatie genaamd lock, patchen de auteurs de entiteitsrepresentatie van een specifieke laag $\ell$ naar alle daaropvolgende lagen. Ze identificeren de vroegste laag $\ell_{attr}$ waarvoor het vastzetten (locking) van de representatie op dit punt de correcte attribuutvoorspelling behoudt. Dit stelt een bovengrens vast voor het minimale pad, wat bevestigt dat er geen verdere verwerking meer nodig is na deze laag voor het attribuut volledig beschikbaar te zijn.
Identificatie van het minimale pad (Iteratieve Greedy Search):
Beginnend bij de entiteitsembedding voert het algoritme een greedy search uit om de minimale sequentie van lagen te vinden. Het maakt gebruik van counterfactual prompts (bijv. "Angela Merkel" vervangen door "Bill Gates") om een isolate operatie te definiëren. In deze operatie:
- Ontvangt de eerste laag van het kandidaat-pad de schone entiteitsembedding.
- Ontvangen opeenvolgende lagen in het pad de berekende output van de vorige laag in het pad.
- Ontvangen alle tussenliggende lagen tussen de padlagen de activaties van de counterfactual run.
  Het algoritme breidt het pad iteratief uit door zoveel mogelijk lagen over te slaan terwijl de geldigheid van de voorspelling behouden blijft (d.w.z. het model geeft nog steeds het correcte attribuut uit). Dit zorgt ervoor dat het resulterende pad minimaal en niet-aaneengesloten is.
Ontdekken van alternatieve paden:
Door de beperking te versoepelen dat het pad moet eindigen bij $\ell_{attr}$ en de zoektocht toe te staan zich uit te breiden naar diepere lagen, identificeren de auteurs alternatieve minimale paden. Deze paden zijn functioneel equivalent aan het primaire pad, maar verschillen in lengte, diepte en de compositie van de lagen.

De methode werd toegepast op LLaMA 3.1 8B (32 lagen) en Qwen3 8B (36 lagen) met behulp van 2.000 prompts uit de CounterFact dataset.

Belangrijkste resultaten

1. Niet-aaneengeslotenheid en Sparsity

Minimale attribuut-computatiepaden zijn frequent niet-aaneengesloten. De modellen slaan vaak tussenliggende lagen volledig over tijdens het extractieproces.

LLaMA: 33,1% van de paden slaat ten minste één laag over (gemiddelde skip-grootte: 0,7).
Qwen: 78,6% van de paden slaat ten minste één laag over (gemiddelde skip-grootte: 2,0).
Dit geeft aan dat feitelijke kennisextractie geen continue stroom door elke laag vereist; in plaats daarvan voert een ijle (sparse) subset van lagen de noodzakelijke transformaties uit.

2. Gedistribueerde en Meerstaps-verwerking

In tegenstelling tot de hypothese dat een enkele laag of een smalle reeks lagen verantwoordelijk is voor extractie, omvatten minimale paden consistent meerdere lagen (gemiddelde padlengte: ~5,9 voor LLaMA, ~7,9 voor Qwen). De entiteitsrepresentatie moet verschillende afzonderlijke transformaties ondergaan voordat het attribuut volledig beschikbaar is.

3. Redundantie en Alternatieve Paden

De studie onthult een hoge mate van redundantie. Voor de meerderheid van de geëxploreerde feiten:

LLaMA: 80,1% van de gevallen heeft ten minste één alternatief, functioneel equivalent pad.
Qwen: 82,7% van de gevallen heeft alternatieve paden.
Deze alternatieve paden zijn doorgaans dieper en langer dan de primaire paden die worden gebruikt tijdens standaard forward passes. Ze vertrouwen op massale niet-sequentiële sprongen en rekruteren andere, diepere sets modules, waardoor ze de primaire verwerkingscentra effectief omzeilen.

4. Functionele Rollen van Lagen

Terminatie-diepte: Attribuutberekeningen voltooien zich doorgaans in de vroege- tot middenlagen (gemiddelde $\ell_{attr}$ : 4,61 voor LLaMA, 7,97 voor Qwen).
Representatie-voldoendeheid: De representatie bij $\ell_{attr}$ is strikt noodzakelijk (het uitschakelen ervan verstoort >94% van de voorspellingen). Het is echter vaak niet op zichzelf voldoende; tussenliggende padlagen zijn nodig om de hogere lagen van het model aan te drijven in een aanzienlijk deel van de gevallen (44% foutpercentage voor LLaMA primaire paden wanneer alleen $\ell_{attr}$ wordt geïnjecteerd).
Propagatie: Langere, niet-standaard paden zijn meer afhankelijk van inter-token informatiepropagatie via aandachtmechanismen vergeleken met primaire paden.

5. Modulaire Flexibiliteit

De auteurs toonden aan dat "hybride" paden — geconstrueerd door het samenvoegen van prefixen van primaire paden met suffixen van alternatieve paden — succesvol de attribuutvoorspellingen kunnen herstellen. Dit bevestigt dat verschillende laagsequenties functioneel equivalente transformaties kunnen uitvoeren, en dat de rollen van lagen niet strikt één-op-één zijn tussen primaire en backup-circuits.

6. Entiteitsresolutie versus Attribuutextractie

De studie vond een sterke dissociatie tussen Entiteitsresolutie (ER) (het vermogen om de naam van de entiteit te reconstrueren) en attribuut-voldoendeheid. Detecteerbare ER-stappen kwamen voor in een minderheid van de primaire paden (12,9% voor LLaMA) en zelfs minder in alternatieve paden, wat suggereert dat attribuutextractie vaak impliciet plaatsvindt zonder een onderscheidbare "identiteitsstaat" die toegankelijk is voor probing-methoden.

Betekenis en Claims

Het artikel claimt een nieuw perspectief te bieden op het subproces van entiteitsverrijking, wat de "volksvisie" uitdaagt dat feiten zijn opgeslagen in specifieke, gelokaliseerde MLP-lagen. In plaats daarvan betogen de auteurs dat:

Kennis is Gedistribueerd: Feitelijke informatie wordt op een gedistribueerde manier opgeslagen en verwerkt over meerdere lagen, waarbij een specifieke, niet-aaneengesloten sequentie van transformaties nodig is voor extractie.
Kennis is Redundant: Modellen bezitten meerdere, functioneel equivalente computationele paden voor hetzelfde feit, wat de "hydra-effect" verklaart waarbij modellen zichzelf herstellen wanneer primaire circuits worden geablateerd.
Mismatch tussen Lokalisatie en Editing: De bevindingen bieden een verklaring voor waarom kennisbewerking (knowledge editing) vaak slaagt op locaties die verschillen van waar de kennis gelokaliseerd is. Omdat attribuutberekening meerdere transformaties vereist, slaagt editing door in te grijpen op een noodzakelijk transformatiestadium in plaats van op een specifieke opslaglocatie.

De auteurs concluderen dat het mechanisme van feitelijke extractie veel complexer en elaborater is dan voorheen begrepen, gekenmerkt door hoge redundantie en gedistribueerde berekening in plaats van een enkel, lineair extractiecircuit. Het werk biedt een nauwkeurig beeld van hoe feitelijke kennis entiteitsrepresentaties verrijkt door middel van een nieuw activation-patching protocol.