💬 NLP

How Retrieved Context Shapes Internal Representations in RAG

Dit onderzoek analyseert hoe de relevantie van opgehaalde documenten de interne representaties van grote taalmodellen beïnvloedt in Retrieval-Augmented Generation (RAG), waardoor inzicht wordt verkregen in de relatie tussen deze latente veranderingen en het uiteindelijke generatiegedrag.

Oorspronkelijke auteurs: Samuel Yeh, Sharon Li

Gepubliceerd 2026-04-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Samuel Yeh, Sharon Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Hoe een "Google-zoekopdracht" het brein van een AI beïnvloedt: Een verhaal over interne representaties

Stel je voor dat een Large Language Model (zoals een slimme chatbot) een gigantisch, goed georganiseerd bibliotheek in zijn hoofd heeft. Dit is zijn interne kennis (wat hij al weet). Soms vraagt iemand hem iets wat hij niet uit zijn hoofd kent. Dan doet hij alsof hij een zoekopdracht doet in een echte bibliotheek (de retrieved context of opgehaalde documenten) en leest hij daar een paar pagina's om het antwoord te vinden.

Dit proces heet RAG (Retrieval-Augmented Generation). Maar de onderzoekers Samuel Yeh en Sharon Li ontdekten iets fascinerends: het is niet zo simpel als "lezen en antwoorden". Ze keken niet naar het antwoord dat de AI gaf, maar naar wat er in het hoofd van de AI gebeurde terwijl hij las. Ze keken naar de interne representaties – de manier waarop de AI informatie verwerkt op een diep, wiskundig niveau.

Hier is wat ze ontdekten, vertaald in alledaagse taal:

1. Het "Verkeerde Boek"-effect (Willekeurige documenten)

Stel je voor dat je een vraag stelt: "Wie stak zijn gitaar in brand op het Monterey Pop Festival?"
Je AI-vriend pakt een boekje uit de bibliotheek.

Scenario A: Het boekje gaat over Jimi Hendrix. (Dit is een relevant document).
Scenario B: Het boekje gaat over een ander festival, maar de titel lijkt wel erg op het echte festival. (Dit is een afleidend document).
Scenario C: Het boekje gaat over een kookboek of een verhaal over Warren Beatty. Het heeft niets met de vraag te maken. (Dit is een willekeurig document).

Wat de onderzoekers zagen:
Je zou denken dat een willekeurig boekje (Scenario C) de AI gewoon negeert. Maar nee! De interne "breinactiviteit" van de AI schiet volledig uit zijn lood. Het is alsof de AI plotseling in paniek raakt: "Wacht, dit boekje past helemaal niet bij mijn vraag! Ik weet het niet, ik durf het niet te raden!"
De AI schakelt dan over in een "ik geef het op"-stand (in het Engels: abstention). Hij weigert een antwoord te geven, zelfs als hij het antwoord eigenlijk wel uit zijn hoofd zou kunnen weten.

De les: Als de AI merkt dat de informatie die hij krijgt compleet onzin is, schakelt hij veiligheidsmodi in. Dit is goed voor betrouwbaarheid, maar soms irriterend als hij het antwoord eigenlijk wel wist.

2. Het "Bevestiging"-effect (Relevante documenten)

Nu kijken we naar Scenario A (het boekje over Jimi Hendrix).
Je zou denken dat de AI nu heel enthousiast wordt en zijn hele brein herschikt om die nieuwe informatie op te slaan.
Wat de onderzoekers zagen:
Eigenlijk gebeurt er weinig. De interne "breinactiviteit" verandert nauwelijks. Het is alsof de AI zegt: "Ah, ja, dat klopt! Dat wist ik al, of dat sluit perfect aan bij wat ik al wist."
Het relevante document werkt niet als een nieuwe les, maar als een stempel van goedkeuring. Het geeft de AI meer zelfvertrouwen, maar het verandert zijn fundamentele denken niet echt.

De les: Als de AI het antwoord al uit zijn hoofd kent, helpt een goed document alleen om zijn antwoord zekerder te maken. Het is geen wondermiddel voor kennisgebrek.

3. Het "Anker"-effect (Meerdere documenten tegelijk)

Stel je voor dat de AI tien documenten tegelijk krijgt: één over Jimi Hendrix (goed) en negen over kookboeken en andere festivals (slecht).
Wat de onderzoekers zagen:
Zodra er één goed document tussen zit, werkt het als een anker. De AI houdt zich vast aan die ene goede informatie en negeert de rest van de rommel. De interne activiteit blijft stabiel, alsof de goede informatie de slechte informatie "stillegt".

De les: Je hoeft niet elke fout in een zoekresultaat te verwijderen. Als er maar één echt goed stukje informatie tussen zit, kan de AI die eruit filteren en de rest negeren.

4. De "Trappen van het Brein" (Laag-voor-laag analyse)

De AI is opgebouwd uit lagen (zoals trappen in een gebouw). De onderzoekers keken hoe de informatie zich door deze lagen bewoog.

Bovenaan (Eerste lagen): De AI ziet snel dat een kookboek niets met een gitaar te maken heeft. Hij herkent de "willekeurige" documenten direct.
Midden: Hier wordt het lastig. De AI probeert te beslissen of een document dat lijkt op het juiste antwoord (maar niet is) wel of niet waar is. Dit is moeilijk.
Onderaan (Laatste lagen): Hier gebeurt het geheimzinnige. De AI begint steeds meer te vertrouwen op zijn eigen geheugen (wat hij al wist) en minder op het nieuwe boekje dat hij net las.
- Als het antwoord in zijn hoofd zat, wint zijn eigen geheugen het.
- Als het antwoord niet in zijn hoofd zat (een moeilijke vraag), wint zijn eigen geheugen ook... en dat is het probleem. Hij negeert dan zelfs het goede antwoord uit het boekje omdat hij te veel op zijn eigen (onvolledige) kennis vertrouwt.

Samenvatting: Wat betekent dit voor ons?

De onderzoekers geven ons een kijkje in de keuken van de AI:

AI's zijn voorzichtig: Als ze merken dat de informatie die ze krijgen onzin is, geven ze liever niets dan een fout antwoord.
AI's zijn koppig: Als ze iets al weten, gebruiken ze een nieuw document alleen om te zeggen "Ja, dat klopt". Ze veranderen hun mening niet makkelijk, zelfs niet als het nieuwe document beter is.
Eén goede bron is genoeg: Als je een AI een hoop rommel geeft, maar er zit één goed antwoord tussen, kan hij dat vinden. Je hoeft niet alles perfect te filteren.
Het probleem bij moeilijke vragen: Bij vragen die de AI niet uit zijn hoofd kent, neigt hij toch weer naar zijn eigen (onvolledige) kennis in plaats van het nieuwe bewijs te gebruiken. Dit is waar RAG-systemen nog moeten groeien.

Kortom: De manier waarop een AI "denkt" als hij zoekt, is complexer dan gewoon "lezen en antwoorden". Hij filtert, twijfelt, vertrouwt op zijn eigen geheugen en schakelt soms veiligheidsmodi in. Door te kijken naar deze interne processen, kunnen we betere AI-systemen bouwen die betrouwbaarder zijn.

Titel: Hoe Opgehaalde Context de Interne Representaties in RAG Vormgeeft

1. Het Probleem

Retrieval-augmented generation (RAG) is een veelgebruikte methode om Large Language Models (LLM's) te verrijken met externe kennis via opgehaalde documenten. Hoewel RAG de feitelijke nauwkeurigheid vaak verbetert, is het effect van de opgehaalde context niet altijd eenduidig. In realistische scenario's bevat de set opgehaalde documenten vaak een mengeling van relevante informatie, semantisch vergelijkbare maar misleidende documenten (afleidend), en volledig irrelevante ruis.

Bestaand onderzoek richt zich voornamelijk op het analyseren van het uitvoer-gedrag (bijv. nauwkeurigheid of hallucinatiepercentages). Er is echter weinig bekend over hoe deze verschillende soorten context de interne representaties (de verborgen staten) van een LLM beïnvloeden. Zonder inzicht in deze interne dynamiek is het moeilijk te begrijpen waarom een model faalt of slaagt, en of een verandering in output het gevolg is van effectieve integratie van bewijs, onderdrukking van interne kennis, of een bewuste weigering om te antwoorden.

2. Methodologie

De auteurs analyseren RAG door de lens van latente representaties. Ze gebruiken een gecontroleerd experimenteel framework om te bestuderen hoe interne staten veranderen onder verschillende omstandigheden.

Datasets en Modellen: Het onderzoek omvat vier vraag-antwoord datasets (TriviaQA, NQ, PopQA, StrategyQA) en drie LLM's van verschillende maten (Gemma3-27B, Llama4-17B, Qwen3-Next-80B).
Document Classificatie: Voor elke query worden opgehaalde documenten geclassificeerd in drie categorieën:
1. Relevant: Bevat het grondwaarheidsantwoord of ondersteunende informatie.
2. Afleidend (Distracting): Semantisch vergelijkbaar met de query maar bevat geen bruikbare informatie (kan misleiden).
3. Willekeurig (Random): Laag semantisch verband met de query.
Experimentele Opstellingen:
- Single-document setting: Analyse van het effect van één document per query (relevant, afleidend, willekeurig of geen document).
- Multiple-document setting: Realistische scenario's met één relevant document gemengd met drie afleidende of willekeurige documenten.
Analyse Techniek: De auteurs analyseren de verborgen staten ( $h_{q, S_q}$ ) van het laatste token van de prompt over alle transformer-lagen heen. Ze gebruiken Principal Component Analysis (PCA) om de representaties te visualiseren en lineaire probes om de scheidbaarheid van de representaties kwantitatief te meten. Ze vergelijken ook instructie-geoptimaliseerde modellen met hun "base" (niet-gefine-tuned) tegenhangers.

3. Belangrijkste Resultaten en Observaties

De analyse onthult vijf cruciale patronen in hoe LLM's interne representaties verwerken:

Willekeurige documenten veroorzaken grote representatie-drift:
In tegenstelling tot intuïtie, leiden willekeurige (niet-informatieve) documenten tot de grootste verschuivingen in de interne representaties ten opzichte van een query zonder context. Deze drift correleert sterk met abstention (het weigeren van het model om te antwoorden). Het model herkent intern dat de context nutteloos is en schakelt over naar een "weigering-modus". Dit gedrag wordt versterkt door instructie-tuning; base-modellen vertonen deze drift veel minder.
Relevante documenten behouden de representatie:
Relevante documenten veroorzaken relatief kleine verschuivingen in de representatie. Ze fungeren voornamelijk als een bevestigingssignaal dat de bestaande parametrische kennis van het model versterkt, in plaats van de representatie naar een nieuw gebied in de latente ruimte te duwen. Dit geldt vooral voor makkelijke vragen. Bij moeilijke vragen (waar interne kennis ontbreekt) slagen relevante documenten er vaak niet in om de representatie sterk genoeg te beïnvloeden om het antwoord te corrigeren.
Eén relevant document stabiliseert de representatie:
In multi-document settings (waar ruis aanwezig is), fungeert één enkel relevant document als een "anker". De interne representaties blijven stabiel en dicht bij die van een "alleen-relevant" context, zelfs als er drie afleidende of willekeurige documenten bij worden gevoegd. Het model kan de relevante informatie selecteren en de ruis onderdrukken.
Vroege lagen detecteren semantische mismatches:
In de vroege lagen van het model (bijv. laag 1-12) worden representaties van willekeurige documenten al onderscheiden van andere typen. De model kan snel herkennen dat de context semantisch niet past. Het onderscheid tussen relevante en afleidende documenten vereist echter diepere verwerking (lagen 23-35+) en blijft zelfs in de laatste lagen imperfect.
Latere lagen geven de voorkeur aan parametrische kennis:
Naarmate de lagen dieper worden, convergeren de representaties met relevante documenten weer naar de representaties zonder documenten. Dit suggereert dat latere lagen de interne kennis van het model dominant maken. Hoewel dit helpt bij het filteren van ruis, beperkt het de effectiviteit van RAG bij moeilijke vragen waar externe bewijslast juist nodig is.

4. Bijdragen en Significantie

De paper biedt een fundamenteel nieuw inzicht in de werking van RAG-systemen:

Mechanistisch Inzicht: Het paper verschuift de focus van output-metrics naar de interne dynamiek, waardoor het mogelijk wordt om te onderscheiden tussen effectieve integratie, onderdrukking van kennis en model-weigering.
Ontwerprichtlijnen voor RAG:
- Robuustheid: Omdat één relevant document de representatie kan stabiliseren, hoeft niet elke opgehaalde bron perfect gefilterd te zijn. Het is mogelijk om een bredere set documenten te gebruiken (voor hogere recall) zonder de prestaties te verliezen, zolang er maar één sterk relevant document aanwezig is.
- Probleem bij Moeilijke Vragen: De bevinding dat latere lagen interne kennis prefereren boven externe bewijslast, verklaart waarom RAG soms faalt bij complexe vragen. Dit suggereert de noodzaak van nieuwe architecturale interventies (bijv. aanpassing van de decoding-strategie of het trainen van specifieke subruimtes voor externe kennis) om dit te overwinnen.
Interpretatie van Gedrag: Het verklaart waarom modellen soms weigeren te antwoorden bij irrelevante context (grote representatie-drift) en waarom ze soms vasthouden aan interne kennis ondanks tegenstrijdig bewijs (dominantie van latere lagen).

Conclusie:
Dit werk levert een representatieniveau-perspectief dat aanvullend is op bestaande output-gerichte analyses. Het toont aan dat RAG-systemen intern complex omgaan met ruis en kennisconflicten, en biedt concrete aanwijzingen voor het bouwen van betrouwbaardere en efficiëntere RAG-systemen.