Technische Samenvatting: Hoe Context de Waarheid Vormgeeft

Probleemstelling

Hoewel eerder onderzoek heeft vastgesteld dat Large Language Models (LLM's) de waarheidsgetrouwheid van beweringen coderen als lineaire richtingen (vectoren) binnen hun residual stream activaties, blijft de geometrische evolutie van deze "waarheidsvectoren" wanneer contextuele informatie wordt geïntroduceerd, nog onverkend. Bestaande studies tonen aan dat waarheid kan worden gescheiden van onwaarheden in de activatieruimte en dat probes kunnen generaliseren over verschillende settings, maar ze karakteriseren niet hoe de geometrie van deze representaties — specifiek hun richting en magnitude — transformeert wanneer een model een bewering samen met context verwerkt. Dit gat is cruciaal voor het begrijpen van hoe LLM's externe informatie integreren, met name in Retrieval-Augmented Generation (RAG) en in-context learning scenario's.

Methodologie

De auteurs stellen een framework voor om de geometrische transformaties van waarheidsvectoren geïnduceerd door context te meten. De experimentele opzet omvat vier instruction-tuned LLM's (LLaMA-3.1-8B, Mistral-Nemo-12B, Qwen3-4B, en SmolLM3-3B) en vier datasets die uiteenlopende domeinen beslaan (fact-checking, juridisch, film synopsis en synthetische kennisconflicten).

Kernprocedure:

1. Prompt Constructie: Voor elke bewering worden vier prompts gegenereerd door de [Geselecteerde Keuze] te variëren (het ondersteunen of weerleggen van de bewering) en de aanwezigheid van [Context] (met of zonder). Het model krijgt de instructie om een voltooiing te genereren die begint met een specifiek token (bijv. ")") om een eerlijke vergelijking te garanderen.
2. Vector Extractie: Waarheidsvectoren worden geëxtraheerd uit de residual stream activaties (post-MLP) op de positie van het eerste gegenereerde token. De waarheidsvector zonder context ($v_{k,nc}^{(l)}$) en met context ($v_{k,c}^{(l)}$) worden gedefinieerd als het verschil tussen de activaties voor ware en onware voltooiingen voor een bewering $k$ in laag $l$:
   $$v_{k,nc}^{(l)} = a_{k,True, nc}^{(l)} - a_{k,False, nc}^{(l)}$$
   $$v_{k,c}^{(l)} = a_{k,True, c}^{(l)} - a_{k,False, c}^{(l)}$$
3. Geometrische Metrieken: Twee eigenschappen worden gemeten om de verandering te kwantificeren:
   • Directionele Verandering ($\theta$): De hoek tussen de waarheidsvector met context en zonder context, berekend via de cosinusgelijkenis.
   • Relatieve Magnitude: De ratio van de L2-norm van de waarheidsvector met context tot de norm zonder context ($||v_{k,c}^{(l)}||_2 / ||v_{k,nc}^{(l)}||_2$). Waarden $>1$ duiden op een amplificatie van de scheiding tussen ware en onware representaties.

De studie vergelijkt relevante context ook met vijf typen willekeurige/irrelevante context (willekeurige tekens, willekeurige woorden, incoherente zinnen, willekeurige Wikipedia-tekst en verschoven dataset-contexten) om de gevoeligheid voor relevantie te beoordelen.

Belangrijkste Resultaten

1. Driefasig Patroon van Directionele Verandering

Over alle modellen en datasets heen volgt de directionele verandering ($\theta$) een consistent driefasig patroon over de lagen:

• Fase 1 (Vroege Lagen): Waarheidsvectoren met en zonder context zijn ongeveer orthogonaal (hoge $\theta$), wat wijst op onderscheidende representaties in de vroege verwerkingsstadia.
• Fase 2 (Middelste Lagen): Vectoren convergeren scherp en bereiken een minimum $\theta$. Dit komt overeen met de bekende rol van middelste lagen bij semantische codering en kennisretrieval. Opvallend genoeg bereikt $\theta$ nooit nul, wat aangeeft dat context altijd een distinctieve geometrische signatuur achterlaat.
• Fase 3 (Latere Lagen): Het gedrag varieert. Voor sommige datasets stabiliseren de vectoren. Voor andere (specifiek wanneer context botst met parametrische kennis, bijv. ConflictQA-Counter), neemt $\theta$ weer toe, wat suggereert dat er in diepere lagen nog steeds wordt geprocessed van conflicterende signalen.

2. Amplificatie van Waarheidsseparatie

Het toevoegen van context vergroot over het algemeen de relatieve magnitude van de waarheidsvectoren (waarden $>1$). Dit geeft aan dat context de scheiding tussen ware en onware representaties in de activatieruimte versterkt. Dit effect is het meest uitgesproken in de middelste lagen, waar de relatieve magnitude vaak piekt voordat deze stabiliseert in de latere lagen.

3. Modelgrootte en Gevoeligheidsmechanismen

Er bestaat een significante divergentie tussen grotere en kleinere modellen met betrekking tot hoe zij de relevantie van context coderen:

• Grotere Modellen (LLaMA, Mistral): Onderscheiden relevante van irrelevante context primair door directionele verandering ($\theta$). Relevante context induceert aanzienlijk grotere directionele verschuivingen vergeleken met willekeurige context.
• Kleinere Modellen (Qwen, SmolLM): Onderscheiden relevante van irrelevante context primair door magnitude-schaling. Hoewel directionele veranderingen vaak verwaarloosbaar of negatief zijn, is de relatieve magnitude van de waarheidsvectoren aanzienlijk hoger voor relevante context. De auteurs hypothetiseren dat dit te wijten is aan de beperkingen in de representatieve capaciteit in lager-dimensionale ruimtes, waardoor magnitude een meer haalbare coderingsstrategie is dan onderscheidende richtingen.

4. Impact van Kennisconflict

Context die in strijd is met parametrische kennis (ConflictQA-Counter) produceert grotere geometrische veranderingen (zowel hogere $\theta$ als magnitude) dan context die in lijn is met parametrische kennis. Dit suggereert dat conflicterende informatie sterkere, meer persistente geometrische verschuivingen triggert, wat mogelijk de competitie tussen geheugen- en contextpaden reflecteert.

5. Domeinspecificiteit

In complexe, domeinspecifieke datasets zoals LegalBench (Corporate Lobbying) slagen modellen er vaak niet in om significante geometrische verschillen te tonen tussen relevante en willekeurige context. Dit correleert met lage Flesch-leesbaarheidsscores, wat suggereert dat zeer technische taal de capaciteit van het model om betekenisvolle geometrische signalen te extraheren die relevantie onderscheiden, kan overstemmen.

Betekenis en Claims

Het artikel beweert de eerste geometrische karakterisering te bieden van hoe context de waarheidsrepresentaties in LLM's transformeert. De bevindingen bieden een theoretisch kader voor het begrijpen van interne contextverwerking en hebben praktische implicaties voor:

• RAG-systemen: Laag-specifieke $\theta$-waarden kunnen dienen als diagnostische signalen om te detecteren wanneer een model faalt in het integreren van de opgehaalde context (gebrek aan convergentie in de middelste lagen) of wanneer er kennisconflicten bestaan (abnormale divergentie in de latere lagen).
• Sturing van Kleinere Modellen: De ontdekking dat kleinere modellen vertrouwen op magnitude in plaats van richting suggereert dat technieken voor het sturen van activaties (activation steering) voor deze modellen zich moeten richten op magnitude-schaling in plaats van puur op directionele interventies.

De auteurs nemen een bescheiden standpunt in door te merken dat hoewel deze geometrische veranderingen significant zijn, ze niet altijd lineair vertalen naar veranderingen in de output-waarschijnlijkheid. Ze erkennen ook beperkingen, waaronder de focus op het eerste token, het gebruik van Engelstalige datasets en de specifieke aard van de onderzochte instruction-tuned modellen.