💬 NLP

Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation

Dit artikel introduceert ARC-JSD, een nieuwe en efficiënte methode die gebruikmaakt van Jensen-Shannon Divergentie om nauwkeurig te bepalen welke contextfragmenten bijdragen aan de antwoorden van RAG-modellen, zonder dat daarvoor extra training of complexe modellen nodig zijn.

Oorspronkelijke auteurs: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

Gepubliceerd 2026-02-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente assistent hebt (een AI zoals ChatGPT) die je vragen beantwoordt door in een enorme digitale bibliotheek te bladeren. Dit noemen we RAG (Retrieval-Augmented Generation). De assistent leest een paar pagina's uit een boek en geeft je dan een antwoord.

Maar hier zit het probleem: Hoe weet je zeker dat de assistent niet zomaar wat verzint, maar echt die specifieke zin uit het boek heeft gebruikt? Soms lijkt een antwoord heel slim, maar is het eigenlijk een "hallucinatie" (een slimme leugen).

Dit wetenschappelijke paper introduceert een nieuwe methode genaamd ARC-JSD om dit probleem op te lossen. Hier is de uitleg in gewone mensentaal.

1. De Metafoor: De "Wat-als-het-er-niet-was?" Test

Stel je voor dat je een kok vraagt: "Waarom is deze soep zo lekker?" De kok zegt: "Omdat er verse basilicum in zit."

Om te controleren of de kok de waarheid spreekt, doen we een experiment: we maken exact dezelfde soep, maar we laten de basilicum eruit.

Scenario A: De soep smaakt nu totaal anders. Conclusie: De basilicum was inderdaad de ster van de show! (Dit is een belangrijke context).
Scenario B: De soep smaakt bijna hetzelfde. Conclusie: Die basilicum was eigenlijk niet zo belangrijk voor de smaak. (Dit is onbelangrijke context).

De onderzoekers doen dit met AI. Ze nemen een antwoord van de AI, halen één zin uit de brontekst weg, en kijken hoe erg het antwoord verandert. Als het antwoord compleet "omvalt" zonder die zin, dan weten we: "Aha! Deze zin is de bron van het antwoord!"

2. De "JSD" Methode: De Digitale Meetlat

Hoe meet je precies hoe erg een antwoord verandert? De onderzoekers gebruiken een wiskundig trucje genaamd Jensen-Shannon Divergence (JSD).

Zie JSD als een gevoeligheidsthermometer. In plaats van alleen te kijken of het antwoord "goed" of "fout" is, kijkt JSD naar de hele "smaak" (de kansverdeling) van de woorden die de AI wil zeggen. Het meet de afstand tussen de "volledige soep" en de "soep zonder basilicum". Hoe groter de afstand op de thermometer, hoe belangrijker die specifieke zin was.

3. De "Röntgenfoto" van de AI (Mechanistisch onderzoek)

Het meest spannende deel van dit onderzoek is dat ze niet alleen kijken naar de buitenkant (het antwoord), maar ook naar de binnenkant van de AI. Ze maken eigenlijk een soort röntgenfoto van de "hersenen" van de AI terwijl hij leest.

Ze ontdekten dat de AI specifieke "onderdelen" (zoals bepaalde neuronen of lagen) heeft die fungeren als informatie-verwerkers.

Sommige onderdelen zijn als zoeklichten: ze scannen de tekst om de juiste informatie te vinden.
Andere onderdelen zijn als bibliothecarissen: ze slaan de gevonden informatie op in het geheugen van de AI om het later netjes te formuleren.

Door te weten welke "onderdelen" verantwoordelijk zijn voor het koppelen van tekst aan antwoorden, kunnen we de AI zelfs beter maken. Als we zien dat een onderdeel een fout antwoord probeert te geven, kunnen we dat onderdeel een beetje "dempen" (gating), waardoor de AI minder snel gaat hallucineren.

Samenvatting: Waarom is dit belangrijk?

Vroeger was het controleren van een AI heel traag en duur (het was alsof je een expert moest inhuren om elke zin te controleren). De nieuwe ARC-JSD methode is:

Razendsnel: Het is alsof je een snelle scan doet in plaats van een handmatige inspectie.
Nauwkeurig: Het vindt de exacte zin die het antwoord mogelijk maakte.
Inzichtelijk: Het vertelt ons niet alleen wat de AI doet, maar ook hoe hij het doet in zijn digitale brein.

Kortom: Het is een super-efficiënte manier om de AI een "bewijs van echtheid" te laten leveren voor alles wat hij zegt.

Technische Samenvatting: Attributing Response to Context (ARC-JSD)

1. Het Probleem: Context-attributie in RAG

Retrieval-Augmented Generation (RAG) verbetert de nauwkeurigheid van Large Language Models (LLM's) door externe context (zoals documenten) toe te voegen. Een cruciaal aspect hiervan is context-attributie: het vermogen om aan te tonen welke specifieke delen van de context verantwoordelijk zijn voor een gegenereerd antwoord. Dit is essentieel om hallucinaties te verminderen en de betrouwbaarheid te vergroten.

Huidige methoden voor attributie hebben echter grote nadelen:

Computationeel duur: Methoden die gebruikmaken van gradiënt-gebaseerde feature attribution of het trainen van surrogaatmodellen vereisen enorme hoeveelheden rekenkracht.
Menselijke annotatie: Veel methoden leunen op handmatige verificatie, wat niet schaalbaar is.
Fine-tuning: Sommige benaderingen vereisen het hertrainen van het model (bijv. via DPO), wat kostbaar en complex is.

2. Methodologie: ARC-JSD

De auteurs introduceren ARC-JSD (Attribute Response to Context via Jensen–Shannon Divergence). In plaats van gradiënten of extra training te gebruiken, maakt deze methode gebruik van de statistische verschillen in de output-distributie van het model.

De kernstappen zijn:

Ablatie-experimenten: Voor een gegeven vraag ( $Q$ ) en volledige context ( $C$ ), genereert het model een antwoord ( $R$ ). Vervolgens wordt de context per zin geëvalueerd door één zin tegelijk te verwijderen (ablatie).
Jensen–Shannon Divergence (JSD): De methode berekent de JSD tussen de kansverdeling van het antwoord met de volledige context en de verdeling met de geablateerde context.
- Waarom JSD? In tegenstelling tot KL-divergentie is JSD symmetrisch, begrensd (tussen 0 en $\log 2$ ), en numeriek stabiel. Dit maakt het mogelijk om de impact van verschillende lagen en componenten direct met elkaar te vergelijken.
Ranking: De zin die de grootste JSD veroorzaakt bij verwijdering, wordt beschouwd als de meest relevante context-zin voor het antwoord.

Daarnaast passen de auteurs de JSD-metriek toe op de interne mechanismen van het model (mechanistische interpretatie) door de output van specifieke attention heads en MLP-lagen te analyseren via de Logit Lens.

3. Belangrijkste Bijdragen

Efficiënte Attributie: Een nieuwe methode (ARC-JSD) die nauwkeurig relevante context identificeert zonder fine-tuning, gradiëntberekeningen of surrogaatmodellen.
Mechanistische Analyse: Het identificeren van specifieke attention heads en MLP-lagen die verantwoordelijk zijn voor context-attributie. De studie toont aan dat deze zich voornamelijk in de hogere lagen van het model bevinden.
Controle over Hallucinaties: De auteurs laten zien dat ze de hallucinatiegraad kunnen verlagen door de geïdentificeerde kritieke componenten te manipuleren (via een "confidence gate").

4. Resultaten

De methode is uitgebreid getest op benchmarks zoals TyDi QA, Hotpot QA en MuSiQue met verschillende modellen (Qwen2, Gemma2).

Nauwkeurigheid: ARC-JSD presteert consistent beter dan bestaande baselines, met een gemiddelde verbetering in attributie-nauwkeurigheid van ongeveer 10,7%.
Efficiëntie: De methode is tot 3 keer sneller dan de huidige state-of-the-art methoden (zoals de surrogaatmodel-methode van Cohen-Wang et al.).
Validatie: De mechanistische bevindingen werden gevalideerd via een "semantic gain" metriek, waarbij een sterke correlatie werd gevonden tussen componenten met een hoge JSD en componenten die daadwerkelijk bijdragen aan de semantische correctheid van het antwoord.
Hallucinatie-reductie: Door de top-5 JSD-gebaseerde componenten te "gaten" (gating), kon de hallucinatiegraad met ongeveer 39% worden verlaagd zonder de feitelijke nauwkeurigheid (F1-score) aan te tasten.

5. Betekenis en Impact

Dit onderzoek is significant omdat het een praktische, lichtgewicht en modulaire oplossing biedt voor een van de grootste problemen in RAG-systemen: transparantie.

Omdat ARC-JSD geen extra training vereist en direct kan worden geïntegreerd in bestaande RAG-pipelines, biedt het ontwikkelaars een krachtig instrument om de betrouwbaarheid van AI-systemen te auditeren. Bovendien biedt de mechanistische diepgang van het paper nieuwe inzichten in hoe LLM's feitelijke kennis uit context integreren en verwerken in hun interne lagen.