💻 computer science

Evaluation Framework for Highlight Explanations of Context Utilisation in Language Models

Dit artikel introduceert het eerste gouden standaard-evaluatiekader voor het beoordelen van highlight-verklaringen van contextgebruik in taalmodellen, waaruit blijkt dat hoewel de aangepaste mechanische interpretabiliteitsmethode MechLight betere prestaties levert dan bestaande technieken, alle methoden worstelen met langere contexten en positiegebonden vertekeningen vertonen.

Oorspronkelijke auteurs: Jingyi Sun, Pepa Atanasova, Sagnik Ray Choudhury, Sekh Mainul Islam, Isabelle Augenstein

Gepubliceerd 2026-04-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingyi Sun, Pepa Atanasova, Sagnik Ray Choudhury, Sekh Mainul Islam, Isabelle Augenstein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme robotassistent voor (een Taalmodel) die veel feiten kent uit zijn eigen geheugen, zoals een bibliotheek die hij in zijn brein heeft opgebouwd. Soms geef je deze robot een nieuw vel papier met informatie erop en stel je hem een vraag. De robot kan antwoorden met wat hij al weet, of hij kan naar je nieuwe papier kijken.

Het probleem is dat de robot je niet vertelt welke bron hij heeft gebruikt. Heeft hij je papier gelezen, of heeft hij gewoon geraden op basis van zijn geheugen?

Dit artikel introduceert een nieuwe manier om "Highlight-verklaringen" te testen. Denk aan deze verklaringen als een markeerstift die de robot gebruikt om de exacte woorden in je papier te markeren die hij heeft gelezen om zijn antwoord te geven. Het doel is om te zien of de markeerstift echt naar de juiste woorden wijst, of dat hij willekeurig kladt.

Hier is een eenvoudige uitleg van wat de onderzoekers deden en vonden:

1. Het Probleem: De "Zwarte Doos"

Op dit moment kunnen we niet gemakkelijk zien of de robot je papier leest of gewoon vertrouwt op zijn geheugen. Bestaande tools die proberen ons te laten zien "waar de robot over nadenkt" (zogenaamde Highlight-verklaringen) zijn nooit goed getest om te zien of ze daadwerkelijk accuraat zijn. Het is alsof je een GPS hebt die beweert je de route te tonen, maar niemand heeft ooit gecontroleerd of hij echt naar de juiste straten wijst.

2. De Oplossing: Een "Gouden Standaard" Test

De onderzoekers bouwden een speciaal testlab om deze markeerstiften te controleren. Ze creëerden vier specifieke scenario's, als een detectivegame:

Het Conflict: Het papier zegt "De hoofdstad is Ankara", maar het geheugen van de robot zegt "De hoofdstad is Londen". Als de robot "Ankara" antwoordt, moet hij het papier hebben gelezen. De markeerstift moet naar "Ankara" wijzen.
De Afleiding: Het papier bevat veel onzin of irrelevante informatie. De markeerstift moet niet naar de onzin wijzen.
De Dubbele Problemen: Je geeft de robot twee verschillende papieren die allebei in strijd zijn met zijn geheugen. De markeerstift moet naar het specifieke papier wijzen dat de robot heeft gekozen.

Ze creëerden een "Gouden Standaard" (het juiste antwoordensleutel) voor deze tests zodat ze de markeerstiften objectief konden beoordelen.

3. De Deelnemers

Ze testten vier verschillende soorten markeerstiften:

De "Blokker" (Feature Ablation): Deze methode probeert één woord tegelijk te verbergen om te zien of het antwoord verandert. Het is alsof je een woord met je vinger bedekt om te zien of de zin nog steeds zinvol is.
De "Rekenwizzard" (Integrated Gradients): Deze gebruikt complexe wiskunde om te berekenen hoeveel elk woord heeft bijgedragen aan het antwoord.
De "Blikvolger" (Attention): Deze kijkt waar de interne "ogen" van de robot naar keken toen hij sprak.
De "Monteur" (MechLight): Dit is een nieuwe methode die de auteurs hebben bedacht. In plaats van te raden, keken ze in het brein van de robot (zijn interne mechanica) om de specifieke tandwiel of schakelaar te vinden die besliste om het papier te gebruiken, en traceerden ze dat terug naar de woorden.

4. De Resultaten: Wie won?

De Winnaar: De "Monteur" (MechLight) was het beste in het wijzen naar de juiste woorden. Het was de meest betrouwbare detective.
De Runners-up: De "Blokker"-methode was oké, maar zeer inconsistent. Soms werkte het geweldig; andere keren raakte het in de war.
De Verliezers: Verrassend genoeg waren de "Rekenwizzard" en de "Blikvolger" – die zeer populair zijn en in veel andere tools worden gebruikt – verschrikkelijk in deze specifieke taak. Ze wezen vaak naar de verkeerde woorden of konden niet vertellen welk papier de robot gebruikte.

5. De Grote Gebreken (De "Valkuilen")

Zelfs de beste markeerstift had twee grote zwaktes:

Het "Lang Papier" Probleem: Naarmate de tekst langer werd, werden alle markeerstiften slechter. Het is alsof je probeert een specifieke naald te vinden in een hooiberg; hoe groter de hooiberg, hoe moeilijker het voor de markeerstift is om de naald te vinden.
De "Positie Bias": De markeerstiften hadden een rare gewoonte om woorden te bevoordelen op basis van waar ze stonden, niet wat ze betekenden.
- Sommige methoden hielden altijd van woorden aan het einde van de tekst (de "recency" bias).
- Anderen hielden altijd van woorden aan het begin (de "primacy" bias).
- Dit betekent dat als je een zin van het begin naar het einde verplaatst, de markeerstift van mening kan veranderen over of die zin belangrijk was, zelfs als de betekenis hetzelfde blijft.

6. De Conclusie

Het artikel concludeert dat hoewel we tools hebben om uit te leggen hoe robots context gebruiken, de meeste daarvan momenteel onbetrouwbaar zijn voor deze specifieke taak. Ze falen vaak om ons precies te laten zien welk deel van de tekst de robot gebruikte, vooral wanneer de tekst lang is of wanneer er meerdere documenten zijn.

Het nieuwe kader van de auteurs (het testlab) is nu beschikbaar voor anderen om te gebruiken om in de toekomst betere, nauwkeurigere markeerstiften te bouwen. Ze hebben ook hun code en data vrijgegeven zodat andere wetenschappers kunnen proberen deze problemen op te lossen.

Kortom: We hebben een nieuwe, strenge manier om te testen of AI-verklaringen de waarheid spreken. De test toonde aan dat huidige verklaringen vaak liegen (of in ieder geval zeer in de war zijn), maar we hebben nu een blauwdruk om er een te bouwen die de waarheid vertellen.

1. Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in toepassingen die de integratie vereisen van externe context (Contextuele Kennis, CK) met interne parametrische kennis (PK), zoals Retrieval-Augmented Generation (RAG) en feitencontrole. Er bestaat echter een kritiek transparantieprobleem:

Ondoorzichtigheid: Gebruikers kunnen niet bepalen of de output van een model gebaseerd is op de verstrekte context of op zijn interne trainingsdata.
Gebrek aan Grondwaarheid: Bestaande methoden voor het evalueren van "Highlight Explanations" (HE's) — die verwijzen naar specifieke inputtokens die verantwoordelijk zijn voor een output — vertrouwen op trouwheidsmetrieken (zoals Comprehensiveness en Sufficiency). Deze metrieken maken gebruik van verstoringproxy's (maskeren/verwijderen van tokens) die artefacten buiten de verdeling creëren en ontberen een gouden standaard (grondwaarheid) om te verifiëren of de uitleg daadwerkelijk de ware bron van informatie van het model weerspiegelt.
Het Gat: Er is geen kader om te evalueren of HE's nauwkeurig identificeren welke specifieke contextstukken of tokens de beslissing van het model hebben beïnvloed, met name wanneer de context in strijd is met het parametrische geheugen van het model.

2. Methodologie

De auteurs stellen het eerste evaluatiekader op basis van een gouden standaard voor contexttoewijzing voor, waarbij gebruik wordt gemaakt van gecontroleerde testcases waarbij het gebruik van context met grondwaarheid vooraf is bepaald.

A. Gecontroleerde Inputregimes

Het kader construeert vier specifieke scenario's om verschillende aspecten van contextgebruik te testen, waarbij wordt gegarandeerd dat het model moet gebruikmaken van de context (door de contextantwoord in strijd te laten zijn met de parametrische kennis van het model):

Conflicterend (Enkel): Eén contextpassage staat in strijd met de PK van het model.
Irrelevant (Enkel): Eén contextpassage is irrelevant maar bevat een afleidend (onjuist) antwoordtoken.
Dubbel-Conflicterend (Dual): Twee contextpassages staan beide in strijd met PK.
Gemengd (Dual): Eén irrelevante passage en één conflicterende passage.

Opmerking: De auteurs maken ook "Swap"-versies van dual-contextopstellingen om te testen op positionele bias.

B. Evaluatiemetrieken

Het kader beoordeelt HE's langs drie assen die zijn afgestemd op drie Onderzoeksvragen (RQ's):

Documentniveau Toewijzingsnauwkeurigheid (RQ1 & RQ2):
- $\Delta$ Rank@k: Meet de rangschikkingmarge van tokens uit het "gebruikte" document versus het "ongebruikte" document (of context versus geheugen). Een positieve marge geeft aan dat de HE de relevante bron correct prioriteert.
- Simuleerbaarheid: Gebruikt Genormaliseerde Mutuele Informatie (NMutInf) en Minimum Beschrijvingslengte (MDL-Bits) om te bepalen of de top- $k$ gemarkeerde tokens de keuze van de bron van het model (CK vs. PK, of Passage 1 vs. Passage 2) kunnen voorspellen.
Tokenniveau Toewijzingsnauwkeurigheid (RQ3):
- Mean Reciprocal Rank (MRR): Evalueert hoe hoog de HE de exacte gouden antwoordtoken(s) die in de context voorkomen, rangschikt.

C. Geëvalueerde Methoden

Het kader test vier HE-technieken:

Feature Ablation (FA): Maskeert tokens om de impact op de antwoordkans te meten.
Integrated Gradients (IG): Gebruikt gradiëntmagnituden langs een pad van een basislijn naar de input.
Attention Visualization (ATTN): Gebruikt attention-weights van de meest invloedrijke attention-head.
MechLight (Nieuw): Een mechanistische interpretabiliteitsbenadering. Het identificeert de specifieke attention-head die de logitverschil tussen concurrerende antwoorden (bijv. CK vs. PK) het sterkst drijft en projecteert de attention-weights van die head op de inputtokens als de uitleg.

D. Experimentele Opstelling

Datasets: FAKEPEDIA, WORLDCAPITAL, COUNTERFACT, en CONFLICTQA.
Modellen: Vijf LLM's variërend van 1,5B tot 7B parameters (GPT2-XL, Pythia-2.8B/6.9B, Qwen2.5-3B/7B).

3. Belangrijkste Bijdragen

Gouden Standaard Kader: Introductie van de eerste evaluatiebenchmark voor HE's in contextgebruik die vertrouwt op contextgebruik met grondwaarheid in plaats van indirecte verstoringproxy's.
MechLight-methode: Voorstellen van een nieuwe, lichtgewicht mechanistische interpretabiliteitsmethode die interne modelsignalen (attention-heads die logitgaten aandrijven) omzet in tokenniveau highlight-uitleg.
Uitgebreide Benchmarking: Evaluatie van gevestigde methoden (FA, IG, ATTN) en de nieuwe MechLight-methode over diverse modellen, datasets en contextscenario's (enkel/dual, conflicterend/irrelevant).
Openbare Release: Publicatie van de code en het gereconstrueerde dataset om toekomstig onderzoek te faciliteren.

4. Resultaten

Prestatievergelijking

Beste Performer: MechLight presteerde consistent beter dan alle andere methoden in alle scenario's, datasets en modellen. Het toonde de hoogste nauwkeurigheid in het onderscheiden tussen CK- en PK-gebruik en het identificeren van het juiste document in dual-contextinstellingen.
Tweede Beste: Feature Ablation (FA) toonde potentie maar vertoonde hoge variantie en instabiliteit, vooral in scenario's met lange contexten.
Slechte Performers: Integrated Gradients (IG) en Attention Visualization (ATTN) presteerden slecht, vaak met marges dicht bij nul of negatieve waarden. Verassend genoeg, ondanks dat ze goed scoorden op traditionele trouwheidsmetrieken, boden ze weinig waarde in het onthullen van daadwerkelijke contextgebruikpatronen.

Systematische Falen en Beperkingen

Gevoeligheid voor Contextlengte: De nauwkeurigheid van de uitleg verslechtert aanzienlijk naarmate de contextlengte toeneemt. Alle methoden hebben moeite om het juiste antwoordtoken te vinden in lange contexten (bijv. CONFLICTQA).
Positionele Bias: In dual-documentinstellingen vertoonden alle methoden sterke positionele biases:
- FA en IG neigden naar latere passages (recency bias).
- ATTN en MechLight neigden naar vroegere passages (primacy bias).
- Deze bias bleef bestaan zelfs wanneer de volgorde van documenten werd omgewisseld, wat suggereert dat het een artefact is van de methode of modelarchitectuur in plaats van inhoudelijke relevantie.
Token Lokalisatiefouten: Kwalitatieve casestudies onthulden dat, zelfs wanneer modellen antwoorden kopiëren uit de context, HE's vaak markeren:
- Generieke tokens (stopwoorden, leestekens).
- Nabijgelegen beschrijvingen of entiteiten naast het antwoord.
- De vraagzin zelf (bijv. "Wat", "Wie").

5. Betekenis

Uitdaging aan Huidige Praktijken: De bevindingen challenge de bruikbaarheid van veelgebruikte op gradiënten gebaseerde (IG) en op attention gebaseerde (ATTN) methoden voor RAG- en feitencontroletoepassingen, wat suggereert dat ze misleidend kunnen zijn wat betreft brontoewijzing.
Fundering voor Toekomstige Ontwikkeling: Het kader biedt een rigoureuze, op grondwaarheid gebaseerde basis voor het ontwikkelen van de volgende generatie contexttoewijzingsmethoden die lengtegevoeligheid en positionele bias moeten overwinnen.
Validatie van Mechanistische Interpretabiliteit: Het succes van MechLight onderstreept het potentieel van mechanistische interpretabiliteit (analyseren van interne modelcomponenten) boven standaard post-hoc verstoringmethoden voor het begrijpen van modelgedrag in complexe retrievalscenario's.

Concluderend stelt het paper vast dat, hoewel huidige HE-methoden enig inzicht bieden, ze momenteel ontoereikend zijn voor betrouwbare contexttoewijzing in real-world, lange-contexttoepassingen. Het voorgestelde kader en de MechLight-methode bieden een weg voorwaarts voor het bouwen van transparantere en betrouwbaardere LLM-systemen.