💬 NLP

Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

Dit artikel onderzoekt contrastieve attributie als interpretatiemiddel voor LLM-fouten in realistische benchmarks en concludeert dat deze methode in sommige gevallen waardevolle inzichten biedt, maar niet universeel toepasbaar is.

Oorspronkelijke auteurs: Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een Large Language Model (LLM) – zoals de slimme chatbots die we vandaag de dag gebruiken – een enorme, super-snelle kok is in een keuken. Deze kok kan recepten (vragen) lezen en heerlijke maaltijden (antwoorden) maken. Maar soms maakt hij een fout: hij gebruikt zout in plaats van suiker, of hij vergeet een ingrediënt.

De vraag is: Waarom maakt hij die fout?

Tot nu toe keken onderzoekers alleen naar het eindresultaat. Ze zagen: "Oh, de maaltijd is te zout." Maar ze wisten niet waarom de kok zout in de soep deed. Was het omdat hij het woord "suiker" over het hoofd zag? Of omdat hij verward werd door een ander woord in het recept?

Dit artikel, getiteld "Contrastive Attribution in the Wild", gaat dieper dan alleen het eindresultaat. De auteurs gebruiken een soort röntgenfoto van de gedachten van de AI om te zien wat er precies misging in de keuken.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Black Box" Keuken

Vroeger keken onderzoekers alleen naar wat de AI deed (gedragsanalyse). Ze zagen dat de AI een fout maakte, maar ze zagen niet hoe de AI tot die fout kwam. Het was alsof je alleen naar een gebakken ei keek en zegt: "Het is verbrand," zonder te weten of het vuur te heet was, of dat de kok de pan te lang op het vuur liet staan.

De auteurs zeggen: "We moeten naar binnen kijken." Ze willen weten welke woorden in de vraag (de ingrediënten) de AI hebben aangezet om de verkeerde keuze te maken.

2. De Oplossing: De "Wat-als"-Spiegel

De kern van hun methode is Contrastive Attribution.
Stel je voor dat de AI een fout maakt door te zeggen: "De hoofdstad van Frankrijk is Lyon."
De juiste antwoord is: "De hoofdstad van Frankrijk is Parijs."

In plaats van alleen te kijken naar "Lyon", kijken de onderzoekers naar het verschil tussen "Lyon" en "Parijs". Ze vragen zich af: "Welke woorden in de vraag hebben de AI aangezet om voor Lyon te kiezen in plaats van Parijs?"

Ze gebruiken een techniek genaamd LRP (Layer-wise Relevance Propagation). Je kunt dit zien als een spoor van kruimels dat de AI achterlaat.

Als het woord "Frankrijk" in de vraag veel "kruimels" (belang) heeft, betekent dat dat dit woord de AI sterk beïnvloedde.
Als het woord "Lyon" in het antwoord veel kruimels trekt, betekent dat de AI hierdoor werd geleid.

3. De Grote Uitdaging: De Lange Verhaal

De echte uitdaging is dat moderne AI's vaak hele lange verhalen moeten lezen (duizenden woorden lang). Bestaande tools om de "kruimels" te volgen, zijn vaak te traag of te dom om zo'n lang verhaal te analyseren. Het is alsof je probeert de sporen van een olifant te volgen in een bos dat zo groot is als Nederland.

De auteurs hebben een slimme truc bedacht (een "batch-truc") om dit sneller te doen. Ze kunnen nu de kruimels volgen door het hele lange verhaal heen, zonder dat hun computer in brand vliegt. Ze bouwen een kaart (een attributie-grafiek) die laat zien hoe de gedachten van de AI van het begin van de zin naar het einde reizen.

4. Wat Vonden Ze? (De Resultaten)

Toen ze deze "röntgenfoto's" maakten van honderden fouten, ontdekten ze drie belangrijke dingen:

Soms is het simpel: In veel gevallen zagen ze dat de AI een belangrijk woord in de vraag gewoon over het hoofd zag.
- Vergelijking: De kok zag het bordje "Geen suiker" niet en gooide er toch suiker bij.
- Voorbeeld: Als de instructie zegt "Gebruik geen komma's", maar de AI gebruikt er toch één, dan zagen ze dat de AI het woord "geen" of "komma's" te weinig gewicht gaf.
Soms is het verwarrend: Soms gaf de AI te veel aandacht aan woorden die niets te maken hadden met de vraag.
- Vergelijking: De kok keek naar een decoratie op de muur in plaats van naar het recept, en besloot daarop de soep te kruiden.
Soms is het ingewikkeld: Bij moeilijke wiskundevragen zagen ze dat de fout niet bij het begin lag, maar diep in het "brein" van de AI. De AI leek te vertrouwen op een oude, verkeerde gewoonte (een bias) in plaats van op de logica in de vraag.
- Vergelijking: De kok dacht automatisch aan "zout" omdat hij dat altijd doet, en negeerde het recept volledig.

5. Grotere Modellen zijn Beter (Maar hoe?)

Ze keken ook naar wat er gebeurt als je een grotere AI neemt (van 0,6 miljard parameters naar 4 miljard).

Resultaat: De grotere AI maakt minder fouten.
De verrassing: Het is niet zomaar "geluk". De röntgenfoto's laten zien dat de grotere AI echt anders kijkt. Ze letten beter op de instructies en negeren de afleidende woorden. Het is alsof de grotere kok een scherper zicht heeft en niet zo snel afgeleid wordt door de decoratie op de muur.

6. Waarom is dit belangrijk?

Dit onderzoek is als een diagnose-apparatuur voor AI's.

Voor ontwikkelaars betekent dit dat ze niet meer hoeven te gissen. Ze kunnen precies zien: "Ah, de AI negeert dit ene woord." Dan kunnen ze de AI trainen om daar beter op te letten.
Het helpt ook om te begrijpen of een AI echt "slimmer" wordt, of dat hij alleen maar beter is in het raden van patronen.

Kort samengevat:
De auteurs hebben een nieuwe manier bedacht om te kijken waarom een AI een fout maakt, zelfs bij lange en moeilijke vragen. Ze gebruiken een soort "gedachten-spoor" om te zien welke woorden de AI beïnvloeden. Ze ontdekten dat AI's soms belangrijke instructies over het hoofd zien, en dat grotere AI's dit probleem oplossen door echt beter te luisteren, in plaats van alleen maar te raden.

Het is een stap in de richting van AI's die we niet alleen kunnen vertrouwen, maar ook begrijpen.

1. Probleemstelling

Hoewel Large Language Models (LLMs) aanzienlijke vooruitgang hebben geboekt, falen ze nog steeds in realistische scenario's. Bestaande analyses van deze fouten zijn voornamelijk gebaseerd op gedragsanalyse (het observeren van inputs, outputs en reacties op perturbaties). Hoewel dit nuttig is om wat er misgaat te identificeren, vertelt het weinig over waarom het misgaat.

Interpretability-tools (uitlegbaarheid) zijn vaak beperkt tot korte prompts, "toy"-settings of sterk gestructureerde sjablonen. Er is een groot gat in de literatuur voor het analyseren van fouten in realistische benchmarks met lange contexten (duizenden tokens), zoals agent-taken of complexe redeneerproblemen. Bestaande methoden zijn vaak niet schaalbaar of kunnen de open-ended aard van deze fouten niet goed aan.

2. Methodologie

De auteurs presenteren een raamwerk om LLM-fouten te analyseren via Contrastive Attribution (contrasterende toewijzing) gebaseerd op Layer-wise Relevance Propagation (LRP).

Contrastive Attribution: In plaats van alleen te kijken naar waarom een model een bepaald woord kiest, wordt de analyse geformuleerd als het verklaren van het verschil in logit-waarden tussen een incorrecte output-token ( $t_{tgt}$ ) en een correcte alternatieve token ( $t_{con}$ ).
- Het doel is om dit logit-verschil ( $\Delta \ell$ ) toe te wijzen aan input-tokens en interne modelstaten (hidden states) over de lagen heen.
- Dit verwijdert gemeenschappelijke, fout-irrelevante berekeningen en levert scherpere, interpreteerbare verklaringen op.
AttnLRP: De auteurs gebruiken AttnLRP (Attention-aware Layer-wise Relevance Propagation), een state-of-the-art variant van LRP die specifiek is ontworpen voor transformer-architecturen. Dit biedt een hogere "faithfulness" (trouw) dan andere methoden zoals gradient-based attribution.
Efficiënte Constructie van Attribution Graphs:
- Een uitdaging bij lange contexten is dat het naadloos reconstrueren van een attributiegrafiek (die toont hoe relevantie stroomt tussen lagen) computatierijk is.
- De auteurs introduceren een efficiënte uitbreiding die gebruikmaakt van een "batching trick". Hierbij worden meerdere attributiedoelen (targets) tegelijk verwerkt in één backward pass via de batch-dimensie. Dit maakt het mogelijk om schaalbare, cross-layer attributiegrafieken te bouwen voor inputs van duizenden tokens.
Coarse-to-Fine Analyse:
- Voor lange prompts wordt eerst een grofkorrelige analyse uitgevoerd op het niveau van geaggregeerde hidden states (samenvoegen van alle neuron-waarden).
- Pas na het identificeren van belangrijke subgrafieken wordt er optioneel een fijnkorrelige analyse uitgevoerd op neuron-niveau binnen die specifieke subgrafieken.

3. Belangrijkste Bijdragen

Formulering van Foutanalyse: Ze formuleren LLM-foutanalyse als een token-niveau contrasterend attributieprobleem, wat toepassing van interpretability-methoden mogelijk maakt in realistischere settings dan eerder mogelijk was.
Schaalbare Methode: Ze introduceren een efficiënte uitbreiding van LRP die de constructie van attributiegrafieken voor lange contexten mogelijk maakt door middel van batch-gepackte backpropagation.
Systematische Empirische Studie: Ze voeren een uitgebreide studie uit op honderden foutgevallen over meerdere benchmarks (IFEval, GAIA2, MATH, EvalPlus), verschillende modelgroottes (Qwen3-0.6B tot 8B) en trainings checkpoints.

4. Resultaten

De studie levert zowel inzichten als beperkingen op:

Effectiviteit van Attribution: Token-level contrastive attribution kan informatieve signalen geven voor bepaalde soorten fouten, maar is niet universeel toepasbaar.
- M-IA (Manifested by Input Attribution): In veel gevallen (vooral IFEval, GAIA2, EvalPlus) is de fout al zichtbaar in de input-attributie-heatmap.
- NC-IA + M-AG: Bij sommige fouten (vooral in wiskundige redenering zoals MATH) is de input-attributie niet voldoende; de attributiegrafiek moet worden geanalyseerd om de interne dynamiek te begrijpen.
- NC-IA+AG: Een deel van de fouten (vooral complexe wiskundige redeneringen) blijft onverklaarbaar met de huidige methoden, wat wijst op de noodzaak van nog fijnere analyse.
Foutpatronen: De auteurs identificeren drie hoofdpatronen:
1. Underweight Relevant Tokens (URT): Het model geeft te weinig relevantie aan kritieke input-tokens (meest voorkomende fout).
2. Overweight Irrelevant Tokens (OIT): Het model geeft te veel gewicht aan irrelevante of misleidende tokens.
3. Combinatie: Vaak een mix van beide.
Model Scaling (Groei):
- Grotere modellen (bijv. Qwen3-4B vs 0.6B) corrigeren vaak de fouten van kleinere modellen.
- Interpretability-analyse toont aan dat deze verbetering gepaard gaat met systematische verschuivingen: grotere modellen hechten meer negatieve relevantie aan instructie-tokens die strijdig zijn met de output en minder aan oppervlakkige token-volgorde. Dit bevestigt dat schaling leidt tot echte verbeteringen in het redeneerproces, niet alleen tot het onthouden van patronen.
Evolutie tijdens Training:
- Analyse van checkpoints (Olmo-3-7B-Think) toont aan dat fouten worden gecorrigeerd door systematische verschuivingen in attributiepatronen tijdens het trainingsproces (vooral tijdens SFT en DPO).
- De grootste veranderingen vinden plaats in de vroege tot middensectie van de training, waarbij het model leert om meer aandacht te schenken aan taaksemantiek en minder aan oppervlakkige continuatie.

5. Significantie en Toekomstperspectief

Praktische Toepassingen: De methode biedt een diagnose-tool voor ontwikkelaars om te begrijpen waarom een model faalt. Dit kan leiden tot gerichte prompt-tuning (het aanpassen van specifieke tokens die de fout veroorzaken) en betere monitoring tijdens training.
Beperkingen: De huidige methode is minder effectief voor complexe wiskundige fouten die mogelijk neuron-niveau analyse vereisen die nu nog te rekenintensief is voor lange contexten.
Toekomst: De auteurs pleiten voor het uitbreiden van het raamwerk naar phrase-level of step-level contrastive attribution om fouten te vangen die ontstaan door opeenvolgende redeneerstappen in plaats van één enkel token.

Kortom, dit paper toont aan dat interpretability-methoden, wanneer ze correct worden toegepast op realistische benchmarks, waardevolle inzichten kunnen bieden in de oorzaken van LLM-fouten en de effectiviteit van model-schaling en training kunnen verifiëren.