💻 computer science

Support-Contra Asymmetry in LLM Explanations

Deze empirische studie toont een 'asymmetrie tussen ondersteuning en contradictie' aan, waarbij uitleggen van Large Language Models bij correcte voorspellingen vaker verwijzen naar ondersteunende tekstkenmerken, terwijl foutieve voorspellingen gepaard gaan met uitleggen die zich baseren op tegenstrijdige of misleidende signalen.

Oorspronkelijke auteurs: Avinash Patil

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Avinash Patil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat overdreven beleefde robot hebt die boeken leest en je vertelt of ze goed zijn of slecht. Als je hem vraagt waarom hij een boek "slecht" vindt, geeft hij je een mooi verhaal: "Omdat de hoofdpersoon saai is en de plot onlogisch."

De vraag is: Vertelt deze robot de waarheid, of verzint hij gewoon een leuk verhaal om zijn antwoord te rechtvaardigen?

Dit is precies wat het onderzoek van Avinash Patil onderzoekt. Hij kijkt of de uitleg van een Large Language Model (LLM) – de robot – echt aansluit bij de feiten in de tekst, of dat het gewoon een "verhaaltje" is.

Hier is de kern van het onderzoek, vertaald in een simpel verhaal met een paar creatieve analogieën:

1. De Twee Sporen: De "Waarheid" en het "Verhaal"

In dit onderzoek hebben we twee dingen die we vergelijken:

Het Verhaal (De LLM): De tekst die de robot schrijft om zijn antwoord te verklaren.
De Waarheid (De "Bewijskracht"): Een simpele, transparante rekenmachine (een lineair model) die de tekst analyseert en zegt: "Dit woord hier betekent 'goed', en dat woord daar betekent 'slecht'."

De onderzoekers wilden weten: Kijkt de robot naar die bewijskracht als hij zijn verhaal vertelt?

2. De Grote Ontdekking: Het "Steun vs. Tegen" Onbalans

Het onderzoek ontdekte een heel interessant patroon, dat ze "Support-Contra Asymmetrie" noemen. Laten we dat vergelijken met een rechter in een rechtszaak.

Stel je voor dat de robot een rechter is die een zaak moet beslissen.

Wanneer de robot het GOED heeft (De juiste uitspraak):
De rechter kijkt naar de getuigenissen die steun geven aan zijn vonnis. Hij zegt: "Ik heb dit geoordeeld omdat getuige A en getuige B zeggen dat de verdachte schuldig is." Hij negeert de getuigen die het tegenovergestelde zeggen.
- In het onderzoek: Als de robot het juiste antwoord geeft, verwijst hij in zijn uitleg naar de woorden die het antwoord ondersteunen, en hij negeert de woorden die het tegenspreken.
Wanneer de robot het FOUT heeft (De verkeerde uitspraak):
Hier wordt het raar. De rechter is vastbesloten dat de verdachte schuldig is, maar hij kijkt in zijn uitleg juist naar de getuigen die zeggen: "Nee, hij is onschuldig!" Hij probeert een verhaal te bouwen dat eigenlijk tegen zijn eigen oordeel in gaat.
- In het onderzoek: Als de robot het fout heeft, verwijst hij in zijn uitleg juist naar de woorden die zijn antwoord tegenspreken. Hij haalt de "foute" bewijzen erbij om zijn fout te rechtvaardigen.

3. Waarom is dit belangrijk?

Dit is als een spiegel voor de robot.

Als de robot het goed heeft, lijkt zijn uitleg op een echte detective die de feiten volgt. Hij gebruikt de sterke aanwijzingen in de tekst om zijn conclusie te trekken.
Als de robot het fout heeft, gedraagt hij zich als een verwarde advocaat die probeert een onmogelijk verdediging te bouwen. Hij pakt de zwakke plekken en de tegenbewijzen uit de tekst en probeert die toch als reden voor zijn fout te gebruiken.

4. De Test met Drie Dossiers

De onderzoekers hebben dit getest op drie verschillende soorten "dossiers" (datasets):

IMDB: Filmrecensies (Is de film goed of slecht?).
AG News: Nieuwsartikelen (Over welk onderwerp gaat het? Sport, Politiek, etc.).
WikiOntology: Korte beschrijvingen van dingen (Is dit een film, een band, of een bedrijf?).

In alle drie de gevallen zagen ze hetzelfde patroon. Of de robot nu over films, nieuws of bedrijven sprak:

Goede antwoorden = Uitleg met veel "steun" en weinig "tegen".
Foute antwoorden = Uitleg met veel "tegen" (verwarring).

5. Wat betekent dit voor ons?

Dit onderzoek zegt ons twee dingen:

Het is niet allemaal nep: Wanneer de robot het goed heeft, kijkt hij echt naar de tekst. Hij is niet alleen maar een creatieve schrijver die zomaar wat verzint; hij volgt de feiten.
Pas op bij fouten: Als de robot het fout heeft, is zijn uitleg vaak een misleiding. Hij haalt de verkeerde woorden uit de tekst om zijn fout te verdoezelen. Het klinkt misschien overtuigend, maar het is eigenlijk een "rode haring" (een afleiding).

Conclusie in één zin

De robot is als een spiegel: als hij het goed heeft, toont hij de waarheid; als hij het fout heeft, toont hij een vervormd beeld waar hij zelf niet eens van beseft dat het fout is.

Dit onderzoek helpt ons dus niet alleen om te zien of een robot het goed heeft, maar ook om te begrijpen waarom hij soms in de war raakt en hoe we zijn uitleg beter kunnen controleren.

Probleemstelling

Grote Taalmodellen (LLMs) genereren steeds vaker natuurlijke taalverklaringen (rationales) naast hun voorspellingen. Hoewel deze verklaringen vaak overtuigend en vloeiend klinken, is het onduidelijk of ze daadwerkelijk verwijzen naar de voorspellende aanwijzingen (cues) in de invoer tekst die tot de voorspelling hebben geleid.
De kernvraag is: Verwijzen LLM-verklaringen naar de feitelijke voorspellende signalen in de tekst, of zijn het slechts plausibele, maar losgekoppelde narratives?
Het is moeilijk dit te verifiëren omdat LLM-verklaringen vrij-vormige tekst zijn, terwijl traditionele modellen gebruikmaken van interpreteerbare feature-importancescores. Bestaande methoden voor het evalueren van "trouw" (faithfulness) zijn vaak complex of afhankelijk van menselijke annotaties.

Methodologie

De auteurs introduceren een empirisch kader om de uitlijning tussen LLM-verklaringen en voorspellende lexicale bewijzen te kwantificeren. Het centrale idee is het vergelijken van de inhoud van de verklaring met de feature-importance van een extern, transparant model.

Referentiemodellen:
- Er worden transparante lineaire classifiers getraind (Logistieke Regressie en Lineaire SVM) op dezelfde datasets als de LLM.
- Deze modellen gebruiken TF-IDF features (unigrams en bigrams).
- Omdat deze modellen lineair zijn, kan de invloed van elk woord op de voorspelling direct worden afgelezen via de coëfficiënten.
Partitionering van Bewijs:
Voor elke tekstinstantie worden de top- $k$ meest invloedrijke lexicale features van het referentiemodel geïdentificeerd en opgedeeld in twee categorieën:
- Ondersteunend bewijs (Supporting features): Features met een positieve coëfficiënt die de waarschijnlijkheid van de voorspelde label verhogen.
- Tegensprekend bewijs (Contradicting features): Features met een negatieve coëfficiënt die bewijs leveren tegen de voorspelde label.
Matching en Metrics:
- De auteurs meten hoe vaak deze features voorkomen in de door de LLM gegenereerde verklaring.
- Er worden twee matching-strategieën gebruikt: Token-aware matching (na normalisatie, lemmatisatie) en Exact string matching.
- Coverage Metrics: Er wordt berekend welk percentage van de ondersteunende en tegensprekende features daadwerkelijk in de verklaring wordt genoemd.
Asymmetrie-metric ( $\Delta^*$ ):
De analyse wordt gesplitst op basis van de juistheid van de LLM-voorspelling (Correct vs. Incorrect). De kernmetriek is de asymmetrie:
$\Delta^* = \Delta_{support} - \Delta_{contra}$
Waarbij $\Delta_{support}$ het verschil is in ondersteunende coverage tussen correcte en incorrecte voorspellingen, en $\Delta_{contra}$ het verschil in tegensprekende coverage. Een positieve $\Delta^*$ duidt op een asymmetrie waarbij correcte voorspellingen meer ondersteunend bewijs noemen en minder tegensprekend bewijs dan incorrecte voorspellingen.
Datasets:
De studie wordt uitgevoerd op drie benchmark datasets: WIKIONTOLOGY (entiteitclassificatie), AG NEWS (nieuwsclassificatie) en IMDB (sentimentanalyse).

Belangrijkste Bijdragen

Identificatie van Support–Contra Asymmetrie: De auteurs identificeren een consistent patroon waarbij LLM-verklaringen voor correcte voorspellingen sterk gericht zijn op ondersteunende lexicale signalen, terwijl verklaringen voor fouten juist veelvuldig verwijzen naar tegensprekende signalen.
Kwantitatief Kader: Ze introduceren een eenvoudige, meetbare methode om "explanation-evidence alignment" te testen door verklaringen te vergelijken met externe, transparante voorspellende signalen.
Robuustheid: Het patroon blijkt robuust te zijn over verschillende datasets, referentiemodel-families (LR en SVM) en dieptes van feature-retrieval ( $k=3, 5, 7$ ).
Empirisch Inzicht: Ze tonen aan dat LLM-verklaringen niet puur post-hoc narratives zijn, maar systematisch correleren met de richting van de voorspellende bewijzen in de invoer, afhankelijk van de juistheid van de voorspelling.

Resultaten

De experimentele resultaten tonen een duidelijke en statistisch significante Support–Contra Asymmetrie:

Correcte Voorspellingen: De bijbehorende verklaringen hebben een hoge coverage van ondersteunende features en een lage coverage van tegensprekende features. De LLM lijkt de sterke signalen die het referentiemodel ook als bewijs ziet, te herkennen en te benadrukken.
Incorrecte Voorspellingen: De verklaringen bij fouten tonen een significante toename in de coverage van tegensprekende features. De LLM noemt in deze gevallen vaak lexicale cues die volgens het referentiemodel juist tegen de voorspelde label spreken.
Dataset Variatie:
- Het effect is het sterkst bij WIKIONTOLOGY en AG NEWS (tema-classificatie), waar voorspellende signalen vaak sterk lexicaal gebaseerd zijn.
- Het effect is iets zwakker maar nog steeds aanwezig bij IMDB (sentiment), waar de signalen diffuser zijn.
Statistische Betrouwbaarheid: Bootstrap-resampling bevestigt dat de verschillen in coverage significant zijn (95% betrouwbaarheidsintervallen sluiten 0 uit).

Betekenis en Implicaties

De bevindingen hebben belangrijke gevolgen voor het veld van Explainable AI (XAI):

Verklaringen zijn niet altijd "faithful": Wanneer een LLM een fout maakt, kan de verklaring er nog steeds overtuigend uitzien, maar verwijst deze vaak naar misleidende signalen in de tekst. Dit suggereert dat "plausibility" (overtuigendheid) niet gelijkstaat aan "faithfulness" (trouw aan het besluitvormingsproces).
Diagnostisch Instrument: Het gebruik van externe, transparante modellen als "ground truth" voor lexicale bewijzen biedt een praktische manier om het gedrag van LLM-verklaringen te auditen zonder menselijke annotatie.
Kwaliteit van Rationales: De studie suggereert dat de kwaliteit van een verklaring sterk afhankelijk is van de juistheid van de onderliggende voorspelling. Een verklaring die veel tegensprekend bewijs bevat, is een sterk signaal dat de voorspelling mogelijk onbetrouwbaar is.
Beperkingen: De methode is beperkt tot lexicale overlap en lineaire modellen. Het kan geen complexe semantische relaties of hogere-orde composities vangen die LLMs mogelijk gebruiken. Toch biedt het een solide basislijn voor het begrijpen van hoe LLM's omgaan met voorspellende cues.

Kortom, de paper levert bewijs dat LLM-verklaringen systematisch reageren op de voorspellende structuur van de invoer: ze versterken het juiste bewijs bij succes, maar vallen terug op misleidende bewijsstukken bij fouten.