💬 NLP

Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information

Dit artikel introduceert het $\pi$ -Soft-NC- en $\pi$ -Soft-NS-evaluatiekader om te controleren voor behouden woordtellingen bij het beoordelen van de toewijzingsgetrouwheid in decoder-only LLM's, naast de Grad-ELLM-methode die effectief gradiënt- en attentiesignalen combineert om sterke prestaties met een focus op volledigheid te bereiken.

Oorspronkelijke auteurs: Xin Huang, Antoni B. Chan

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xin Huang, Antoni B. Chan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Appels met Peren Vergelijken

Stel je voor dat je een rechter bent die moet beslissen welke rechercheur beter is in het oplossen van een mysterie. Je hebt twee rechercheurs: Rechercheur A en Rechercheur B.

Rechercheur A vindt 5 aanwijzingen, maar ze zijn allemaal zeer belangrijk.
Rechercheur B vindt 50 aanwijzingen, maar slechts 5 zijn echt bruikbaar; de rest is gewoon ruis.

In het verleden probeerden onderzoekers "trouw" (hoe goed een AI haar eigen gedachtegang uitlegt) te meten door te kijken hoeveel het antwoord van de AI veranderde wanneer je de aanwijzingen die de rechercheur aanwees, verwijderde.

De Fout: De oude manier van meten was als volgt: Als Rechercheur B je een lijst met 50 aanwijzingen gaf en je verwijderde er 45, zou het antwoord van de AI misschien veel veranderen, simpelweg omdat je zoveel woorden verwijderde, niet omdat de aanwijzingen slecht waren. Als Rechercheur A je een korte lijst met 5 aanwijzingen gaf, zou het verwijderen daarvan het antwoord misschien minder veranderen, gewoon omdat er minder woorden waren om mee te beginnen.

De oude maten waren onrechtvaardig. Ze vergeleken een rechercheur die veel informatie bewaarde met een rechercheur die zeer weinig bewaarde, waardoor het leek alsof degene die meer informatie bewaarde "beter" was in het uitleggen van dingen, zelfs als hun logica rommelig was.

De Oplossing: De "Gelijke Behoud"-Regel

De auteurs van dit artikel stellen een nieuwe regel voor het spel voor: Iedereen moet exact dezelfde hoeveelheid informatie bewaren.

Ze introduceren een nieuwe methode genaamd $\pi$ -Soft-NC en $\pi$ -Soft-NS. Denk aan $\pi$ (Pi) als een "volume-knop" voor informatie.

Als je de knop op 0,5 zet, moeten zowel Rechercheur A als Rechercheur precies 50% van de woorden in de zin bewaren.
Als je hem op 0,1 zet, moeten beiden slechts 10% bewaren.

Door beide methoden te dwingen om dezelfde hoeveelheid informatie te "bewaren", kun je eindelijk zien wie de juiste woorden heeft gekozen om het besluit van de AI uit te leggen, in plaats van wie gewoon de meeste woorden heeft gekozen.

De Nieuwe Rechercheur: Grad-ELLM

De auteurs hebben ook een nieuwe rechercheursmethode gebouwd, genaamd Grad-ELLM, om deze nieuwe regel te testen.

Hoe het werkt: Stel je voor dat een AI een verhaal woord voor woord schrijft (zoals een kettingreactie). Om te begrijpen waarom de AI het volgende woord koos, kijkt Grad-ELLM tegelijkertijd naar twee dingen:
1. De "Attention"-kaart: Naar welke woorden keek de AI? (Zoals naar wie de AI in een kamer naar staart).
2. De "Gradient"-kaart: Hoeveel veranderde het resultaat daadwerkelijk door die woorden te veranderen? (Zoals hoeveel de temperatuur in de kamer verandert als je een specifieke kachel verplaatst).

Grad-ELLM combineert deze twee perspectieven. Het kiest niet zomaar het enkele "belangrijkste" woord; het creëert een gladde, continue kaart van belangrijkheid over de hele zin. Het is als een warmtekaart die precies aangeeft waar de "hitte" (belangrijkheid) zit, in plaats van alleen met een vinger naar één plek te wijzen.

Wat Ze Vonden

De auteurs testten hun nieuwe regel en hun nieuwe rechercheur op beroemde AI-modellen (Llama en Mistral) met taken zoals:

Sentimentanalyse: Beslissen of een filmrecensie positief of negatief is.
Open Generatie: Antwoorden op vragen schrijven of een verhaal voortzetten.

De Resultaten:

De Oude Regel was Bevooroordeeld: Toen ze de oude maten gebruikten, leken methoden die veel woorden bewaarden kunstmatig goed.
De Nieuwe Regel Onthult de Waarheid: Onder de nieuwe "Gelijke Behoud"-regel bleek Grad-ELLM uitstekend in het vinden van brede bewijslast. Het toonde aan dat het besluit van de AI werd ondersteund door een breed scala aan woorden die samenwerkten (zoals een koor van stemmen).
Geen Eénwinnaar: Interessant genoeg was geen enkele methode de beste in alles.
- Sommige methoden waren geweldig in het vinden van het één of twee meest kritieke woorden (zoals het vinden van het "rookend pistool").
- Grad-ELLM was geweldig in het tonen van het hele plaatje van hoeveel woorden bijdroegen aan het antwoord.

De Conclusie

Dit artikel is als een nieuwe set schalen voor een bakkerij. Vroeger, als je een cake weegde met een zware schaal en een koekje met een lichte schaal, kon je niet vertellen welk dessert eigenlijk zwaarder was. De auteurs voegden een standaard schaal toe aan beide kanten.

Ze bakten ook een nieuw soort cake (Grad-ELLM) die zijn smaak gelijkmatig door het hele gerecht verspreidt, in plaats van slechts een paar zoete plekken te hebben. Hun nieuwe schalen tonen aan dat terwijl sommige methoden goed zijn in het vinden van de "zoete plekken", hun nieuwe cake beter is in het tonen hoe het hele dessert in elkaar zit.

Kort samengevat: Ze hebben de manier waarop we AI-verklaringen testen opgelost, zodat we niet worden bedrogen door het aantal woorden, en ze introduceerden een nieuwe methode die een vollediger, eerlijker beeld geeft van hoe de AI denkt.

Technische Samenvatting: Betrouwbaarheidsevaluatie voor Attributies van Decoder-only LLM's met Gecontroleerde Behouden Informatie

Probleemstelling

Grote Taalmodellen (LLM's), met name decoder-only architecturen zoals Llama en Mistral, worden steeds vaker geëvalueerd met behulp van input-attributiemethoden om hun besluitvormingsprocessen te verklaren. Het vergelijken van de "betrouwbaarheid" (faithfulness) van deze verklaringen blijft echter een uitdaging.

Bestaande soft-perturbatie betrouwbaarheidsmetrieken, specifiek Soft-NC (Genormaliseerde Soft Comprehensiveness) en Soft-NS (Genormaliseerde Soft Sufficiency), lijden onder een kritieke bias. Deze metrieken evalueren de kwaliteit van attributie door inputs te perturbëren op basis van attributiescores. Echter, verschillende attributiemethoden produceren vaak scoreverdelingen met verschillende gemiddelden. Bijgevolg behouden methoden met hogere gemiddelde scores meer woorden tijdens soft-perturbatie, wat hun betrouwbaarheidsscores kunstmatig inflatieert, simpelweg omdat de geperturbeerde input meer informatie bevat, en niet omdat de attributie nauwkeuriger is. Dit probleem is vooral uitgesproken in autoregressieve decoder-only LLM's, waar attributiescoreverdelingen aanzienlijk kunnen variëren tussen generatiestappen.

Methodologie

1. $\pi$ -Soft-NC en $\pi$ -Soft-NS

Om de bias in bestaande metrieken aan te pakken, stellen de auteurs $\pi$ -Soft-NC en $\pi$ -Soft-NS voor. Dit zijn evaluatiekaders die attributiemethoden vergelijken onder een gecontroleerde doelbehoudswaarschijnlijkheid ( $\pi$ ).

Mechanisme: In plaats van ruwe attributiescores te vergelijken, transformeert het kader elke attributieverdeling met een alpha-transformatie ( $\tilde{s}_i = s_i^\alpha$ ). De parameter $\alpha$ wordt numeriek opgelost (bijvoorbeeld via een bisection search) zodat de verwachte behoudswaarschijnlijkheid van de getransformeerde scores overeenkomt met een specifieke doelwaarde $\pi \in [0, 1]$ .
Eerlijke Vergelijking: Door verschillende methoden te dwingen om hetzelfde verwachte hoeveelheid informatie te behouden (zelfde $\pi$ ), isoleert de evaluatie de kwaliteit en kalibratie van de attributieverdeling van verschillen in perturbatiesterkte.
Evaluatieprotocollen: De auteurs introduceren twee protocollen om verschillende aspecten van attributie te evalueren:
- Dynamic-Routing: De attention van de transformer wordt dynamisch herberekend op basis van de geperturbeerde input. Dit meet hoe attributies nuttige woorden identificeren onder veranderende modelcondities.
- Fixed-Routing: De attention-kaarten worden gecached vanuit de originele, niet-geperturbeerde input en hergebruikt tijdens perturbatie. Dit isoleert de causale bijdrage van token-inhoud van attention-herallocatie.
Visualisatie: Het doorlopen van $\pi$ van 0 tot 1 genereert een curve ( $\pi$ -Soft-NC/NS versus $\pi$ ). Het Oppervlak Onder de Curve (AUC) vat de prestaties samen. Hoge scores bij lage $\pi$ wijzen op compacte voldoende bewijslast, terwijl sterke prestaties over hoge $\pi$ heen wijzen op brede comprehensiveness.

2. Grad-ELLM

De auteurs introduceren Grad-ELLM, een op gradiënten gebaseerde attributiemethode die specifiek is toegesneden op autoregressieve decoder-only LLM's.

Inspiratie: Het past het concept van gradiënt-attention aggregatie toe uit Grad-ECLIP (ontworpen voor dual-encoder vision-language modellen) op sequentiële tekstgeneratie.
Mechanisme:
- Voor elke decoding-stap wordt attributie berekend met betrekking tot de logit van het volgende token.
- Het combineert gradiënt-afgeleide kanaalbelang (gevoeligheid van de logit voor attention-uitvoerkanalen) met attention-afgeleide tokenbelang (token-gewichten).
- Om te voorkomen dat er te verspreide "piekerige" softmax-gewichten ontstaan, wordt een "verlichte" normalisatie (min-max normalisatie) toegepast op query-key gelijkenissen, wat resulteert in een continue attributieverdeling.
- Attributiescores worden geaggregeerd over geselecteerde decoderlagen om de uiteindelijke heatmap te vormen.

Belangrijkste Bijdragen

Identificatie van Bias: Het artikel identificeert dat bestaande Soft-NC/NS-metrieken methoden met verschillende scoregemiddelden oneerlijk vergelijken, omdat ze inherent verschillende hoeveelheden behouden informatie evalueren.
Nieuwe Evaluatiemetrieken: Het voorstellen van $\pi$ -Soft-NC en $\pi$ -Soft-NS, die vergelijkingen normaliseren door de verwachte behouden informatie te controleren via een doelwaarschijnlijkheid $\pi$ .
Nieuwe Attributiemethode: De introductie van Grad-ELLM, die gradiënt- en attention-signalen integreert, specifiek voor de sequentiële aard van decoder-only LLM's.
Uitgebreide Empirische Analyse: Een rigoureuze vergelijking van representatieve attributiemethoden (waaronder Attention, Saliency, Integrated Gradients, DeepLIFT, Value Zeroing en ReAGent) over classificatie- en open-generatietaken.

Experimentele Resultaten

Experimenten werden uitgevoerd op Llama-3.1-8B en Mistral-7B (met aanvullende resultaten op 70B) over vijf datasets (IMDb, SST2, BoolQ, TellMeWhy, WikiBio).

Diagnose van Originele Metrieken: Analyse van ruwe Soft-NC/NS bevestigde de bias; methoden zoals Random en Grad-ELLM behielden aanzienlijk meer tokens (hogere $\pi$ ) dan verspreide methoden zoals DeepLIFT, wat leidde tot niet-vergelijkbare scores.
Prestaties onder $\pi$ -Soft-NC: Grad-ELLM behaalde de sterkste comprehensiveness-georiënteerde betrouwbaarheid (hoogste gemiddelde AUC) op zowel Llama als Mistral. Dit suggereert dat Grad-ELLM effectief brede bewijslastdekking identificeert.
Prestaties onder $\pi$ -Soft-NS: Geen enkele methode domineerde de sufficiency-georiënteerde evaluatie ( $\pi$ -Soft-NS). Verspreide methoden zoals Input $\times$ Gradient presteerden goed in de top-3, wat aangeeft dat ze mogelijk de meest kritieke woorden preciezer identificeren, maar geen enkele methode was universeel superieur.
Vergelijking met Random: De meeste methoden toonden alleen een voordeel ten opzichte van Random-attributies wanneer de behoudswaarschijnlijkheid $\pi > 0,5$ was. Dit suggereert dat voor deze taken significante contextuele informatie (meer dan alleen de best gerangschikte tokens) vereist is, of dat huidige methoden moeite hebben met de precieze rangschikking van top-attributies.
Kwalitatieve Analyse: In voorbeelden van sentimentclassificatie slaagde Grad-ELLM erin compositieve zinsdelen (bijvoorbeeld "very little positive") te markeren in plaats van geïsoleerde tokens (bijvoorbeeld "positive"), waardoor het de nuance van ontkenning beter vastlegde dan de baselines.

Betekenis en Claims

Het artikel claimt dat het voorgestelde evaluatiekader een rigoureuze standaard biedt voor het vergelijken van XAI-methoden voor LLM's. Door te controleren op behouden informatie, stelt $\pi$ -Soft-NC/NS onderzoekers in staat te onderscheiden tussen methoden die compacte voldoende bewijslast bieden versus die welke brede comprehensiveness-georiënteerde bewijslast bieden.

De auteurs benadrukken dat Grad-ELLM is ontworpen om gekalibreerde, dichte attributieverdelingen te produceren in plaats van extreem verspreide rangschikkingen. Bijgevolg, terwijl Grad-ELLM uitblinkt onder de voorgestelde soft-perturbatiemetrieken, is het mogelijk niet optimaal voor hard-perturbatie rangschikkingmetrieken (zoals Insertion/Deletion), waarbij de rangschikking van een paar top-tokens overheerst. Het artikel concludeert dat betrouwbare attributie langs meerdere assen (sufficiency versus comprehensiveness) moet worden geëvalueerd in plaats van te vertrouwen op een enkele metriek, en dat de voorgestelde metrieken vooruitgang ondersteunen in het begrijpen hoe attributiebewijs is georganiseerd in autoregressieve modellen.

Beperkingen erkend door de auteurs:

Grad-ELLM vereist toegang tot interne modeltoestanden (gradiënten, attention), wat het beperkt tot open-source modellen.
De studie richt zich op betrouwbaarheid (faithfulness), niet op plausibiliteit (menselijke interpreteerbaarheid), wat objectief moeilijk te kwantificeren blijft.
De metrieken vertrouwen nog steeds op perturbaties op embedding-niveau, wat mogelijk niet perfect overeenkomt met natuurlijke tekstverdelingen.