Explanation Bias is a Product: Revealing the Hidden Lexical and Position Preferences in Post-Hoc Feature Attribution

1. Het Probleem

Post-hoc uitlegmethode (zoals feature attribution) is essentieel voor het begrijpen van taalmodellen (LLMs) en hun beslissingsprocessen. Methoden zoals Integrated Gradients en Vanilla Gradients proberen te bepalen welke input-tokens het meest bijdragen aan een voorspelling.

Echter, een groot probleem is de inconsistentie: verschillende attributiemethoden leveren vaak sterk uiteenlopende uitleggen op voor exact dezelfde input en hetzelfde model. Dit leidt tot twee risico's:

1. Gebruikers vertrouwen onterecht op uitleggen die niet de ware besluitvormingsmechanismen van het model weerspiegelen (ontrouw).
2. Gebruikers wantrouwen de hele discipline omdat ze zien dat methoden niet overeenkomen.

De auteurs stellen dat deze inconsistenties vaak voortkomen uit systematische bias (voorkeur) in de attributiemethoden zelf, specifiek gericht op:

• Lexicale bias: De voorkeur voor bepaalde woordsoorten of lexicale elementen (bijv. leestekens, functiewoorden) ongeacht hun semantische waarde.
• Positie-bias: De voorkeur voor tokens op specifieke posities in de input (bijv. het begin of einde van een zin).

2. Methodologie

De auteurs introduceren een model- en methode-onafhankelijk evaluatiekader om deze biases kwantitatief te meten. Ze gebruiken drie kernmetrieken:

1. Bias-cons (Consistentie): Meet de consistentie van de bias tussen verschillende runs met willekeurige seeds (random seeds). Een lage waarde betekent dat de bias reproduceerbaar is en niet puur toeval.
2. Bias-agg (Aggregatie): Meet de bias van de geaggregeerde verdeling van een methode ten opzichte van een uniforme baseline (geen bias). Dit combineert model-bias en methode-bias.
3. Bias-attr (Attributie): Meet hoe sterk een specifieke attributiemethode afwijkt van andere methoden. De hypothese is dat methoden die het meest afwijken van de consensus (hoge Bias-attr) ook de meest onbetrouwbare (hoge Bias-agg) zijn.

Experimentele Opzet:
De studie omvat twee fasen om bias te isoleren van taak-specifieke factoren:

• Fase 1: Gecontroleerde kunstmatige data: Drie datasets met willekeurige sequences (bijv. alleen leestekens zoals . en ,, of willekeurige combinaties van zelfstandige naamwoorden en determiners). De labels zijn willekeurig, zodat het model geen echte patronen kan leren. Als er bias is, moet deze zichtbaar zijn in de attributies, omdat er geen echte signalen zijn.
• Fase 2: Semi-gecontroleerde natuurlijke data: Een taak voor het detecteren van causale relaties in teksten. Hier worden zinnen permutatieerd om te controleren of het model bias heeft voor de positie van een zin binnen een tekst (begin, midden, einde).

Modellen en Methoden:

• Modellen: Traditionele BERT (bert-base-uncased) vs. een modernere variant (ModernBERT).
• Attributiemethoden: 6 methoden, waaronder PartSHAP, LIME, Vanilla Gradient, Integrated Gradient, en hun varianten vermenigvuldigd met de input.

3. Belangrijkste Resultaten

A. Trade-off tussen Lexicale en Positie-bias
Er is een duidelijke trade-off gevonden tussen de twee soorten bias. Modellen die een hoge score hebben op lexicaal bias, scoren vaak laag op positie-bias en vice versa. Er is geen enkele methode die op beide fronten perfect is.

B. Model-leeftijd en Bias
De verwachting dat nieuwere modellen (ModernBERT) minder bias vertonen dan oudere modellen (BERT), wordt niet bevestigd.

• ModernBERT vertoont minder positie-bias (vooral op kunstmatige data), maar niet per se minder lexicaal bias.
• BERT vertoont juist een sterke positie-bias, vaak gericht op het einde van de input (late information bias), vooral bij negatieve voorbeelden.

C. De Rol van de Attributiemethode

• Vanilla Gradient vertoont over het algemeen de hoogste positie-bias (sterke voorkeur voor het begin van de tekst).
• Integrated Gradient is vaak beter in positie-balans, maar toont soms lexicaal bias (bijv. voorkeur voor punten boven komma's).
• Correlatie Bias-attr en Bias-agg: Een cruciale bevinding is dat attributiemethoden die het sterkst afwijken van de consensus (hoge Bias-attr), ook de hoogste bias vertonen ten opzichte van de "geen-bias" baseline (hoge Bias-agg). Dit suggereert dat "uitbijters" in uitleggen waarschijnlijk onbetrouwbaar zijn.

D. Validatie met Faithfulness-metrieken
De auteurs testen de veelgebruikte metrieken Sufficiency en Comprehensiveness op hun kunstmatige data. Ze concluderen dat deze metrieken falen om bias te detecteren in modellen die de taak niet hebben geleerd (willekeurige labels). Ze geven vaak een score van ~0, wat suggereert dat de uitleg "trouw" is, terwijl in werkelijkheid de uitleg volledig gebaseerd is op bias. Dit is een belangrijke waarschuwing voor de huidige state-of-the-art evaluatie.

4. Bijdragen

1. Nieuw Evaluatiekader: Een gestructureerd framework met drie metrieken (Bias-cons, Bias-agg, Bias-attr) om systematische biases in attributiemethoden te isoleren en te kwantificeren.
2. Isolatie van Bias: Door kunstmatige data te gebruiken, tonen ze aan dat bias inherent is aan de combinatie van model en methode, en niet alleen een artefact van complexe taakdata.
3. Empirisch Bewijs voor "Outlier" Bias: Ze leveren bewijs dat attributiemethoden die sterk afwijken van andere methoden, statistisch gezien meer bias vertonen.
4. Kritiek op Faithfulness-metrieken: Ze tonen aan dat bestaande metrieken voor "trouw" (faithfulness) onvoldoende zijn om bias te detecteren, vooral bij modellen die geen sterke signalen hebben geleerd.

5. Betekenis en Conclusie

De studie concludeert dat uitleg (explanation) een product is van de attributiemethode, niet alleen een weerspiegeling van het model.

• Voor onderzoekers: Het is cruciaal om niet blindelings te vertrouwen op één attributiemethode. De keuze van de methode introduceert systematische voorkeuren (voor bepaalde woorden of posities) die de interpretatie van het model kunnen verstoren.
• Voor gebruikers: Als een uitleg sterk afwijkt van wat andere methoden suggereren, is de kans groot dat deze uitleg onbetrouwbaar is.
• Toekomst: Er is meer onderzoek nodig naar modellen die slechts gedeeltelijk een taak hebben geleerd, en naar het gebruik van meerdere attributiemethoden om een robuustere uitleg te vormen.

Kortom, de paper waarschuwt dat "Explanation Bias" een inherente eigenschap is van de gebruikte techniek, en dat gebruikers zich bewust moeten zijn van de verborgen voorkeuren (lexicaal en positioneel) die hun interpretatie van AI-modellen kunnen beïnvloeden.