Applied Explainability for Large Language Models: A Comparative Study

Deze paper presenteert een toegepast vergelijkend onderzoek naar drie uitlegbaarheidstechnieken voor een DistilBERT-model, waarbij wordt geconcludeerd dat gradient-gebaseerde methoden stabielere inzichten bieden dan attention- of model-agnostische benaderingen, die echter respectievelijk minder nauwkeurig of rekenkundig duurder zijn.

De kern

🧠 De "Black Box" van de AI: Waarom we niet kunnen zien hoe een computer denkt

Stel je voor dat je een superintelligente robot hebt die films bekijkt en direct kan zeggen of ze leuk zijn of niet. Deze robot is zo slim dat hij bijna nooit fouten maakt. Maar er is een probleem: je weet niet waarom hij zo denkt. Hij is als een zwarte doos. Je gooit een filmtitel erin, en hij geeft een antwoord, maar het interne proces is onzichtbaar.

In de wereld van kunstmatige intelligentie (AI) noemen we dit Large Language Models (LLM's). Ze zijn geweldig, maar ze zijn ook een mysterie. Als deze robot een fout maakt of een vooroordeel heeft, kunnen we het niet zien, omdat we de "gedachten" van de robot niet kunnen lezen.

Dit onderzoek van Venkata Abhinandan Kancharla is als een detectiveverhaal. De onderzoeker wilde niet een nieuwe robot bouwen, maar hij wilde drie verschillende detectivemethoden testen om te kijken welke het beste kan uitleggen waarom de robot een bepaalde mening heeft.

---

🔍 De drie detectives

De onderzoeker heeft drie methoden getest op een slimme, maar kleinere versie van een AI (genaamd DistilBERT) die films beoordeelt. Hier zijn de drie methoden, vergeleken met alledaagse situaties:

1. Integrated Gradients (De "Schaal-Weegschaal")

• Hoe het werkt: Stel je voor dat je een gerecht proeft en je wilt weten welk ingrediënt de smaak het meest bepaalt. Deze methode neemt het gerecht, verwijdert beetje bij beetje de ingrediënten en kijkt hoe de smaak verandert.
• Het resultaat: Deze methode was de beste detective. Hij kon heel precies aangeven welke woorden (zoals "wonderlijk" of "slecht") de AI echt zwaar lieten wegen. Hij was stabiel: als je dezelfde zin twee keer gaf, gaf hij hetzelfde antwoord.
• Vergelijking: Het is als een betrouwbare weegschaal die altijd hetzelfde resultaat geeft, ongeacht hoe vaak je hem gebruikt.

2. Attention Rollout (De "Aandachts-Scanner")

• Hoe het werkt: AI-modellen hebben een mechanisme genaamd "attention" (aandacht). Het is alsof de AI een magische bril draagt die op bepaalde woorden kijkt. Deze methode kijkt gewoon naar waar die bril op gericht is.
• Het resultaat: Deze methode was snel en makkelijk, maar vaak verkeerd. De AI keek vaak naar woorden die niet belangrijk waren, zoals "de", "een" of leestekens, in plaats van de woorden die echt de mening bepaalden.
• Vergelijking: Het is alsof iemand die een film bekijkt, alleen naar de acteurs in de achtergrond kijkt en de dialoog mist. Het is snel om te doen, maar het vertelt je niet waarom de film goed of slecht was.

3. SHAP (De "Theoretische Rekenaar")

• Hoe het werkt: Deze methode is gebaseerd op een complexe wiskundige theorie (Speltheorie). Het probeert te berekenen hoeveel elk woord bijdraagt aan het eindresultaat door het model als een "zwarte doos" te behandelen.
• Het resultaat: Deze methode was flexibel, maar ook onbetrouwbaar en traag. Als je de input een beetje veranderde, veranderde het antwoord drastisch. Het was alsof je een weegschaal gebruikt die elke keer een ander gewicht aangeeft als je hem een millimeter verschuift.
• Vergelijking: Het is als een supergeavanceerde rekenmachine die de juiste theorie heeft, maar die zo langzaam is en zo gevoelig voor stofjes dat hij in de praktijk niet goed werkt.

---

🏆 De winnaar en de les voor de praktijk

De conclusie van het onderzoek is duidelijk:

1. Integrated Gradients is de beste keuze voor mensen die AI in de echte wereld gebruiken (zoals ingenieurs). Het is stabiel, betrouwbaar en vertelt je precies welke woorden de AI belangrijk vond.
2. Attention Rollout is snel, maar je kunt er niet blind op vertrouwen. Het is goed om een idee te krijgen, maar niet om feiten te bewijzen.
3. SHAP is te zwaar en onstabiel voor dit soort taken.

De belangrijkste les:
Explainability (uitlegbaarheid) is niet hetzelfde als de waarheid. Het is meer als een diagnose-instrument voor een dokter. Als een dokter een röntgenfoto maakt, helpt het om te zien wat er mis is, maar het is niet het volledige verhaal.

Voor bedrijven en ontwikkelaars betekent dit:

• Gebruik betrouwbare methoden (zoals Integrated Gradients) om fouten in je AI op te sporen.
• Wees voorzichtig met methoden die er mooi uitzien, maar die onstabiel zijn.
• Vergeet niet dat de uitleg van een AI een hulpmiddel is, geen definitief antwoord. Je moet altijd zelf nadenken of de uitleg logisch is.

🚀 Wat nu?

Deze studie is gedaan met een relatief kleine AI en korte zinnen (filmrecensies). In de toekomst moeten we kijken of deze regels ook gelden voor de gigantische AI-modellen van vandaag de dag en voor complexe taken zoals het lezen van medische dossiers of juridische contracten. Maar één ding is zeker: als we AI willen vertrouwen, moeten we eerst begrijpen hoe ze denken, en niet alleen wat ze zeggen.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLM's) en transformer-architecturen (zoals BERT en zijn varianten) uitstekende prestaties leveren op natuurlijke taalverwerkingstaken (NLP), blijven hun interne besluitvormingsprocessen vaak ondoorzichtig ("black-box"). Dit gebrek aan transparantie vormt een praktische uitdaging bij het inzetten van modellen in real-world toepassingen waar vertrouwen, debugging en verantwoording essentieel zijn.

Hoewel er talloze methoden voor uitlegbaarheid (Explainable AI of XAI) zijn ontwikkeld, is hun gedrag in transformer-based NLP-systemen niet altijd goed begrepen. Er bestaat een kloof tussen theoretische voorstellen en de praktische bruikbaarheid van deze methoden. Veel methoden kunnen computatief zwaar zijn, instabiel gedrag vertonen of moeilijk te interpreteren zijn, wat de keuze voor engineers in de praktijk bemoeilijkt.

Methodologie

De studie voert een toegepaste vergelijking uit van drie bestaande uitlegbaarheidstechnieken op een consistent en reproduceerbaar experimenteel platform.

• Model: Een fijngefineerde (fine-tuned) DistilBERT-model, een lichtgewicht transformer-variant van BERT.
• Taak: Binair sentimentanalyse op het SST-2 (Stanford Sentiment Treebank) dataset, bestaande uit korte zinnen met positieve of negatieve labels.
• Vergelijkte Methoden:
  1. Integrated Gradients (IG): Een gradiëntgebaseerde methode die de bijdrage van elke input-token meet ten opzichte van een baseline.
  2. Attention Rollout: Een methode die attention-weights over de lagen van de transformer aggregeert om een distributie te genereren die uitgaat van het [CLS]-token.
  3. SHAP (SHapley Additive exPlanations): Een model-agnostische methode gebaseerd op Shapley-waarden uit de speltheorie, die het model als een black-box behandelt.
• Evaluatiecriteria: De methoden werden kwalitatief beoordeeld op basis van:
  • Faithfulness (Betrouwbaarheid): Hoe goed corresponderen de gemarkeerde tokens met de feitelijke factoren die de voorspelling beïnvloeden?
  • Stabiliteit: De consistentie van de uitleg bij herhaalde evaluaties van vergelijkbare inputs.
  • Menselijke Interpreteerbaarheid: De mate waarin de uitleg intuïtief is en overeenkomt met menselijk inzicht.

Belangrijkste Bijdragen

1. Gestructureerde Vergelijking: Een praktische evaluatie van attention-based, gradiëntgebaseerde en feature-attribution methoden binnen een gecontroleerde NLP-omgeving, in plaats van het voorstellen van een nieuwe methode.
2. Reproduceerbaar Experiment: Het gebruik van een vast model-artefact en een standaard dataset om eerlijke vergelijkingen mogelijk te maken.
3. Praktische Inzichten: Concrete richtlijnen voor ML-engineers over de sterke en zwakke punten van veelgebruikte XAI-tools in transformer-systemen.

Resultaten en Analyse

De analyse leverde duidelijke verschillen op in het gedrag van de drie methoden:

• Integrated Gradients (IG):

  • Resultaat: Leverde de meest stabiele en intuïtieve uitleg.
  • Observatie: De methode markeerde consistent sentimentdragende tokens (bijv. bijvoeglijke naamwoorden, negaties) die overeenkwamen met menselijke intuïtie.
  • Conclusie: Hoewel het een gemiddelde computatiekosten heeft, is het de meest betrouwbare methode voor debugging en analyse.

• Attention Rollout:

  • Resultaat: Zeer computatie-efficiënt, maar minder betrouwbaar qua faithfulness.
  • Observatie: De methode legde vaak de nadruk op structurele tokens (zoals stopwoorden, leestekens en het [CLS]-token) in plaats van op de semantisch relevante woorden voor sentiment.
  • Conclusie: Geschikt als visueel hulpmiddel, maar niet als een definitieve verklaring voor modelredenering.

• SHAP:

  • Resultaat: Flexibel en model-agnostisch, maar met hoge kosten en variabiliteit.
  • Observatie: Toonde merkbare variabiliteit tussen runs en was gevoelig voor kleine veranderingen in inputrepresentatie en achtergronddata. De uitleg was vaak "ruisig" op token-niveau.
  • Conclusie: Te zwaar en instabiel voor routinematig gebruik in transformer-based tekstmodellen; beter geschikt voor kwalitatieve, gerichte analyse.

Samenvattende Trade-offs:

Methode	Sterke Punten	Beperkingen	Praktische Toepasbaarheid
Integrated Gradients	Hoge betrouwbaarheid, stabiel	Vereist toegang tot gradients	Ideaal voor debugging in productie
SHAP	Model-agnostisch, theoretisch onderbouwd	Hoge rekentijd, instabiliteit	Beperkt schaalbaar in NLP
Attention Rollout	Snel, eenvoudig te berekenen	Slechte correlatie met voorspellende features	Minder betrouwbaar als enige methode

Significantie en Conclusie

De studie benadrukt dat uitlegbaarheid in de praktijk moet worden gezien als een diagnostisch hulpmiddel en niet als een definitieve weergave van hoe een model redeneert.

• Voor de Industrie: Gradient-based methoden zoals Integrated Gradients bieden de beste balans tussen betrouwbaarheid, stabiliteit en bruikbaarheid voor transformer-modellen in productieomgevingen.
• Waarschuwing: Attention-mechanismen mogen niet blindelings worden gebruikt als verklaring voor modelbeslissingen, aangezien ze vaak syntactische patronen volgen in plaats van causale redenering.
• Toekomst: De auteurs pleiten voor het evalueren van XAI-methoden onder realistische omstandigheden en het combineren van meerdere methoden voor een robuustere analyse, met oog voor de beperkingen van specifieke datasets (zoals de beperkte lengte van SST-2) en modelgroottes.

Kortom, de paper biedt een noodzakelijke realiteitscheck voor ML-praktici: niet alle theoretisch aantrekkelijke uitlegbaarheidstechnieken zijn even geschikt voor moderne NLP-systemen, en de keuze hangt af van de specifieke behoefte aan stabiliteit versus snelheid.