💬 NLP

Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns

Dit artikel introduceert ExpNet, een lichtgewicht neuraal netwerk dat automatisch leert om transformer-attentiepatronen te mappen naar belangsscores op tokenniveau, wat een meer adaptieve en computationeel efficiënte alternatief biedt voor bestaande regelgebaseerde attentieaggregatie en model-agnostische uitlegmethoden.

Oorspronkelijke auteurs: George Mihaila

Gepubliceerd 2026-01-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: George Mihaila

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robot hebt (een "Transformer"-model) die tekst leest en beslissingen neemt, zoals het bepalen of een filmrecensie positief is of of een zin grammaticaal correct is. Het probleem is dat deze robot een black box is. Hij geeft je een antwoord, maar je hebt geen idee waarom hij dat antwoord koos. In situaties met hoge inzet (zoals in de gezondheidszorg of de juridische sector) kunnen we een black box niet zomaar vertrouwen; we moeten weten wat de redenering erachter is.

Dit artikel introduceert een nieuw hulpmiddel genaamd ExpNet (Explanation Network) om dit mysterie op te lossen. Hier is hoe het werkt, eenvoudig uitgelegd:

Het Probleem: De "Interne Monoloog" van de Robot

Binnenin de robot zit een mechanisme genaamd Self-Attention. Je kunt dit zien als de interne "blik" van de robot. Wanneer de robot een zin leest, kijkt hij naar verschillende woorden en beslist hij hoeveel aandacht hij aan elk woord besteedt.

De Oude Manier: Voorheen probeerden wetenschappers te raden welke woorden belangrijk waren door middel van vaste regels (zoals "kijk altijd naar de woorden waar de robot het langst naar staarde"). Het is alsof je probeert te raden wat iemands lievelingseten is door alleen maar te kijken naar hoe lang die persoon naar een menukaart staart. Soms werkt het, maar vaak zijn de regels te rigide en missen ze de nuance.
De Andere Manier: Andere methoden behandelen de robot als een mysterieuze doos, waarbij ze de robot met verschillende inputs prikkelen om te zien hoe hij reageert. Dit is traag, duur en creëert vaak onzinnige zinnen die de robot niet eens begrijpt.

De Oplossing: ExpNet (De "Vertaler")

De auteurs hebben ExpNet gebouwd, wat een soort vertaler of coach is die leert om de "blik" van de robot (attention patterns) te lezen en deze te vertalen naar een duidelijke uitleg.

In plaats van vaste regels te gebruiken, leert ExpNet van mensen.

Training: De onderzoekers lieten ExpNet voorbeelden zien waarbij mensen al hadden aangegeven welke woorden belangrijk waren (de "rationales").
Leren: ExpNet keek naar de interne "blik" van de robot tijdens die voorbeelden en begreep: "Ah, wanneer de robot op deze specifieke manier naar het woord 'terrible' kijkt, vinden mensen dat woord de belangrijkste reden voor de negatieve recensie."
Het Resultaat: ExpNet wordt een lichtgewicht, snel neuraal netwerk dat naar de aandachtspatronen van de robot kan kijken en kan zeggen: "Dit zijn de woorden die er toe doen", met een hoge nauwkeurigheid.

Hoe het Werkt (De Analogie)

Stel je voor dat de robot een detective is die een zaak oplost.

De Aandacht van de Robot: De detective heeft een vergrootglas. Hij beweegt het over verschillende aanwijzingen (woorden).
De Oude Methoden: Zij gingen ervan uit dat welke aanwijzing de detective ook het langst met zijn vergrootglas boven hield, de belangrijkste was.
ExpNet: ExpNet is een stagiair-detective die veel zaken heeft geobserveerd waarbij een menselijke expert de werkelijke bewijsstukken (de "smoking gun") aanwees. De stagiair leerde het patroon van de blik van de meesterdetective te herkennen. Nu, wanneer de meester naar een nieuwe zaak kijkt, kan de stagiair direct de aanwijzingen aanwijzen, zelfs als de meester niet specifiek op dat type zaak is getraind.

De Grote Test: Kan het Algemene Regels Leren?

De auteurs testten ExpNet in een zeer uitdagend scenario: Cross-Task Generalization.

Ze trainden ExpNet op twee verschillende soorten problemen (bijv. het detecteren van haatzaaiende taal en het analyseren van filmrecensies).
Daarna testten ze het op een volledig ander probleem (bijv. het controleren van grammatica) dat het nog nooit eerder had gezien.

Het Resultaat: ExpNet heeft niet alleen antwoorden uit het hoofd geleerd; het heeft de taal van belangrijkheid geleerd. Het presteerde beter dan 13 andere bestaande methoden, zelfs op de nieuwe, onbekende taak. Het bewees dat de "blik" van de robot universele aanwijzingen bevat over wat mensen als belangrijk beschouwen, en ExpNet is de beste in het decoderen daarvan.

Waarom is dit Beter?

Het is Snel: In tegen tegenstelling tot andere methoden die de robot duizenden keren moeten prikkelen en testen, neemt ExpNet gewoon een snelle blik op de interne gegevens van de robot en geeft direct een antwoord.
Het is Nauwkeurig: Het kwam beter overeen met menselijke redenering dan welke andere methode dan ook die getest is.
Het is Flexibel: Het werkt bij verschillende soorten tekst (sentiment, grammatica, haatzaaiende taal) zonder dat het voor elk nieuw onderwerp opnieuw getraind hoeft te worden.

De Keerzijde (Beperkingen)

Het heeft een leraar nodig: Om te leren, heeft ExpNet voorbeelden nodig waarbij mensen al de belangrijke woorden hebben gemarkeerd. Als je een gloednieuw scenario hebt zonder menselijke voorbeelden, kun je het nog niet trainen (hoewel de paper laat zien dat het nog steeds goed kan gokken als het op andere taken is getraind).
Het ziet woorden, geen zinsdelen: Het legt dingen woord voor woord uit. Het kan de nuance van een zinsdeel zoals "niet slecht" (wat "goed" betekent) missen omdat het naar "niet" en "slecht" apart kijkt.
Het reflecteert menselijke bias: Omdat het leert van menselijke annotaties, zal ExpNet ook de vooroordelen van de mensen die het trainden overnemen. Het reflecteert menselijke redenering, niet noodzakelijkerwijs de absolute waarheid.

Samenvatting

Het artikel betoogt dat in plaats van te raden hoe AI-modellen denken via rigide regels of trage experimenten, we een kleine, slimme helper (ExpNet) moeten leren om de interne aandachtspatronen van het model te lezen. Door te leren van menselijke voorbeelden, kan deze helper snel en accuraat uitleggen waarom de AI een beslissing heeft genomen, wat deze krachtige tools betrouwbaarder en transparanter maakt.

Technische Samenvatting: Learning to Explain (ExpNet)

Probleemstelling

De inzet van transformer-gebaseerde modellen in domeinen met een hoog risico (gezondheidszorg, juridisch, financiën) wordt belemmerd door hun ondoorzichtigheid, wat vertrouwen en verantwoording ondermijnt. Hoewel zelf-aandachtsmechanismen (self-attention) in transformers een potentieel bron van interpreteerbaarheid bieden, lijden bestaande methoden voor het extraheren van verklaringen onder aanzienlijke beperkingen:

Model-agnostische methoden (bijv. LIME, SHAP): Behandelen het model als een black box en negeren de interne redenering. Ze brengen hoge computationele kosten met zich mee en genereren in NLP vaak semantisch ongeldige inputs door perturbatie (maskeren/vervangen van woorden), wat leidt tot out-of-distribution voorbeelden die de causale interpretatie in de war brengen.
Aandachtsgebaseerde methoden: Hoewel ze gebruikmaken van interne signalen, vertrouwen ze op handmatig gedefinieerde aggregatiestrategieën en vaste heuristische regels (bijv. het middelen van aandachtgewichten over koppen (heads) of lagen). Deze vooraf bepaalde regels kunnen mogelijk niet de optimale combinaties van aandachtskenmerken vastleggen die nodig zijn om af te stemmen op menselijke redenering bij verschillende taken.

Het kernprobleem dat wordt aangepakt, is het gebrek aan een methode die automatisch kan leren om transformer-aandachtspatronen te mappen naar door mensen beoordeelde token-belangrijkheid zonder te vertrouwen op rigide, handmatig ontworpen regels of dure black-box perturbaties.

Methodologie

Het artikel introduceert ExpNet (Explanation Network), een lichtgewicht neuraal netwerk dat is ontworpen om een expliciete mapping te leren van transformer-aandachtspatronen naar token-niveau belangsscores.

1. Basismodel en Feature Extractie

Basismodel: De aanpak gebruikt een bevroren BERT-base model als feature extractor. Het model wordt niet gewijzigd; alleen de aandachtspatronen worden benut.
Feature Design: ExpNet extraheert features uit de laatste zelf-aandachtslaag (Laag 12) van BERT, die 12 aandachtskoppen (attention heads) bevat. Voor elk token $j$ $j$ legt het twee verschillende, niet-symmetrische perspectieven van aandacht vast ten opzichte van de [CLS] token:
- Task-to-Token Attention ( $A_{[CLS],j}$ ): Meet hoe sterk de aggregatiemechanisme ([CLS]) aandacht schenkt aan token $j$ .
- Token-to-Task Attention ( $A_{j,[CLS]}$ ): Meet hoeveel aandacht token $j$ schenkt aan de taakrepresentatie.
Input Vector: Deze features worden geconcateneerd om een 24-dimensionale vector ( $2 \times 12$ koppen) voor elk token te vormen, waarbij de individuele bijdragen van de koppen vanuit beide richtingen behouden blijven in plaats van ze te middelen.

2. Netwerkarchitectuur

ExpNet is een eenvoudig feed-forward netwerk bestaande uit:

Inputlaag: 24 dimensies.
Verborgen laag (Hidden Layer): 16 eenheden met ReLU-activatie.
Outputlaag: Een enkele sigmoid-eenheid die een waarschijnlijkheid $\hat{y}_j \in [0, 1]$ produceert, die de waarschijnlijkheid vertegenwoordigt dat token $j$ belangrijk is.

3. Trainingsprocedure

Supervisie: Het netwerk wordt getraind als een token-niveau binaire classifier met behulp van door mensen geannoteerde rationales. Labels worden geprojecteerd van woord-niveau annotaties naar subword tokens (als een subtoken van een woord als belangrijk wordt gemarkeerd, ontvangen alle subtokens een positief label).
Data Filtering: Training vindt uitsluitend plaats op instanties waar de onderliggende BERT-classifier een correcte voorspelling heeft gedaan. Dit zorgt ervoor dat de explainer aandachtspatronen leert die geassocieerd zijn met succesvolle redenering, waardoor ruis uit foutpatronen wordt vermeden.
Loss Functie: Om de klassenonbalans aan te pakken (de meeste tokens zijn onbelangrijk), wordt Focal Loss gebruikt in plaats van cross-entropy. Dit verzwakt de invloed van gemakkelijke voorbeelden en focust het leren op moeilijk te classificeren tokens.
Inference: Een drempelwaarde van 0.5 wordt toegepast om binaire voorspellingen te genereren. Een fallback-mechanisme zorgt ervoor dat er minstens één token als belangrijk wordt gemarkeerd per voorbeeld om lege verklaringen te voorkomen.

4. Experimenteel Ontwerp

De evaluatie maakt gebruik van een cross-task generalisatie protocol. ExpNet wordt getraind op de gecombineerde rationale-data van twee NLP-taken en geëvalueerd op een derde, uit de dataset gehouden taak. De gebruikte taken zijn:

HateXexplain: Detectie van haatzaaiende taal (Menselijke rationales).
SST-2: Sentimentanalyse (LLM + Menselijke rationales).
CoLA: Grammaticale acceptabiliteit (LLM + Menselijke rationales).

Deze opzet test of ExpNet generaliseerbare verklaringpatronen leert in plaats van taakspecifieke heuristieken.

Belangrijkste Bijdragen

Nieuw Framework: Een supervised learning-aanpak die automatisch optimale aandacht-featurecombinaties ontdekt, waardoor handmatig ontworste aggregatieregels worden vervangen door een leerbare mapping van aandachtspatronen naar menselijke rationales.
Cross-Task Generalisatie: Demonstratie dat aandacht-gebaseerde verklaringen kunnen generaliseren over verschillende NLP-domeinen (sentiment, grammatica, haatzaaiende taal) wanneer ze getraind zijn op een combinatie van taken.
Architecturale Validatie: Uitgebreide ablatie-studies die het gebruik van bidirectionele aandachtfeatures (task-to-token en token-to-task) en het specifieke netwerkontwerp rechtvaardigen.
Empirische Prestaties: Uitgebreide evaluatie die laat zien dat ExpNet de state-of-the-art prestaties behaalt ten opzichte van een breed spectrum aan baselines, inclus\u00za model-agnostische methoden (LIME, SHAP), gradiënt-gebaseerde methoden (Integrated Gradients, Grad-CAM) en aandacht-gebaseerde technieken (Rollout, GAE, AttCAT).

Resultaten

ExpNet werd geëvalueerd tegen 13 baseline-methoden over drie datasets met behulp van de Token-level F1-score en AUROC.

F1-Score Prestaties: ExpNet behaalde de hoogste F1-scores over alle drie de taken in de cross-task setting:
- SST-2: 0.398 (vs. beste baseline GAE/MGAE op 0.350).
- CoLA: 0.468 (vs. beste baseline Grad-CAM op 0.356), een relatieve verbetering van 31%.
- HateXplain: 0.473 (vs. beste baseline Grad-CAM op 0.396), een relatieve verbetering van 19%.
AUROC Prestaties: ExpNet behaalde competitieve AUROC-waarden (consistent boven de 0.7), hoewel het niet altijd de hoogste score op deze metriek behaalde. De auteurs merken op dat er een onderscheid is: ExpNet blinkt uit in het selecteren van de juiste set van belangrijke tokens (hoge binaire classificatie nauwkeurigheid), terwijl sommige gradiënt-gebaseerde methoden mogelijk effectiever zijn in het behouden van de relatieve rangschikkingskwaliteit over alle tokens.
Efficiëntie: ExpNet is computationeel efficiënt en vereist slechts één forward pass van een lichtgewicht MLP over vooraf berekende aandachtfeatures, waardoor de sampling- en perturbatiekosten van model-agnostische methoden worden vermeden.

Betekenis en Claims

Het artikel claimt dat ExpNet aantoont dat transformer-aandacht systematisch kan worden verfijnd tot mens-gealigneerde verklaringen door middel van supervised learning. De betekenis ligt in:

Superieure Alignement: Het presteert consequent beter dan gevestigde baselines in het afstemmen op menselijke rationales, wat suggereert dat geleerde mappings superieur zijn aan handmatig ontworde heuristieken voor het extraheren van verklaringen.
Generaliseerbaarheid: Het vermogen om op twee taken te trainen en vervolgens een derde taak succesvol te verklaren, geeft aan dat het model fundamentele patronen vastlegt van hoe voor mensen belangrijke kenmerken zich manifesteren in transformer-aandacht, onafhankelijk van specifieke classificatie-objectieven.
Praktische Bruikbaarheid: Door de computationele efficiëntie te behouden en tegelijkertijd de kwaliteit van de verklaring te verbeteren, biedt ExpNet een levensvatbaar pad voor het inzetten van interpreteerbare modellen in real-time, risicovolle toepassingen.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van door mensen geannoteerde rationales voor training (hoewel cross-dataset resultaten wijzen op potentieel voor zero-shot toepassing op niet-geannoteerde taken), de focus op encoder-only modellen, en de token-niveau granulariteit die frase-niveau semantiek kan missen. Zij positioneren deze niet als fundamentele gebreken, maar als gebieden voor toekomstige uitbreiding naar decoder-only modellen en bredere domeindekking.