💻 computer science

Towards Explainability of SLMs by investigating Token Level Activation

Dit artikel stelt het Activation Flow Network (AFN) voor, een lichtgewicht en modelonafhankelijk raamwerk dat token-niveau belangrijkheid in BERT kwantificeert door activatiesterktes van de verborgen toestand in Laag-8 te analyseren, en aantoont dat semantisch betekenisvolle tokens aanzienlijk hogere activatiemagnitudes vertonen dan structurele tokens, waardoor een interpreteerbaar alternatief voor op aandacht gerichte methoden wordt geboden.

Oorspronkelijke auteurs: Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme, maar geheimzinnige, robotbibliothecaris voor met de naam BERT. Deze bibliothecaris heeft bijna alles wat ooit is geschreven gelezen en kan vragen beantwoorden of gevoelens in zinnen begrijpen. Maar er is een addertje onder het gras: niemand weet hoe het eigenlijk denkt. Het is als een "black box" — je voert een zin in en er komt een antwoord uit, maar de tandwielen erin zijn verborgen.

Lange tijd probeerden onderzoekers een blik naar binnen te werpen door te kijken naar de "aandacht" van de bibliothecaris. Ze dachten: "Als de bibliothecaris naar een woord kijkt, moet dat woord belangrijk zijn!" Maar ze ontdekten een truc: de bibliothecaris staart vaak intens naar saaie dingen zoals komma's, punten of woorden als "de" en "is", terwijl hij de echte smakelijke woorden als "mooi", "ramp" of "Canada" negeert. Het was als kijken naar een beveiligingscamera die alleen inzoomt op de deurklink en de persoon die door de deur loopt negeert.

Het Nieuwe Idee: "Energie" Meten in plaats van "Blik"

De auteurs van dit artikel besloten een andere aanpak te proberen. In plaats van te vragen: "Waar kijkt de bibliothecaris naartoe?", vroegen ze: "Hoeveel energie gebruikt de bibliothecaris om over elk woord na te denken?"

Ze richtten zich op een specifieke kamer in het brein van de bibliothecaris genaamd Laag 8. Stel je het brein van de bibliothecaris voor als een 12-verdiepingen tellend gebouw:

Verdiepingen 1–5: De begane grond. Hier neemt de bibliothecaris alleen maar basisdingen waar, zoals hoofdletters of of een woord een zelfstandig naamwoord of werkwoord is.
Verdiepingen 10–12: Het penthouse. Hier wordt het uiteindelijke antwoord bepaald.
Verdieping 8 (Het Sweet Spot): Dit is de "consolidatiezone". Hier stopt de bibliothecaris met kijken naar grammatica en begint hij echt de betekenis van het verhaal te begrijpen.

De onderzoekers bouwden een hulpmiddel genaamd het Activation Flow Network (AFN). In plaats van te kijken naar de ogen van de bibliothecaris, maten ze de "elektriciteit" (wiskundig de L2-norm genoemd) die door elk woord stroomde terwijl het door Verdieping 8 passeerde.

Wat Ze Vonden: De "Hoogspannings"-Woorden

Toen ze deze energie maten, vonden ze een duidelijk patroon:

De "Hoogspannings"-Woorden: Inhoudsrijke woorden als "premier", "minister", "Canada", "mooi" of "genieten" lichtten op als felle neonreclames. Ze hadden de hoogste energie.
De "Laagspannings"-Woorden: Structurele woorden als "de", "van" of leestekens als "?" waren dimmer. Ze waren er wel, maar ze droegen niet het hoofdgewicht van de betekenis.

De Analogie: Stel je een team verhuizers voor dat een huis inpakt. De "Hoogspannings"-woorden zijn de zware banken en piano's — ze vereisen de meeste inspanning om te verplaatsen. De "Laagspannings"-woorden zijn de lege dozen of het tape; ze zijn nodig voor de klus, maar ze nemen niet veel ruimte of energie in beslag. De onderzoekers vonden dat Verdieping 8 is waar het zware werk gebeurt.

Het "Golfslag"-Experiment

Om dit te bewijzen, speelden de onderzoekers een spelletje "vind het verschil". Ze gaven de bibliothecaris twee zeer vergelijkbare zinnen:

"Genieten van een prachtige dag in het park!"
"Genieten van een prachtige wandeling aan het strand!"

Ze keken hoe de "energie" veranderde toen ze "dag" verwisselden met "wandeling" en "park" met "strand".

Het Voor de Hand Liggende: De woorden die veranderden ("dag" en "park") vertoonden een enorme sprong in energie.
De Verrassing: Zelfs de woorden die niet veranderden (zoals "prachtig" of "aan") vertoonden een significante energieverandering!

De Analogie: Het is als het laten vallen van een steen in een vijver. Als je één woord verandert (de steen), verspreiden de rimpelingen (energiverschuivingen) zich en veranderen het water eromheen, zelfs de delen die niet direct geraakt werden. Dit toonde aan dat Verdieping 8 diep verbonden is; het veranderen van één deel van het verhaal dwingt de hele zin om zijn betekenis opnieuw te overdenken.

De "Emmer"-Test

Tot slot probeerden ze de "belangrijke" woorden te scheiden van de "achtergrond" woorden met een eenvoudige regel. Ze trokken een lijn (een drempel) en deden alle woorden met hoge energie in een HOGE emmer en de rest in een LAGE emmer.

Ze ontdekten dat:

De HOGE emmer slechts ongeveer 25% van de woorden bevatte (de belangrijke ones).
Maar, deze paar woorden waren verantwoordelijk voor 76% van de totale betekenisveranderingen.

De Analogie: Het is als een concert waarbij 25% van de musici (de solisten) de melodie speelt die iedereen onthoudt, terwijl de andere 75% het achtergrondritme speelt. Als je de solisten dempt, verliest het lied zijn ziel. Als je het achtergrondritme dempt, kun je het lied nog steeds horen, ook al voelt het een beetje leeg.

De Grote Conclusie

Dit artikel zegt niet alleen "BERT is slim". Het geeft ons een nieuwe manier om te zien hoe het denkt. Door de "energie" van woorden in het midden van het proces (Laag 8) te meten, veranderden ze de "black box" in een "glazen doos".

Ze toonden aan dat BERT niet alleen naar leestekens staart; het richt zijn mentale energie eigenlijk op de woorden die de echte betekenis dragen. Dit helpt ons te begrijpen dat wanneer het model een zin verwerkt, het veel zwaar werk doet aan de "inhouds"-woorden om de wereld te begrijpen, terwijl de "structuur"-woorden alleen het frame bij elkaar houden.

Technische Samenvatting: Op weg naar verklaarbaarheid van SLM's door onderzoek naar activatie op token-niveau

Probleemstelling
Ondanks de revolutionaire impact van op Transformer-gebaseerde modellen zoals BERT op het begrijpen van natuurlijke taal (NLU), blijven hun interne mechanismen grotendeels ondoorzichtig. Traditionele methoden voor interpreteerbaarheid die vertrouwen op attention-weights leveren vaak geen echte semantische verklaringen, en wijzen in plaats daarvan structureel belangrijke maar semantisch zwakke tokens aan (bijvoorbeeld leestekens, functiewoorden) in plaats van betekenisvolle inhoud. Bovendien missen bestaande interpretatiebenaderingen vaak model-agnosticisme, vereisen ze kostbare gradient-berekeningen of slagen ze er niet in specifieke tussenliggende verwerkingsdynamieken te isoleren, met name in de middelste lagen (6–9) waar syntactische en semantische informatie naar verluidt consolideren. Er is een kritieke behoefte aan een lichtgewicht, efficiënte methode om de representatieve belangrijkheid van individuele tokens te kwantificeren en te rangschikken op basis van interne activatiesterktes in plaats van attention-correlaties.

Methodologie
De auteurs stellen een nieuw, model-agnostisch raamwerk voor dat de Activation Flow Network (AFN) wordt genoemd, en dat zich uitsluitend richt op Laag 8 van het bert-base-uncased-model. De methodologie verloopt via de volgende fasen:

Kwantificering van activatiesterkte op token-niveau:
In plaats van attention-heads te analyseren, extraheert het raamwerk de verborgen statenvectoren ( $h_i$ ) voor elke token in Laag 8. De representatieve sterkte ( $S_i$ ) van een token wordt gedefinieerd als de L2-norm (Euclidische norm) van zijn 768-dimensionale verborgen statenvector:
$S_i = \|h_i\|_2$
Deze scalair dient als een directe maat voor de activatiemagnitude en de representatieve prioriteit van de token.
Vormgeving van activatiebakken op basis van drempelwaarden:
Om te onderscheiden tussen dominante semantische activaties en structurele achtergrondruis, definiëren de auteurs een empirische activatiegrens ( $\tau$ ) met behulp van het bovenste kwartiel (75e percentiel) van de activatiedistributie voor een gegeven zin:
$\tau = Q_{0.75}(S)$
Tokens worden verdeeld in twee groepen:
- HOGE-activatie: $S_i > \tau$ (Semantisch opvallende tokens).
- LAGE-activatie: $S_i \leq \tau$ (Structureel ondersteunende tokens).
  Het raamwerk berekent een bijdrageratio ( $R_H$ ) om te bepalen of tokens met HOGE-activatie representatieve verschuivingen domineren.
Comparatieve analyse van activatieverschuivingen:
Om gevoeligheid voor context en taakinstructies te onderzoeken, introduceren de auteurs de Token-level Activation Shift ( $\Delta_i$ ), berekend als de L2-norm van het verschil tussen verborgen statenvectoren van corresponderende tokens in twee vergelijkbare zinnen of onder verschillende promptvoorwaarden:
$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$
Deze metriek kwantificeert de geometrische verplaatsing in de vectorruimte veroorzaakt door contextuele verstoringen (bijvoorbeeld het veranderen van "dag" in "wandelen") of doelgerichte prompts (bijvoorbeeld "Samenvatten" versus "Vertalen").

Belangrijkste bijdragen

Laag 8 als zone voor semantische consolidatie: De studie identificeert Laag 8 als een kritiek overgangspunt waar structurele informatie plaatsmaakt voor semantische consolidatie, en syntactische en semantische verwerking in evenwicht brengt.
Activatiemagnitude boven attention: Het werk toont aan dat verborgen-staten-normen (L2) een betrouwbaarder signaal bieden voor semantische belangrijkheid dan attention-weights, die vaak misleidend zijn door zich te richten op leestekens.
Lichtgewicht interpreteerbaarheid: Het AFN-raamwerk biedt een computerefficiënt, niet-invasief alternatief voor attributiemethoden op basis van gradienten, waarbij slechts één forward pass nodig is om verborgen staten te extraheren.
Kwantificering van semantische verschuivingen: De introductie van de Activation Shift-metriek maakt het mogelijk om te kwantificeren hoe specifieke woordveranderingen of taakinstructies de interne representatietrajectorie van het model veranderen.

Resultaten
Experimentele analyse op een corpus van 732 sentimentdragende zinnen en specifieke casestudies leverde de volgende waarnemingen op:

Semantische dominantie: Woorden met inhoud (bijvoorbeeld "premier", "minister", "Canada", "mooi") vertoonden consistent de hoogste activatiesterktes in Laag 8, en scoorden aanzienlijk hoger dan structurele tokens zoals lidwoorden of leestekens.
Vergelijking van lagen: Vergelijkingen tussen Laag 8 en Laag 9 bevestigden dat Laag 8 gevoeliger is voor tokens met inhoud, terwijl Laag 9 relatief lagere activatie vertoont voor dezezelfde tokens, wat wijst op een verschuiving van focus van semantische inhoud naar syntactische structuur in diepere lagen.
Indeling in activatiebakken: De drempelwaarde van het bovenste kwartiel scheidde tokens succesvol, waarbij tokens met HOGE-activatie (inhoudsworden) consistent de hoogste rangen innamen. In verstoringsexperimenten droegen tokens met HOGE-activatie ongeveer 76% bij aan de totale semantische activatieverschuiving, terwijl ze slechts ongeveer 25% van het aantal tokens uitmaakten.
Contextueel ripple-effect: Onveranderde structurele tokens (bijvoorbeeld "aan", "de") vertoonden aanzienlijke activatieverschuivingen wanneer de context veranderde (bijvoorbeeld "dag aan het park" versus "wandeling aan het strand"), wat aangeeft dat Laag 8 de hele frase dynamisch opnieuw codeert om semantische consistentie te behouden.
Promptgevoeligheid: Activatieverschuivingen werden waargenomen in de [CLS]-token en andere tokens wanneer de invoer werd voorafgegaan door verschillende taakinstructies ("Samenvatten" versus "Vertalen"), wat aantoont dat hoog-niveau prompts het tussenliggende representatieve ruimte sturen.

Betekenis en claims
Het artikel claimt BERT te transformeren van een "black box" naar een transparantere "glass box" door aan te tonen dat activatiemagnitudes zich concentreren rond semantisch informatieve tokens. De auteurs stellen dat hun raamwerk een computationeel efficiënt en interpreteerbaar alternatief biedt voor attention-gerichte analyse. Door Laag 8 te isoleren en L2-normen te gebruiken, biedt het onderzoek een directe manier om te identificeren welke tokens tijdens semantische verwerking de maximale representatieve sterkte dragen. Het werk suggereert dat het begrijpen van deze activatiestromen onderzoekers kan helpen beter te begrijpen hoe BERT structurele en semantische informatie in evenwicht brengt en hoe taakinstructies de interne trajectorie van het model beïnvloeden, zonder de noodzaak van complexe gradient-berekeningen of model-specifieke proefklassificatoren.