Technische Samenvatting: Bijdragegewichten: Een Geometrische Analyse van Self-Attention Transformers

1. Probleemstelling

Het analyseren van attention weights ($\alpha_{ij}$) is een standaardmethode geworden voor het interpreteren van de informatiestroom in Large Language Models (LLMs). Deze aanpak berust echter op de impliciete aanname dat een grote attention massa gelijkstaat aan functionele belangrijkheid. De auteurs stellen dat dit standpunt incompleet is omdat het de geometrische eigenschappen van de value vectoren die worden geaggregeerd, negeert. Specifiek houdt de aandacht voor alleen de attention weights geen rekening met:

1. De magnitude (norm) van de value vectoren.
2. De directionele uitlijning tussen de value vectoren en de uiteindelijke laagoutput.

Het negeren van deze factoren leidt tot misleidende conclusies, zoals de misinterpretatie van "attention sinks" (vroege tokens die veel aandacht ontvangen maar weinig bijdragen aan de output) en een overschatting van de belangrijkheid van tokens met hoge aandacht. Bestaande waarde-bewuste maten houden wel rekening met normen of afstanden, maar missen vaak het cruciale effect van inter-token interferentie (constructieve of destructieve interferentie) veroorzaakt door directionele uitlijning.

2. Methodologie

2.1. Theoretisch Kader

Het paper herformuleert Multi-Head Attention (MHA) niet louter als een gewogen som van ruwe tokens, maar als een gewogen som van geprojecteerde value vectoren.
Gegeven een inputsequentie, wordt de output van een laag $l$ op positie $i$ uitgedrukt als:
$$o^{(l)}_i = \sum_{h=1}^H \sum_{j=1}^i \alpha^{(l,h)}_{ij} \tilde{v}^{(l,h)}_j$$
waarbij $\tilde{v}^{(l,h)}_j = x_j W^{(l,h)}_V W^{(l,h)}_O$ de geprojecteerde value vector vertegenwoordigt. De auteurs stellen dat de invloed van een token afhangt van drie factoren:

1. Selectiekracht: De attention weight $\alpha_{ij}$.
2. Magnitude: De norm van de geprojecteerde value vector $\|\tilde{v}_j\|$.
3. Directionele Uitlijning: De cosine similarity tussen de geprojecteerde value en de outputrichting, $\cos(o_i, \tilde{v}_j)$.

2.2. Bijdragegewichten (Contribution Weights)

Om de belangrijkheid van tokens getrouw te kwantificeren, introduceren de auteurs Bijdragegewichten ($c_{ij}$), een projectiegebaseerde metriek gedefinieerd als het genormaliseerde inproduct van de gewogen value vector en de outputrichting:
$$c_{ij} = \frac{\langle o_i, \alpha_{ij} \tilde{v}_j \rangle}{\|o_i\|^2} = \alpha_{ij} \frac{\|\tilde{v}_j\|}{\|o_i\|} \cos(o_i, \tilde{v}_j)$$
Deze metriek ontleedt de invloed van een token in het product van attention weight, relatieve magnitude en directionele uitlijning.

• Intra-head: Meet de bijdrage binnen een enkele head.
• Inter-head: Meet de bijdrage over alle heads door head-specifieke gewogen vectoren te projecteren op de gecombineerde multi-head output.
• Eigenschappen: In tegenstelling tot attention weights (die niet-negatief zijn en optellen tot 1), kunnen bijdragegewichten negatief zijn (wat duidt op destructieve interferentie) en tellen ze op tot 1 over de sequentiedimensie.

2.3. Experimentele Evaluatie

De auteurs evalueren de getrouwheid van bijdragegewichten ten opzichte van bestaande metrieken (ruwe aandacht, waarde-gewogen aandacht, waarde-gewogen output-genormaliseerde aandacht) met behulp van:

• Causale Interventies: Het maskeren van de geprojecteerde waarden van tokens gerangschikt op basis van belangrijkheid en het meten van de verandering in perplexiteit ($\Delta$PPL) op taalmodelleringstaken (GSM8K, FineWeb-Edu) en downstream taken (MMLU, Winogrande, BoolQ).
• Metrieken:
  • Comprehensiveness (Omvangrijkheid): Prestatieverlies wanneer belangrijke tokens worden verwijderd (hogere daling = betere metriek).
  • Sufficiency (Toereikendheid): Prestatieverlies wanneer onbelangrijke tokens worden verwijderd (lagere daling = betere metriek).
• Modellen: Mistral-7B, LLaMA-3.1-8B, Qwen3-8B, en Deepseek-7B.

3. Belangrijkste Bevindingen en Bijdragen

3.1. Getrouwheid van Bijdragegewichten

Bijdragegewichten presteren consistent beter dan aandacht-gebaseerde metrieken bij het identificeren van semantisch cruciale tokens.

• Comprehensiveness: Het verwijderen van tokens die door bijdragegewichten als belangrijk worden geïdentificeerd, veroorzaakt een aanzienlijk grotere daling in modelprestaties (hogere $\Delta$PPL) vergeleken met het verwijderen van tokens die door ruwe aandacht of waarde-gewogen aandacht worden geïdentificeerd.
• Sufficiency: Modellen behouden een hogere nauwkeurigheid wanneer onbelangrijke tokens (zoals gedefinieerd door bijdragegewichten) worden verwijderd, waarbij de baseline prestaties behouden blijven bij hogere verwijderingspercentages.
• Geometrische Progressie: De studie toont een duidelijke hiërarchie van getrouwheid aan: Ruwe Aandacht < Waarde-gewogen Aandacht < Waarde-gewogen Output-genormaliseerde Aandacht < Bijdragegewichten. Dit bevestigt dat het incorporeren van directionele uitlijning (cosine similarity) de meest significante factor is in het verbeteren van de metrieknauwkeurigheid.

3.2. Mechanistische Rol van Value Geometrie

Het paper ontleedt de bijdragen van tokens om onderscheidende gedragingen voor verschillende typen tokens te onthullen:

• Sink Tokens (Initiële Tokens): Hun bijdrage wordt niet gedreven door attention weights. In plaats daarvan wordt het gedomineerd door value geometrie (relatieve norm en cosine similarity). Initiële tokens vertonen anti-uitlijning (negatieve cosine similarity) met daaropvolgende semantische tokens.
• Tail Tokens: Hun bijdrage wordt gezamenlijk bepaald door attention weights en directionele uitlijning.

3.3. Herinterpretatie van Attention Sinks

De auteurs dagen de visie uit dat attention sinks passieve "deposito's" zijn voor overtollige aandacht. In plaats daarvan onthullen zij dat sinks actieve informatie-onderdrukkers zijn:

• Destructieve Interferentie: Sink tokens bezitten value vectoren die systematisch anti-uitgelijnd zijn met semantische tokens. Dit creëert destructieve interferentie, wat de output norm actief onderdrukt.
• Convexe Relatie: De relatie tussen de sink rate (attention massa op het eerste token) en de output norm is convex, niet monotoon. De minimale output norm treedt op bij een intermediaire sink rate ($\alpha < 1$), niet wanneer de sink alle aandacht opeist.
• Tegengaan van Semantische Drift: Door de semantische richting van non-sink tokens te bestrijden, neutraliseren sinks de semantische drift die wordt geïntroduceerd door de accumulatie van vele kleine, zwakke attention weights van non-kritieke tokens. Interventies die de vectornorm van de sink verwijderen, leiden tot een instorting van de low-norm head outputs naar de semantische kegel, wat ruis en perplexiteit verhoogt.

4. Betekenis en Claims

Het paper claimt dat Bijdragegewichten een getrouwere maatstaf bieden voor de functionele belangrijkheid van tokens door rekening te houden met de volledige geometrie van de aandacht-vector som.

• Mechanistisch Inzicht: Het werk verschuift het begrip van attention sinks van passieve absorbers naar actieve onderdrukkers die representaties stabiliseren door directionele oppositie tegen semantische drift.
• Generaliseerbaarheid: Hoewel experimenten zich richten op decoder-only modellen, stellen de auteurs dat bijdragegewichten enkel afhangen van de structuur van het aandachtsmecanisme en toepasbaar zijn op elke attention-gebaseerde architectuur (bijv. encoder-only modellen, ViTs).
• Beperkingen: De studie richt zich op decoder-only transformers en specifieke datasets (GSM8K, FineWeb-Edu). De auteurs merken op dat hoewel hun metriek robuust is over domeinen, de specifieke geometrische gedragingen (zoals sink anti-alignment) worden waargenomen in de geëvalueerde modellen.

De auteurs concluderen dat het analyseren van value geometrie essentieel is voor een getrouwe mechanistische interpretatie van transformers, waarbij men verder gaat dan het "attention-as-explanation" paradigma naar een "geometrie-bewuste" interpretatie.