Technische Samenvatting: Een Verenigend Perspectief op Attention Sinks

Probleemstelling

Attention sinks—tokens die een disproportionele hoeveelheid aandachtsmassa aantrekken over vele queries, wat zich uit in verticale strepen in attention maps—zijn alomtegenwoordig in softmax-gebaseerde Transformers, met name in Vision Transformers (ViTs) en Large Language Models (LLMs). Hoewel deze patronen goed gedocumenteerd zijn, blijft hun onderliggende computationele mechanisme ambigu. Het centrale probleem dat dit werk adresseert, is dat visueel identieke sink-patronen fundamenteel verschillende algoritmen kunnen reflecteren. Huidige mitigatiestrategieën, zoals gating-mechanismen en register tokens, worden vaak heuristisch toegepast zonder een verenigd kader om te onderscheiden waarom een sink bestaat. Gevolgelijk kunnen interventies die bedoeld zijn om sinks te "repareren", onbedoeld nuttige berekeningen verwijderen of er niet in slagen de werkelijke bron van instabiliteit aan te pakken.

Methodologie

De auteurs stellen een verenigend kader voor dat attention sinks ontleedt in twee afzonderlijke computationele hypothesen, waarbij specifieke, meetbare diagnostiek voor elk wordt afgeleid.

1. Twee Hypothesen voor Attention Sinks

Het artikel stelt dat sinks voortkomen uit een van de twee mechanismen:

• Adaptieve NOP (No-Operation): De sink fungeert als een onderdrukkingsmechanisme. Wanneer een attention head geen nuttige informatie heeft om bij te dragen voor een specifieke token, stuurt het de aandacht naar een "null"-token om effectief een identiteitsoperatie op de residual stream uit te voeren.
  • Signatuur: De sink-token vertoont verwaarloosbare waarde-normen ($\|v_s\| \approx 0$).
  • Mechanisme: Om dit te triggeren, leert het model een gating-mechanisme, wat wordt aangetoond door een dominante enkelvoudige waarde in de query-key interactiematrix ($W_Q W_K^\top$) of massieve activatie-normen op de positie van de sink.
• Broadcast: De sink fungeert als een communicatiehub. Het aggregeert globale informatie en herverdeelt deze naar andere tokens.
  • Signatuur: De sink-token heeft niet-verwaarloosbare waarde-normen en induceert low-rank (benaderende rank-1) attention outputs.
  • Mechanisme: De sink-token schrijft een gedeelde payload naar de residual stream, waardoor de gelijkenis tussen token-representaties over de sequentie heen wordt vergroot.

2. Synthetische Validatie

Om deze mechanismen te isoleren, trainden de auteurs minimale synthetische modellen op twee specifieke taken:

• Conditional Damping (NOP Taak): Een single-head transformer getraind om updates te onderdrukken voor tokens die uitgelijnd zijn met een specifieke vector. De resultaten toonden convergentie naar een sink met bijna nul waarde-normen en een spectrale piek in de interactiematrix.
• Global Broadcast Taak: Een two-layer transformer getraind om de informatie van een specifieke token te distribueren naar alle andere posities. De resultaten toonden een modulaire oplossing waarbij één laag fungeert als een broadcast-hub (rank-1 update, hoge waarde-normen) en de daaropvolgende laag fungeert als een identiteit.

3. Empirische Diagnostiek op Pretrained Modellen

De auteurs pasten deze diagnostiek toe op gepre-trainde ViTs (DINOv2, OpenCLIP) en modellen met register tokens. Ze analyseerden:

• Waarde-norm ratio's: Het vergelijken van de norm van de waarde-vector van de sink-token met het gemiddelde.
• Stable Rank: Het meten van de rank van de attention-geïnduceerde update-matrix.
• Layer-wise Transities: Het volgen van welke tokens dienen als sinks over verschillende dieptes van het netwerk.

Belangrijkste Resultaten

1. Coexistentie van Mechanismen

Analyse van gepre-trainde ViTs laat zien dat beide mechanismen binnen hetzelfde model coexisteren maar gespecialiseerd zijn:

• Layer Specialisatie: In vroege lagen dient de [CLS] token vaak als een sink. In diepere lagen gaat deze rol over naar specifieke patch-tokens.
• Head Specialisatie: Sink-gedrag is niet uniform over alle heads; specifieke heads fungeren als sinks voor bijna 80% van de inputs, terwijl aangrenzende heads dat niet doen.
• Dual Regimes: Wanneer geprojecteerd op diagnostische assen, splitsen sinks zich op in twee duidelijke clusters:
  • NOP Sinks: Voornamelijk te vinden in de vroeg-tot-midden lagen, gekenmerkt door onderdrukte waarde-normen (< 0,2x baseline).
  • Broadcast Sinks: Voornamelijk te vinden in diepere lagen, gekenmerkt door standaard waarde-normen en strikte rank-1 updates.

2. Herinterpretatie van Register Tokens

De studie onderzoekt register tokens (geleerde tokens toegevoegd aan de input-sequentie), die oorspronkelijk werden voorgesteld om attention-massa te absorberen voor broadcasting.

• Herbestemming: Diagnostiek onthult dat register tokens niet uitsluitend worden gebruikt voor broadcasting. Een meerderheid van de register sinks vertoont de NOP-signatuur (onderdrukte waarde-normen), wat aangeeft dat het model ze hergebruikt als "vuilnisbakken" om updates te onderdrukken, en niet alleen als "koffiekoppen" voor globale informatie.
• Implicatie: Noch gating (gericht op NOP), noch registers (gericht op broadcast) alleen volstaan om alle sink-gedrag aan te pakken.

3. Synergetische Mitigatie

De auteurs testten de combinatie van Gated Attention (die heads toestaat outputs te onderdrukken, gericht op NOP) en Register Tokens (die een substraat bieden voor broadcasting).

• Winst in Dense Predictie: In LeJEPA-getrainde ViT-L modellen leverde de combinatie van gating en registers de beste prestaties op voor dense ruimtelijke predictie-taken (ADE20K en Pascal VOC 2012), waarbij ze baseline-modellen en single-mitigatie varianten overtroffen.
• Classificatie Stabiliteit: De globale classificatie-nauwkeurigheid (ImageNet-1k) bleef grotendeels onveranderd over de varianten, wat suggereert dat sink-mitigatie primair lokale patch-niveau representaties verbetert in plaats van globale beeldverstanding.
• Mechanisme Bevestiging: De gecombineerde aanpak slaagde erin om NOP-sinks te onderdrukken (reduceren van token-normen) en broadcast-sinks naar de register tokens te herleiden.

Betekenis en Claims

Het artikel claimt dat de visuele signatuur van een attention sink computationeel ambigu is en dat effectieve interventie vereist dat eerst het onderliggende algoritme wordt geïdentificeerd.

• Vereniging: Het werk biedt een verenigend kader dat de "NOP" en "Broadcast" hypothesen scheidt, en biedt operationele diagnostiek (waarde-normen en stable rank) om ze te onderscheiden.
• Complementariteit: Het demonstreert dat gating en register tokens complementair zijn omdat ze verschillende computationele regimes targeten. Het combineren ervan levert sterkere stabiliteit en prestaties op in taken die een hoge mate van ruimtelijke representatie-getrouwheid vereisen.
• Mechanistisch Inzicht: De bevindingen suggereren dat "artefacten" zoals attention sinks vaak genuanteerde computationele primitieven zijn (ofwel onderdrukking ofwel globale coördinatie) in plaats van louter pathologische fouten.

De auteurs concluderen dat hoewel hun diagnostiek en gecombineerde mitigatiestrategie dense predictie verbeteren, de bredere vraag over hoe men attention kan ontwerpen om broadcasting te ondersteunen zonder pathologische sinks te induceren, een open gebied blijft voor toekomstig onderzoek.