Attention Sinks and Outliers in Attention Residuals

Technische Samenvatting: OASIS – Outlier- en Sink-bewuste Routing voor AttnResidual-architecturen

Probleemstelling
Het artikel adresseert kritieke stabiliteits- en robuustheidsproblemen die voortvloeien uit AttnResidual-architecturen, een recent ontwerp dat standaard single-level Softmax-normalisatie vervangt door een dubbele normalisatieschema dat zowel token-level als dieptel-level attention routing regelt. Hoewel AttnResidual de representatieve expressiviteit verbetert, identificeren de auteurs een structurele faalmodus: het dubbele normalisatieontwerp verergert attention sinks en activatie-outliers.

In standaard Transformers accumuleren attention sinks (bijvoorbeeld de <|begin_of_text|>-token) waarschijnlijkheidsmassa om representaties te stabiliseren. In AttnResidual echter dwingt de extra simplex-beperking op diepterouting "no-op" (identiteits)updates om tot uitdrukking te komen via echte tokens en echte dieptetakken in plaats van via een expliciet null-kanaal. Deze beperking vereist extreme pre-Softmax logits om identiteitsupdates te benaderen, wat leidt tot:

1. Versterkte Attention Sinks: Verdiepende concentratie op vroege tokens.
2. Versterkte Activatie-Outliers: Verborgen staten vertonen zwaarstaartverdelingen (hoge kurtosis) en grote oneindigheidsnormen.
3. Kwetsbaarheid voor Quantisatie: Deze outliers verslechteren de inferentiestabiliteit en maken low-bit quantisatie (bijvoorbeeld W4A4, W8A8) aanzienlijk minder robuust.
4. Dieptecollapse: Routinggewichten collapse naar een enkele dominante tak, waardoor de architectuur effectief terugkeert naar een vanilla-achtig residual-gedrag.

Methodologie: OASIS
De auteurs stellen OASIS (Outlier- en Sink-bewuste routing via Inter-layer Null Signaling) voor, een lichtgewicht interventie die de normalisatielaag aanpast zonder het trainingsdoel of het kernarchitecturale skelet te wijzigen. OASIS werkt op twee fronten:

1. Null-bewuste Routing (Softmax1):
   De methode vervangt standaard Softmax-operatoren op zowel token- als diepteniveau door Softmax1. Deze functie introduceert een expliciete null-toestand (aangeduid als $\emptyset$) in de normalisatiedemominator.

   • Token-niveau: Staat toe dat attention-massa naar een "null"-toestand wordt gerouteerd in plaats van gedwongen te worden op echte tokens.
   • Diepteniveau: Staat toe dat diepteroutinggewichten "no-op"-druk absorberen via een null-laag, waardoor concentratie van massa op specifieke dieptetakken wordt voorkomen.
   • Mechanisme: Door niet-informatieve massa te ontkoppelen van de concurrentie tussen echte tokens/takken, vermindert Softmax1 de behoefte aan extreme logit-versterking.

2. Token-naar-Diepte Null-koppeling:
   Inzichtelijk dat token-level en diepte-level routing in standaard Softmax1 ontkoppeld blijven, introduceert OASIS een koppelmechanisme. Het aggregeert token-level null-bewijs (de waarschijnlijkheidsmassa die naar de null-toestand wordt gerouteerd over attention-heads) tot een scalar-statistiek voor elke bron-tak. Deze statistiek wordt vervolgens geïnjecteerd in de diepterouting-logits.

   • Effect: Takken met hoog "no-op"-gedrag (hoge null-massa) worden in de diepterouting afgezwakt, terwijl informatieve takken worden versterkt. Dit voorkomt dat de diepterouter significante gewichten toekent aan niet-informatieve lagen.

Belangrijkste Bijdragen

• Identificatie van Structurele Faalmodus: Het artikel identificeert formeel dat het dubbele normalisatieontwerp van AttnResidual structureel outliers en sinks versterkt omdat het een expliciet null-pad mist voor bijna-identiteitsupdates.
• Theoretische Analyse: De auteurs leveren theoretische bewijzen (Lemma's 5.1, 5.2; Stellingen 5.1, 5.2) die aantonen dat:
  • Zonder null-kanaal, near-no-op-beperkingen attention-massa naar tokens met lage bijdrage dwingen, waardoor outliers ontstaan.
  • Dubbele normalisatie leidt tot dieptecollapse waarbij routing zich concentreert op takken met minimale updates.
  • Softmax1 een haalbare null-route introduceert die no-op-gedrag ontkoppelt van toewijzing aan echte tokens, wat theoretisch de structurele druk vermindert.
• OASIS Framework: Een praktische, minimale modificatie (vervanging van Softmax door Softmax1 en toevoeging van een koppelterm) die deze pathologieën mitigeert.

Experimentele Resultaten
De auteurs evalueerden OASIS op Llama-3.2-1B en Qwen3-0.6B backbones over drie real-world datasets (BookCorpus, Wiki40B, WikiText-2, GSM8K).

• Onderdrukking van Outliers: Relatief ten opzichte van de Vanilla AttnResidual-baseline bereikte OASIS een gemiddelde reductie van 84,14% in de maximale oneindigheidsnorm en 96,77% in de gemiddelde kurtosis.
• Robuustheid bij Quantisatie:
  • Onder W8A8-quantisatie verlaagde OASIS de perplexiteit met 73,55% vergeleken met Vanilla.
  • Onder W4A4-quantisatie verbeterde OASIS de GSM8K Pass@1-accuraatheid met 23,47%.
• Mitigatie van Attention Sinks: Kwalitatieve analyse van attention-kaarten toonde aan dat OASIS attention effectief herverdeelt weg van de dominante eerste-token-sink, wat resulteert in soepelere, meer lokale causale attentionpatronen in vergelijking met zowel Vanilla als intermediaire baselines (zoals AoS of OutEffHop).
• Vergelijking: OASIS presteerde consequent beter dan baselines waaronder Clip Attention, Gated Attention, OutEffHop en sparse normalizers (Sparsemax, Entmax15), zowel in outlier-metrics als in downstream-taakprestaties onder agressieve quantisatie.

Betekenis en Claims
Het artikel claimt dat OASIS een principiële oplossing biedt voor de robuustheidsbeperkingen van dubbel-genormaliseerde architecturen. Door expliciete null-capaciteit in te voeren, stabiliseert de methode residual routing, waardoor modellen agressieve compressie (low-bit quantisatie) en inferentie met lange context kunnen hanteren zonder de degradatie die typisch wordt veroorzaakt door attention sinks en activatie-outliers. De auteurs benadrukken dat deze verbeteringen worden bereikt zonder het trainingsdoel te wijzigen, wat suggereert dat expliciete null-routing een fundamenteel mechanisme is voor het stabiliseren van complexe residual-architecturen.

Beperkingen
De auteurs merken op dat hun evaluatie momenteel beperkt is tot specifieke backbone-modellen (1B en 0,6B parameters) en dat bredere validatie op grotere modellen vereist is. Zij waarschuwen ook dat overmatige null-toewijzing nuttige zwakke signalen zou kunnen onderdrukken of de interpreteerbaarheid van attention-kaarten zou kunnen veranderen, wat toekomstig werk suggereert over adaptieve controle van de null-strength.