Routing Absorption in Sparse Attention: Why Random Gates Are Hard to Beat

Dit artikel toont aan dat bij end-to-end getrainde sparse attention de Q/K/V-projecties het routing-signaal absorberen, waardoor geleerde poorten nauwelijks beter presteren dan willekeurige poorten en post-hoc methoden nodig zijn om dit co-adaptatieprobleem te omzeilen.

De kern

Stel je voor dat je een zeer slimme, maar enorme bibliotheek hebt (een AI-model). In deze bibliotheek zijn er miljoenen boeken (gegevens). Als je een vraag stelt, moet de bibliotheek niet elk boek openen om het antwoord te vinden; dat zou te lang duren. In plaats daarvan wil je een slimme bibliothecaris (de "gate" of poort) die alleen de belangrijkste boeken uitzoekt en de rest negeert. Dit heet Sparse Attention (spaarzame aandacht).

Deze paper onderzoekt een vreemd fenomeen: waarom faalt het trainen van zo'n slimme bibliothecaris als je hem tijdens het leren van de bibliotheek zelf laat werken?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Luie" Bibliotheek

De onderzoekers dachten: "Laten we een klein, slim algoritme (de gate) trainen om te beslissen welke boeken belangrijk zijn, en laten we dit samen trainen met de bibliotheek zelf."

Maar wat er gebeurt, is als volgt:
Stel je voor dat je een groep van 100 zeer sterke atleten (de bibliotheek) hebt en één kleine coach (de gate). De coach probeert de atleten te vertellen wie moet rennen en wie moet rusten.

• Het idee: De coach leert snel wie de beste renners zijn.
• De realiteit: De atleten zijn zo sterk en zo talrijk dat ze zich direct aanpassen aan wat de coach zegt. Als de coach per ongeluk een slechte renner kiest, passen de atleten hun spierkracht en techniek zo aan dat ze toch winnen, ongeacht wie de coach kiest.

In de AI-wereld noemen ze dit Routing Absorption (Route-absorptie). De grote AI (de atleten) "absorbeert" het signaal van de kleine gate. Ze passen zich zo goed aan dat het er niet meer toe doet of de gate slim is of niet. Zelfs als je de gate vervangt door een willekeurig getrokken kaart (een "random gate"), presteert de AI bijna even goed, omdat de AI zich zo heeft aangepast aan elke mogelijke instructie.

2. De Vier Bewijzen (Het Experiment)

De onderzoekers deden vier experimenten om dit te bewijzen:

• Proef 1: De Slimme vs. De Willekeurige Coach
  Ze trainden een slimme gate en een willekeurige gate (die gewoon roept "jij, jij, jij..."). Het resultaat? Beide groepen presteerden bijna identiek. De slimme gate leerde niets nieuws; de AI had het al zelf opgelost door zich aan te passen.

  • Vergelijking: Het is alsof je een GPS hebt die de weg zoekt, maar de chauffeur (de AI) zo goed is dat hij de weg al kent en de GPS negeert. Of de GPS nu slim is of kapot, de chauffeur komt wel aan.

• Proef 2: De Muur van Onzichtbaarheid
  Bij een harde keuze (top-k, waarbij je alleen de beste kiest en de rest weggooit) krijgt de gate geen feedback. Het is alsof de coach schreeuwt, maar de atleten horen niets. Natuurlijk leert de coach dan niets. Maar zelfs als ze wel feedback kregen (Proef 1), leerden ze nauwelijks iets. De blokkade zit niet in de communicatie, maar in de aanpassing van de atleten.

• Proef 3: De "Gekke" Bibliotheek
  Ze namen een bibliotheek die nooit had geoefend met een gate (een "dichte" bibliotheek) en trainden daarop een gate. Die gate werd supergoed! Maar toen ze diezelfde gate op de bibliotheek legden die wel had geoefend (de co-geadapteerde), stortte alles in.

  • Vergelijking: De co-geadapteerde bibliotheek heeft zich zo specifiek aangepast aan de manier waarop de gate werkt (bijvoorbeeld: "als de coach fluistert, rennen we harder"). Als je de coach verandert (zelfs als hij de juiste boeken kiest), weten ze niet meer wat ze moeten doen. Ze zijn verslaafd aan de specifieke instructie, niet aan de inhoud.

• Proef 4: Chaos als Remedie
  Misschien helpt het als we de gate tijdens het trainen willekeurig laten kiezen (alsof je de coach een blinddoek opzet)? Nee, dat werkt niet. De bibliotheek wordt dan juist slechter. Ze leren om te werken in chaos, maar verliezen hun scherpe focus. Ze worden "slap" in plaats van robuust.

3. Waarom gebeurt dit? (De Asymmetrie)

De kern van het probleem is grootteverschil.

• De gate is klein (ongeveer 1% van de parameters).
• De AI (de Q/K/V projecties) is enorm (99% van de parameters).

Het is alsof je probeert een olifant (de AI) te sturen met een muis (de gate). De olifant is zo groot en sterk dat hij zich aanpast aan de muis, in plaats dat de muis de olifant leidt. De olifant kan elke beweging van de muis compenseren. In de AI-wereld betekent dit dat de grote AI de kleine gate "oplost" door zijn eigen interne werking aan te passen.

4. De Oplossing: Splitsen is Slecht

De paper laat zien dat er één manier is om dit te voorkomen: Decoupling (ontkoppelen).
In plaats van de gate en de AI samen te trainen, train je eerst de AI tot hij perfect is (zonder gate). Daarna, als de AI "vrij" is en niet meer verandert, train je de gate om te kijken welke boeken belangrijk zijn.

• Vergelijking: Als je eerst een meester-chef (de AI) laat koken tot hij perfect is, en daarna pas een assistent (de gate) aanstelt om te zeggen welke ingrediënten hij moet gebruiken, werkt het wel. De chef is dan al zo goed dat hij niet meer verandert door de assistent. Maar als je ze samen laat beginnen, past de chef zich zo aan aan de assistent dat de assistent overbodig wordt.

Conclusie voor de Leek

De boodschap van dit papier is:
Leer AI niet om zelf te beslissen welke informatie belangrijk is terwijl het leert.
Als je dat doet, leert de AI zich aan te passen aan die beslissingen, en wordt de beslissing zelf nutteloos. Het is beter om eerst een sterke AI te bouwen en daarna een slimme "filter" erbovenop te plakken.

Dit is een waarschuwing voor veel nieuwe AI-methoden die proberen alles in één keer te leren. Ze denken dat ze slimme routingsystemen bouwen, maar vaak is het alleen maar een illusie, omdat de AI zich zo goed heeft aangepast dat de routing er niet toe doet.

Technische samenvatting

Titel: Routing Absorptie in Sparse Attention: Waarom Random Gates Moeilijk te Verslaan zijn

1. Het Probleem

De kernvraag die dit paper adresseert is of een transformer-model tijdens het trainingproces zelf kan leren welke attention-entries (de interacties tussen query's en key's) het belangrijkst zijn.

• Theoretisch: Ja. Attention-distributies zijn vaak sterk geconcentreerd; een klein "gate"-netwerk zou na training de belangrijke entries met bijna perfecte nauwkeurigheid kunnen identificeren.
• Praktisch: Nee, niet bij end-to-end training. Wanneer sparse attention (waarbij een masker wordt toegepast om attention-waarden te verwijderen) end-to-end wordt getraind, passen de Q/K/V-projecties van het model zich zo sterk aan het opgelegde masker aan dat het geleerde gate-netwerk nauwelijks beter presteert dan een vast, willekeurig (random) masker.
• Het fenomeen: De auteurs noemen dit Routing Absorptie. De grote modelparameters "absorberen" het routing-signaal door zich aan te passen aan het masker, waardoor het masker zelf irrelevant wordt voor de uiteindelijke prestaties.

2. Methodologie en Experimentele Opzet

De auteurs hebben een gecontroleerde studie uitgevoerd om dit fenomeen te isoleren en te analyseren.

• Model: Een transformer van 31M parameters (6 lagen, 256 dimensies, 4 heads) getraind op WikiText-103.
• Gate Architectuur: Een lichtgewicht bilineair gate-netwerk (393K parameters, 1,3% van het totale model) dat per-query top-k maskers genereert.
• Vergelijkende Settings:
  1. End-to-end training: Het gate-netwerk en de Q/K/V-projecties worden samen getraind.
  2. Post-hoc distillatie: Het model wordt eerst dicht (dense) getraind en bevroren; daarna wordt alleen het gate-netwerk getraind om de attention-distributies na te bootsen.
  3. Schalingsvalidatie: Experimenten uitgevoerd op Qwen3-1.7B (55x groter) om te zien of het fenomeen bij schaal toeneemt.

3. Kernbijdragen en Bewijsvoering

De auteurs presenteren vier onafhankelijke lijnen van bewijs die routing absorptie aantonen:

1. Gelijke prestaties van geleerde en random gates (Soft Gating):

   • Bij end-to-end training met differentieerbare soft gating convergeert het geleerde gate-netwerk naar een perplexiteit van 48,73, terwijl een vast random gate 49,83 haalt.
   • Het verschil is slechts 2,2%. Het geleerde gate leert nauwelijks iets meer dan toeval, omdat de Q/K/V-projecties het signaal al hebben "opgevangen".
   • Contrast: Bij post-hoc training (waar Q/K/V bevroren zijn) convergeert het gate-netwerk in slechts 1.000 stappen naar bijna-oracle prestaties.

2. Zero Gradient bij Hard Top-k:

   • Bij hard top-k gating (niet-differentieerbaar) ontvangt de gate exact geen gradient door het masker heen.
   • Resultaat: Geleerde gates presteren identiek aan random gates (71,22 vs 71,24 ppl). Dit bevestigt dat zonder gradiënten er geen leerproces is, maar het suggereert ook dat zelfs met gradiënten (zoals in punt 1) het leerproces geblokkeerd wordt door co-adaptatie.

3. De Distillatie-Contrast (Co-adaptatie meting):

   • Als een gate wordt getraind op een model dat niet is getraind met maskers (dense), werkt het goed.
   • Als dezelfde gate wordt getraind op een model dat wel end-to-end is getraind met maskers (co-adapted), en vervolgens wordt ingezet met een hard masker, stort de prestatie in (perplexiteit van 601,6 vs 48,6).
   • Conclusie: De Q/K/V-projecties van het co-adapted model hebben zich gespecialiseerd in de specifieke vorm van het zachte (sigmoid) masker. Ze zijn niet robuust voor het masker zelf, maar voor de continuïteit van het masker.

4. Stochastische Maskering faalt:

   • Het idee om tijdens training willekeurige maskers te gebruiken (analoog aan dropout) om co-adaptatie te voorkomen, werkt niet.
   • Het model leert de attention-distributies "plat" te maken om het ruis te tolereren, wat de essentiële signalen vernietigt. De prestatie zakt zelfs als er geen masker wordt gebruikt tijdens de inferentie.

4. Mechanisme: Parameter Asymmetrie

De onderliggende oorzaak is de enorme asymmetrie in het aantal parameters:

• Het model (Q/K/V, feedforward, etc.) heeft ~31M parameters.
• De gate heeft slechts ~393K parameters (een verhouding van 80:1).
• Omdat het model veel meer "vrijheidsgraden" heeft, past het zich aan aan wat de gate doet, in plaats dat de gate het model kan sturen. Dit is analoog aan "Routing Absorptie" in Mixture-of-Experts (MoE), maar in attention is het erger omdat de Q/K/V-projecties gedeeld zijn en cross-layer compensatie mogelijk maken (in MoE zijn experts gescheiden modules).

Schalings-effect:
Bij grotere modellen (Qwen3-1.7B) wordt het fenomeen erger.

• De attention wordt scherper geconcentreerd (makkelijker om post-hoc te maskeren).
• Maar de co-adaptatie-druk is groter: kleine verstoringen door de gate tijdens training leiden tot grotere kwaliteitsdalingen, waardoor het model nog meer moet compenseren.
• Experimenten met het ontdooien van steeds meer lagen tonen aan dat hoe meer lagen kunnen co-adapteren, hoe kleiner het verschil wordt tussen een geleerde en een random gate.

5. Resultaten en Significatie

• End-to-end training faalt: Methoden die proberen per-query token-level gating end-to-end te leren, lopen het risico dat het geleerde routing-systeem nutteloos wordt omdat het model het masker "absorbeert".
• Post-hoc is de oplossing: Het decouplen van representatieleren (het trainen van het dichte model) en sparsificatie (het trainen van de gate) werkt perfect. Omdat de Q/K/V-projecties niet meer kunnen meebewegen, moet de gate het werk doen en leert deze snel en effectief.
• Implicaties voor de literatuur:
  • Veel recente methoden die end-to-end sparse attention beloven, moeten worden gecontroleerd op dit fenomeen.
  • Het is aan te raden om sparse attention te behandelen als een post-training compressiestap (zoals pruning of distillatie) in plaats van een trainingsdoel.
  • Voor methoden die claimen geleerde routing te gebruiken, zou een ablatiestudie met random routing moeten worden uitgevoerd om te zien of het geleerde deel echt waarde toevoegt.

Conclusie:
De paper concludeert dat "Routing Absorptie" een fundamenteel obstakel is voor end-to-end sparse attention. De grote capaciteit van het model om zich aan te passen aan een kleine gate maakt het leren van routing tijdens training inefficiënt. De enige effectieve route is het decouplen van het proces: eerst een dicht model trainen, en daarna een gate distilleren op de bevroren representaties.