🤖 machine learning

The Routing and Filtering Structure of Attention

Dit artikel stelt $S$ - $D$ -attention voor, een stabiele parametrisering die de routing- en filtercomponenten van attention ontkoppelt om een diepteafhankelijke spectrale cascade te onthullen, waardoor aanzienlijke modelcompressie en linearisatie van vroege lagen mogelijk worden met een minimaal verlies aan perplexiteit.

Oorspronkelijke auteurs: Shafayeth Jamil, Rehan Kapadia

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shafayeth Jamil, Rehan Kapadia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Transformer (het AI-brein achter modellen zoals GPT) voor als een enorm, druk kantoreengebouw met 12 verdiepingen. Elke verdieping heeft hetzelfde aantal werknemers, evenveel bureau-ruimte en evenveel papierwerk te doen. De architecten van deze gebouwen hebben er altijd van uitgegaan dat elke verdieping even complex moet zijn, dus bouwen ze ze allemaal op dezelfde manier.

Dit artikel betoogt dat deze aanname verkeerd is. Het blijkt dat de "werknemers" (het attentiemechanisme) eigenlijk twee heel verschillende taken uitvoeren, maar dat ze gedwongen zijn om hetzelfde bureau te delen, waardoor het onmogelijk is om te zien wie wat doet.

Hier is de uiteenzetting van wat de auteurs hebben ontdekt, met behulp van eenvoudige analogieën.

1. De twee taken: de "Verkeersregelaar" en de "Filter"

In een standaard AI-model berekent het bij elke blik op een zin een gigantisch raster van scores. De auteurs realiseerden zich dat dit raster eigenlijk een rommelige mix is van twee distincte taken:

De Verkeersregelaar (Routing): Deze taak gaat over richting. Hij beslist: "Token A moet informatie sturen naar Token B, maar niet andersom." Het is als een eenrichtingsstraat. Hij verplaatst informatie zonder het volume te veranderen.
De Filter (Filtering): Deze taak gaat over relevantie. Hij beslist: "Token A en Token B zijn zeer vergelijkbaar, dus laten we hun verbinding versterken," of "Ze hebben niets met elkaar te maken, dus laten we ze negeren." Het is als een volumeknop die signalen harder of zachter zet.

Het probleem: In standaardmodellen zijn deze twee taken verstrikt in één groot, rommelig matrix. De "Filter"-taak is zo luid en dominant dat hij de "Verkeersregelaar" overstemt. Omdat ze gemengd zijn, verspillen AI-systemen enorme hoeveelheden energie aan het bouwen van een complex "Verkeersregelaar"-systeem dat ze nauwelijks gebruiken.

2. Het experiment: de knoop ontwarren

Om te zien wat er echt gebeurde, bouwden de auteurs een nieuw type attentie genaamd S–D Attention. Denk hierbij aan het bouwen van een nieuw kantoor waar de "Verkeersregelaar" en de "Filter" aparte, toegewijde bureaus hebben.

De Verkeersregelaar (S): Ontworpen om perfect gebalanceerd te zijn (wiskundig "skew-symmetrisch"). Hij kan alleen informatie verplaatsen, nooit creëren of vernietigen.
De Filter (D): Ontworpen als een eenvoudige lijst van "volumeknoppen" (diagonaalmatrix). Hij schaalt dingen alleen op of af.

Door ze te scheiden, konden ze observeren hoe de AI zichzelf organiseerde zonder dat het lawaai van de "Filter" alles domineerde.

3. De ontdekking: de "Spectrale Cascade"

Toen ze de AI op deze nieuwe, gescheiden manier lieten organiseren, ontstond er een mooi patroon, dat ze een Spectrale Cascade noemen.

Stel je opnieuw de 12 verdiepingen van het kantoor voor.

De onderste verdiepingen (lagen 0–5): Deze verdiepingen zijn ongelooflijk simpel. Ze hebben slechts twee "Verkeersregelaar"-richtingen nodig om hun werk te doen. Ze zijn als een eenvoudige gang waar iedereen gewoon links of rechts beweegt. Ze hebben geen complex verkeerssysteem nodig.
De middelste verdiepingen: De complexiteit neemt langzaam toe.
De bovenste verdiepingen (lagen 10–11): Dit zijn de enige verdiepingen die een enorm, complex verkeerssysteem met vele richtingen nodig hebben.

De grote onthulling: In standaardmodellen bouwde de AI een "complex verkeerssysteem" (hoge rang) op de onderste verdiepingen waar het niet nodig was. Het onderging de simpele delen over. Toen ze de taken scheidden, organiseerde de AI zich van nature: simpel onderaan, complex bovenaan.

4. De "chirurgie": het vet snijden

Omdat ze nu precies konden zien hoeveel complexiteit elke verdieping nodig had, voerden ze "chirurgie" uit op de modellen:

Lineariseren van de onderkant: Ze vervingen het complexe attentiemechanisme op de eerste 7 verdiepingen door een zeer simpele, goedkope lineaire wiskundige truc (zoals het gebruik van een rechte lijn in plaats van een kromme).
- Resultaat: De prestaties van het model daalden nauwelijks (minder dan 5% slechter).
- Standaardmodel: Als je dit probeerde op een normaal model, zou het direct instorten. Het normale model vertrouwde op die complexiteit, zelfs waar het niet nodig was.
De inversie: In normale modellen, als je probeert de "Filter" (de volumeknoppen) te vereenvoudigen, breekt het model. Maar in hun nieuwe gescheiden model deed het vereenvoudigen van de "Filter" tot slechts één getal per hoofd bijna geen pijn. De "Verkeersregelaar" was de echte werkpaard.

5. Het nieuwe blauwdruk

De auteurs gebruikten deze "Spectrale Cascade"-kaart om de AI-architectuur opnieuw te ontwerpen. In plaats van elke verdieping evenveel kracht te geven, bouwden ze een aangepast model:

Onderste verdiepingen: Klein, smal en simpel.
Bovenste verdiepingen: Breed en complex.

Het resultaat: Ze creëerden een model dat 47% tot 65% kleiner is in termen van attentieparameters, maar nog steeds bijna net zo goed presteert als de gigantische, uniforme modellen. Ze realiseerden zich in feite dat de onderste verdiepingen zware koffers droegen die ze niet nodig hadden, en ze gooiden die koffers weg.

Samenvatting

Het artikel beweert dat huidige AI-modellen inefficiënt zijn omdat ze elke laag van het brein behandelen alsof het even complex moet zijn. Door het "verplaatsen" van informatie te scheiden van het "filteren" van informatie, ontdekten ze dat de vroege lagen eigenlijk heel simpel zijn.

Door modellen te bouwen die overeenkomen met deze natuurlijke "simpel-naar-complex" structuur, kunnen ze AI-modellen aanzienlijk kleiner en goedkoper maken om te draaien zonder veel intelligentie te verliezen. Het is als beseffen dat je geen Ferrari-motor nodig hebt om naar de supermarkt te rijden; je hebt die alleen nodig voor de snelweg.

Technische Samenvatting: De Routerings- en Filterstructuur van Attention

Probleemstelling

Standaard Transformer-architecturen verdelen attention-resources uniform over alle lagen, waarbij identieke head-dimensies en computationele complexiteit ( $O(N^2)$ ) worden toegewezen aan elke laag, ongeacht de specifieke functie die die laag uitvoert. Deze uniformiteit blijft bestaan omdat er geen principiële meting bestaat om een niet-uniforme toewijzing te sturen. Recente hybride architecturen (bijv. Nemotron-H, Jamba, Griffin) proberen dit op te lossen door uitgebreide hyperparameterzoektaken om optimale verhoudingen tussen kwadratische en lineaire lagen te vinden, maar deze verhoudingen zijn schaal-specifiek en missen overdraagbaarheid.

Het kernprobleem dat is geïdentificeerd, is dat de attention-interactiematrix $QK^\top$ twee distincte computationele functies verstrengelt binnen één onbeperkte matrix:

Routering: Een schuifsymmetrische component die de informatieflow tussen posities stuurt (conservatief transport).
Filtering: Een symmetrische component die de wederzijdse relevantie tussen tokens schaalt (gain control).

In standaard attention concurreren deze functies om dezelfde matrixcapaciteit. Empirische analyse van 1.776 heads over vijf voorgeïmplementeerde modellen (GPT-2-varianten, BERT-base, Pythia-410M) toont aan dat filtering het spectrale budget domineert, terwijl routering opereert op een laag ranggetal ver onder de capaciteit die door de weight-kernel is toegewezen. Bovendien wordt vastgesteld dat alle standaard attention-heads dynamisch instabiel zijn (met eigenwaarden met positieve reële delen), en sterk afhankelijk zijn van Layer Normalization (LN) om deze instabiliteit te bevatten, wat de ware spectrale structuur van het routeringsmechanisme verbergt.

Methodologie

Om deze functies te ontwarren en de onderliggende spectrale structuur bloot te leggen, introduceren de auteurs S–D Attention, een diagnostische parametrisatie die routering en filtering per constructie scheidt:

Routering ( $S$ ): Gemodelleerd als een geleerde schuifsymmetrische matrix ( $S = -S^\top$ ). Dit garandeert dat eigenwaarden puur imaginair zijn, wat conservatief, nul-sum informatie-transport voorstelt (rotatie tussen modi).
Filtering ( $D$ ): Gemodelleerd als een geleerde positieve diagonaalmatrix ( $D = \text{diag}(d_1, \dots, d_N)$ ). Dit vertegenwoordigt dissipatief filteren waarbij elk token een scalair dempingscoëfficiënt heeft.

De interactiematrix wordt gedefinieerd als $L = S - D$ . De auteurs bewijzen dat voor elke reële schuifsymmetrische $S$ en positief semi-definiete diagonaalmatrix $D$ , het reële deel van elke eigenwaarde voldoet aan $\text{Re}(\lambda) \le 0$ . Dit garandeert architecturale stabiliteit zonder de noodzaak van Layer Normalization.

De auteurs trainen S–D-modellen op verschillende schalen (7M tot 355M parameters) op OpenWebText, inclusief configuraties met en zonder Layer Normalization, om waar te nemen hoe routering zelforganiseert wanneer deze niet wordt beperkt door verstrengeling of normalisatie-geïnduceerde gelijkmaking.

Belangrijkste Bevindingen en Resultaten

1. De Spectrale Cascade

Wanneer routering en filtering worden ontwarren en normalisatie wordt verwijderd, organiseert routering zich zelf in een spectrale cascade (een ranghiërarchie) over de diepte:

Laag 0: Convergeert naar een effectief ranggetal van 2 (één rotatievlak voor brede herverdeling van informatie).
Intermediaire Lagen: Handhaven een laag-rang plateau (effectief ranggetal $\approx 2$ –$3$).
Terminale Lagen: Breiden uit naar hogere ranggetallen (tot 10+ onafhankelijke rotatievlakken), waarbij het uiteindelijke ranggetal wordt bepaald door de head-dimensie in plaats van de diepte.
Schaal-invariantie: Dit opstijgende cascadepatroon geldt voor alle geteste schalen (7M tot 355M). Naarmate de modelgrootte toeneemt, groeit het fraction van lagen dat opereert op het minimale spectrale ranggetal (van 33% bij 18M parameters tot 92% bij 355M).

2. Filtering Collapse

In de ontwarde S–D-architectuur collapseert de filtering-component tot één scalair per head. Het trunceren van de filtering-component tot een per-head gemiddelde scalair leidt tot een verwaarloosbare perplexiteitskost (+0,3 PPL), terwijl het volledig verwijderen van routering catastrofale fouten veroorzaakt. Dit staat in contrast met standaard attention, waarbij filtering domineert en routering laag-rang is.

3. Actievere Spectrale Chirurgie

De spectrale cascade maakt "chirurgische" vereenvoudiging van de architectuur mogelijk:

Linearisatie: De eerste 7 lagen van een 125M S–D-model kunnen worden gelineariseerd (vervangen door ELU+1 causale lineaire attention) met minder dan 5% perplexiteitsdegradatie. In tegenstelling hiermee collapseert standaard attention onder dezelfde interventie al bij laag 3.
Parameterherallocatie: Door head-dimensies ( $d_{head}$ ) af te stemmen op het gemeten spectrale ranggetal (bijv. $d_{head}=8$ voor vroege lagen, $d_{head}=64$ voor terminale lagen), verlaagden de auteurs de attention-parameters met 47–65% met slechts een toename in perplexiteit van +3,9% tot +8,4%.
Inversie: Het artikel demonstreert een structurele inversie: in standaard attention is filtering-truncatie prohibitief en routering-truncatie goedkoop; in S–D is routering-truncatie prohibitief en filtering-truncatie vrij.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage meting is, niet de architectuur zelf. De betekenis ligt in het leesbaar en actiebaar maken van het "spectrale budget" van attention:

Diagnose: De S–D-parametrisatie dient als diagnostisch hulpmiddel om de werkelijke routeringscapaciteit te meten die op elke laag vereist is, wat aantoont dat standaard attention excessieve capaciteit toewijst aan laag-rang lagen.
Sturing voor Hybride Architecturen: De spectrale cascade biedt een continue, meetbare metriek om te bepalen welke lagen volledige kwadratische attention vereisen en welke kunnen worden vervangen door lineaire of laag-rang mechanismen. Dit verplaatst het ontwerp van hybride architecturen van "zoektocht" (sweepen van verhoudingen) naar "meting" (voorschrijven op basis van rang).
Hernieuwde Evaluatie van Lineaire Attention: De resultaten suggereren dat het historische falen van simpele lineaire attention (bijv. ELU+1) te wijten was aan misallocatie (toepassing op hoog-rang lagen) in plaats van intrinsieke capaciteitslimieten. Het artikel toont aan dat lineaire attention effectief werkt in het laag-rang "plateau" dat door de cascade wordt geïdentificeerd.

De auteurs concluderen dat de spectrale cascade de natuurlijke oplossing van de optimizer is wanneer verstrengeling en normalisatie worden verwijderd, en dat deze structuur de constructie van efficiëntere, niet-uniforme transformer-architecturen kan sturen.