💻 computer science

All Routes Lead to Collapse

Oorspronkelijke auteurs: K. R. Balasubramanian

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: K. R. Balasubramanian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Blinde Rechter"-probleem

Stel je voor dat je een rechter bent bij een talentenjacht. Jouw taak is om de beste performers (tokens) uit te kiezen om de schijnwerpers op te richten. Je hebt een regelboek (het algoritme) dat je vertelt hoe je ze moet scoren.

Het paper betoogt dat alle moderne AI-modellen (zoals Transformers, Mamba, RWKV, etc.) een regelboek gebruiken dat "blind" is voor een specifiek detail.

Het Regelboek: Het scoort performers op basis van hoe goed hun "inhoud" overeenkomt met jouw zoekopdracht.
De Blinde Vlek: Het regelboek negeert volledig hoe luid of groot de performer is. Het geeft alleen maar om de vorm van hun stem, niet om het volume.

Omdat de rechter blind is voor volume, raakt het systeem in de war. Om een beslissing te kunnen nemen, wordt het systeem gedwongen iets extreems te doen: het stopt met het verspreiden van de schijnwerpers en concentreert alle aandacht op slechts één of twee performers.

Het paper noemt dit "Collapse" (Instorting). Het is geen fout in de code; het is een wiskundige noodzaak. Als je meetlint kapot is (blind voor grootte), moet het systeem compenseren door alles in een klein hoekje te persen om ergens zin aan te geven.

De Drie Symptomen (De "Handtekening")

Het paper identificeert drie dingen die gebeuren wanneer deze "blinde rechter" de leiding heeft. Zie dit als de symptomen van dezelfde ziekte:

De "Attention Sink" (De Schijnwerper-stapeling):
In plaats van dat de schijnwerper soepel tussen veel acteurs beweegt, blijft hij steken op slechts enkelen. In AI-termen absorberen een klein aantal tokens (zoals het allereerste woord van een zin) bijna alle aandacht.
- Analogie: Stel je een klaslokaal voor waar de leraar stopt met vragen stellen aan de hele klas en plotseling alleen nog maar naar de leerling op de voorste rij staart, terwijl de rest wordt genegeerd.
Rank Collapse (Het Afvlakken):
De interne "gedachten" (representaties) van de AI worden niet meer divers. Ze beginnen allemaal op elkaar te lijken en krimpen ineen tot een eenvoudige, laagdimensionale vorm.
- Analogie: Stel je een 3D-beeldhouwwerk voor dat langzaam plat wordt gedrukt totdat het een 2D-tekening wordt. Alle diepte en nuance gaan verloren, en alles wordt een plat vlak.
Norm Stratification (De Volume-explosie):
Omdat de rechter volume negeert, probeert de AI te "valsspelen" door sommige tokens ongelooflijk luid (hoge norm) te maken en anderen juist zacht, in de hoop dat de luide tokens opvallen.
- Analogie: Omdat de rechter het verschil in volume niet kan horen, beginnen de acteurs op volle longen te schreeuwen om opgemerkt te worden, terwijl anderen fluisteren.

De Grote Ontdekking: Het is Niet Alleen "Attention"

Lange tijd dachten wetenschappers dat deze problemen alleen voorkwamen bij Transformers (het specifieke type AI dat "Attention" gebruikt). Ze dachten dat het een fout was in het "Attention"-mechanisme zelf.

Het paper bewijst dat dit niet klopt.

De auteurs testten deze "blinde rechter"-theorie op vier verschillende soorten AI-architecturen die geen standaard Attention gebruiken:

Graph Attention: Het routeren van informatie tussen knooppunten in een netwerk.
Mamba: Een model dat "state spaces" gebruikt (zoals een geheugenbuffer) in plaats van attention.
RWKV: Een model dat informatie over de tijd mengt zoals een recursief systeem.
Attention Residuals: Een model dat informatie roteert op basis van diepte (lagen) in plaats van tijd.

Het resultaat: Al vier deze verschillende systemen vertoonden exact dezelfde symptomen (de schijnwerper-stapeling, het afvlakken en de volume-explosie).

De conclusie: Het probleem is niet "Attention". Het probleem is Content-Based Routing wanneer het meetinstrument "norm-blind" is. Als je informatie routeert op basis van inhoud maar de grootte (magnitude) negeert, zal het systeem altijd instorten, ongeacht de architectuur die je bouwt.

De "Rem"-analogie: Waarom Sommige Modellen Sneller Instorten

Als het mechanisme hetzelfde is, waarom storten sommige modellen direct in (zoals Transformers) terwijl andere het heel lang volhouden (zoals Mamba)?

Het paper introduceert het concept van de "Positional Brake" (Positionele Rem).

De Motor: De "Content Score" is de motor die het systeem richting de instorting duwt (het kiezen van de beste inhoud).
De Rem: Elk model heeft een secundaire regel die zegt: "Maar wacht even, herinner je waar dit vandaan kwam?" (bijv. "Vergeet het meest recente woord niet" of "Vergeet het eerste woord niet").

Hoe de rem werkt:

Sterke Rem: Als de rem sterk is (zoals bij Mamba of RWKV, die sterke regels hebben voor tijdsverval), vecht deze tegen de motor. Het systeem weerstaat de instorting voor een lange tijd. Het duurt even voordat de "inhoud" wint.
Zwakke Rem: Als de rem zwak is (zoals bij standaard Transformers met "Rotary Positional Encoding"), wint de motor snel. Het systeem stort vroeg en hard in.

Het Experiment:
De auteurs namen een model (RWKV) en pasten handmatig de rem aan.

Toen ze de rem aanzetten (het tijdsverval sterker maakten), gebeurde de instorting later en minder heftig.
Toen ze de rem verwijderden (de inhoud vrij lieten gaan), gebeurde de instorting bijna onmiddellijk.

Dit bewijst dat het mechanisme (de instorting) er altijd is, maar dat de timing afhangt van hoe sterk de rem is.

De "Volume"-truc (Norm Stratification)

Een van de meest interessante bevindingen gaat over de "Volume-explosie" (Norm Stratification).

De Theorie: De AI creëert luide tokens om te compenseren voor het feit dat de rechter blind is voor volume.
De Test: De auteurs bekeken een model (AttnRes) waarbij de tokens gedwongen werden om hetzelfde volume te hebben (genormaliseerd). Je zou denken dat dit de instorting zou stoppen.
Het Resultaat: De instorting ging toch door. Het systeem vond gewoon een andere manier om te valsspelen. Het stopte met het gebruik van volume en begon zich puur te concentreren op "content hubs".

De Les: De "volume-explosie" is slechts één manier waarop de AI probeert de kapotte liniaal te repareren. Het is een symptom, geen oorzaak.

Samenvatting: Wat Dit Betekent

Het is een Universele Wet: Dit is geen bug in één specifiek AI-model. Het is een fundamentele wiskundige consequentie van hoe deze routingsystemen werken. Als je routeert op basis van inhoud maar de grootte negeert, krijg je een instorting.
Geometrie is een Diagnose, Geen Genezing: De auteurs gebruiken geometrische taal (afstanden, manifolds) om te beschrijven waarom dit gebeurt, maar ze zeggen niet dat de AI complexe geometrie uitvoert. Ze zeggen dat de AI worstelt omdat de "liniaal" plat en blind is.
De Rem Bepaalt de Timing: We kunnen de instorting niet volledig stoppen (volgens dit paper), maar we kunnen wel controleren wanneer het gebeurt door de "positionele rem" aan te passen (hoeveel het model om positie versus inhoud geeft).

Kortom: Het paper zegt: "Stop met het geven van de schuld aan het specifieke type AI (de Transformer). Het probleem is het meetlint. Zolang het meetlint blind is voor grootte, zal het systeem uiteindelijk alles in een hoekje persen om er ergens zin aan te geven."

Technische Samenvatting: "Alle wegen leiden tot instorting"

Probleemstelling
Getrainde transformer-modellen vertonen drie duidelijke, vaak aangehaalde pathologieën: attention sinks (enkele tokens die een disproportionele hoeveelheid aandacht absorberen), rank collapse (verborgen representaties die met de diepte naar een laag-dimensionale subspace driften) en norm stratification (key- en query-normen die uiteenlopen in plaats van uniform te blijven). Deze fenomenen worden doorgaans behandeld als specifieke defecten van het attention-mechanisme, gediagnosticeerd en gepatcht op basis van een model-per-model analyse. Dit artikel betoogt dat dit geen pathologieën van attention per se zijn, maar het onvermijdelijke gedrag van content-gebaseerde routing die opereert onder een vaste, norm-blinde gelijkenis-metriek. De auteurs stellen dat wanneer de metriek van een router niet overeenkomt met de representaties die hij verwerkt, het systeem compenseert door routing-gewichten te concentreren en representaties te laten instorten.

Methodologie en Herformulering van de Identiteit
De kern van de theoretische bijdrage is een herformulering-identiteit die softmax attention herinterpreteert. De auteurs demonstreren dat softmax attention wiskundig equivalent is aan Boltzmann-gewogen aggregatie over Euclidische afstanden, mits de keys op een hypersfeer liggen (constante norm).

De Identiteit: De standaard dot-product score $\langle q, k \rangle$ is afgeleid van een gekwadrateerde afstand-metriek $D(q, k)^2 = \|q\|^2 - 2\langle q, k \rangle + \|k\|^2$ . De softmax-normalisatie elimineert de $\|q\|^2$ term, en de aanname van constante key-normen ( $\|k\| = c$ ) elimineert de $\|k\|^2$ term.
De Blindheid: Bijgevolg laat de standaard attention-score de $-\|k\|^2$ term weg, waardoor de router blind is voor de magnitude van de key.
De Voorspelling: Als de geleerde representaties niet voldoen aan de constante-norm-aanname (d.w.z. als key-normen variëren), moet de router deze tekortkoming in de metriek compenseren. De voorspelde compensatie-signatuur is: (1) concentratie van routing-gewichten op enkele bronnen, (2) instorting van gerouteerde representaties in een laag-dimensionale subspace, en (3) stratificatie van key-normen.

Experimentele Omvang
De auteurs testen deze hypothese over vijf verschillende routing-architecturen om te bepalen of de signatuur universeel is voor content-gebaseerde routing of specifiek is voor transformers:

Standaard Transformers: Negen getrainde modellen (GPT-2 varianten en Pythia varianten) die routeren over tokens.
Graph Attention (GAT): Routeren over knopen in heterofiele grafen.
Selectieve State-Space Modellen (Mamba): Routeren over de tijd via een data-gecontroleerde operator zonder expliciete attention.
Recurrent Mixers (RWKV): Routeren over de tijd met een verval-softmax.
Attention Residuals (AttnRes): Routeren over de diepte (sublagen) in plaats van over tokens.

Belangrijkste Resultaten

Schending van Aannames: In alle negen transformer-modellen zijn de key-normen niet uniform (wat de constante-norm-aanname schendt), en bezetten de keys een laag-dimensionale subspace die significant lager is dan random baselines (Gaussiaans of geschudde data).
Universele Signatuur: De "compensatie-signatuur" (concentratie, instorting en norm-stratificatie) verschijnt in alle vijf de architecturen, inclus_in ook non-transformer modellen zoals Mamba en RWKV.
- Transformers vertonen een vroege onset (9–25% diepte) en sterke concentratie.
- Recurrente modellen (Mamba, RWKV) vertonen een late onset (42–81% diepte) en zwakkere concentratie.
- AttnRes (routeren over diepte) vertoont eveneens concentratie, wat bewijst dat het fenomeen niet specifiek is voor de token-as.
Causale Ablaties:
- Mamba: Het bevriezen van de input-afhankelijke gate ( $\Delta$ ) elimineert de concentratie, wat bewijst dat het selectiviteitsmechanisme de instorting veroorzaakt, en niet generieke recurrentie.
- RWKV: Het wijzigen van de tijd-vervalparameter (de "positional brake") verschuift de onset-diepte en de sterkte van de concentratie. Het uitschakelen van de 'carry' verwijdert de concentratie volledig; het verhogen van de 'carry' versnelt deze.
- AttnRes: Ondanks het gebruik van RMSNorm (dat key-normen door constructie constant dwingt, waardoor norm-stratificatie wordt geëlimineerd), concentreert de router nog steeds. Dit bewijst dat norm-stratificatie een compensatiestrategie is, en niet de oorzaak van de instorting.
Grafische Controle: Een vergelijking tussen Graph Attention Networks (GAT) en Graph Convolutional Networks (GCN) laat zien dat GAT meer instort dan GCN, wat het effect isoleert tot geleerde attention in plaats van generieke buurt-smoothing (oversmoothing).

De Hypothese: Invariante Mechanisme versus Contingente Vorm
Het papier stelt een hypothese voor die het invariante mechanisme scheidt van de contingente vorm:

Invariante Mechanisme: Content-gebaseerde routing onder een vaste, norm-blinde metriek ontwikkelt onvermijdelijk een representatie-attractor (concentratie en instorting). Dit geldt ongeacht de architectuur (transformer, SSM, recurrent) of de routing-as (tokens, knopen, tijd, diepte).
Contingente Vorm: De timing (onset-diepte), de sterkte en de specifieke subspace van de instorting worden bepaald door de "positional brake". Dit is de positionele term (bijv. de rotary fase in transformers, de tijd-verval in RWKV, de recency bias in AttnRes) die de routing naar recente of lokale bronnen trekt en de content-gebaseerde attractor tegenwerkt.
- Zwakke brakes (bijv. de rotary fases van transformers) leiden tot een vroege, sterke instorting.
- Sterke brakes (bijv. de expliciete decay van RWKV) vertragen en verzwakken de instorting.

Betekenis en Claims
Het artikel beweert niet dat modellen Riemanniaanse meetkunde implementeren; eerder dient het geometrische perspectief als een diagnostisch instrument om de inadequatie van de platte, norm-blinde metriek die in standaard routing wordt gebruikt, te benoemen.

Herformulering: De auteurs verschuiven de interpretatie van attention sinks en rank collapse van "bugs" naar "features" van een mismatch tussen een vaste metriek en geleerde representaties.
Generaliteit: Het mechanisme wordt getoond architectuur-agnostisch te zijn, verschijnend in modellen zonder softmax, zonder query-key attention, en zonder token-gebaseerde routing.
Interventie: Het artikel suggereert dat het herstellen van de weggelaten $-\|k\|^2$ term een nieuwe vrijheidsgraad zou kunnen bieden om de metriek te corrigeren, hoewel dit aan toekomstig onderzoek wordt overgelaten.
Bescheidenheid: De auteurs verklaren expliciet dat zij voldoendheid claimen, geen noodzakelijkheid. Zij beweren niet dat alle laag-dimensionale gedrag door dit mechanisme wordt veroorzaakt (bijv. oversmoothing in GNN's is een ander pad), noch dat de attractor altijd een pathologie is (in sommige grafen is de instorting zonder geleerde attention juist beter voor de generalisatie). De hypothese is falsifieerbaar: een norm-blinde router die dit signatuur niet ontwikkelt, zou de invariante claim weerleggen.

Samenvattend betoogt het artikel dat "alle wegen leiden tot instorting" omdat de standaard metriek die voor content-gebaseerde routing wordt gebruikt, fundamenteel blind is voor magnitude, waardoor het systeem gedwongen wordt te compenseren door zijn routing te concentreren en zijn representaties te laten instorten, een gedrag dat wordt gemoduleerd maar niet voorkomen door architecturale positionele biases.