Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology

Technische Samenvatting: Dynamica van de Transformer-residustroom

Probleemstelling
Hoewel Large Language Models (LLM's) opmerkelijke capaciteiten vertonen, blijven de mechanismen waarmee berekening zich door hun lagen voortplant slecht begrepen. Bestaande interpreteerbaarheidstools, zoals circuitanalyse en sparse auto-encoders, identificeren wat componenten representeren, maar falen in het verklaren hoe verstoringen worden versterkt, gecomprimeerd of omgeleid over lagen heen. De theorie van dynamische systemen biedt een formalisme hiervoor, waarbij diepte wordt behandeld als discrete tijd en de residustroom als een dynamisch systeem. Eerdere analyses hebben echter vertrouwd op scalair samenvattingen, benaderende linearisaties of studies die uitsluitend bij willekeurige initialisatie zijn uitgevoerd. Bijgevolg blijft de volledige spectrale geometrie van getrainde, productieschaal Jacobianen – specifiek hun eigenwaardeverdelingen, niet-normale structuren en rotatiedynamica – ongekarakteriseerd. Bovendien is de relatie tussen de computationele topologie van een netwerk (gemeenschapsstructuur) en zijn dynamisch gedrag op schaal niet getest.

Methodologie
De auteurs voeren een volledige spectrale karakterisering uit van drie decoder-only transformers op productieschaal: Llama 3.1 8B, OLMo 3 7B en Gemma 4 E4B.

• Jacobian-berekening: Exacte per-stuk Jacobianen ($J_\ell = \partial h_{\ell+1} / \partial h_\ell$) worden berekend bij elke sub-laaggrens (pre-attention en pre-MLP) over 1.000 WikiText-2-stukken.
• Spectrale analyse: Volledige eigendecompositie en singuliere waarden decompositie (SVD) worden uitgevoerd op de gemiddelde Jacobianen. Belangrijke metrieken omvatten conditiegetallen, zelf-alignement (overlap tussen input/output singuliere deelruimten), Henrici-afwijking (maat voor niet-normaliteit) en het fractie van expanderende modi.
• Training versus architectuur-decompositie: Met behulp van OLMo 3 7B vergelijkt de studie drie checkpoints: Stap 0 (willekeurige initialisatie), Stap 471k en Stap 1,41M (eindige pretraining). Omdat Stap 0 de architectuur en diepte deelt maar geen geleerde gewichten bezit, dient het als een nulmodel om architecturale priors te onderscheiden van door training geïnduceerde eigenschappen.
• Topologische analyse: Activatie-correlatiegrafen worden geconstrueerd voor elke laag, gepartitioneerd in gemeenschappen met behulp van signed Leiden CPM. De studie analyseert de koppeling tussen gemeenschaps-topologie (specifiek "grensknooppunten" die meerdere gemeenschappen overbruggen) en Jacobiaanse dynamica.
• Interventie: Schur-decompositie wordt gebruikt om het niet-normale component ($N_\ell$) van de Jacobiaan te isoleren. Door $N_\_\ell$ te schalen terwijl het spectrum ($\Lambda_\ell$) en de basis ($Q_\ell$) constant worden gehouden, testen de auteurs of de waargenomen dimensionale knelpunten voortkomen uit het eigenwaarde-spectrum of de niet-normale feedforward-structuur.

Belangrijkste Resultaten

1. Monotone niet-normale gradiënt:
   Getrainde modellen vertonen een duidelijke diepte-afhankelijke overgang in operator-type. Vroege lagen worden gedomineerd door niet-normale, rotatie-zware dynamica (ongeveer 98% van de eigenwaarden verschijnt als complex geconjugeerde paren), terwijl late lagen overgaan naar bijna-symmetrische operatoren. Deze gradiënt is grotendeels geleerd; bij initialisatie (OLMo Stap 0) zijn lagen al bijna-symmetrisch, en training trekt vroege en midden-lagen naar rotatie.

2. Cumulatief dimensionaal knelpunt:
   Het samenvoegen van Jacobianen end-to-end onthult een ernstige trechtering van verstoringen. In Llama 3.1 8B daalt het effectieve rang van de cumulatieve Jacobiaan van ~436 (enkele laag) naar ~7 (volledige diepte), wat betekent dat slechts een handvol effectieve kanalen overleven van embedding tot logit. Deze ineenstorting is niet architecturaal (het effectieve rang blijft hoog bij Stap 0) maar wordt geïnstalleerd door training. Cruciaal tonen Schur-scheur-experimenten aan dat het verwijderen van het niet-normale component ($N_\ell$) terwijl het spectrum behouden blijft, dit knelpunt grotendeels oplost, wat aangeeft dat de trechter een eigenschap is van de getrainde niet-normale feedforward-structuur, niet van de eigenwaarden.

3. Topologie-dynamica koppeling:
   De studie identificeert een geleerde koppeling tussen de gemeenschaps-topologie van het netwerk en zijn dynamica. Eenheden die meerdere activatie-grafgemeenschappen overbruggen (grensknooppunten) worden bij voorkeur versterkt of onderdrukt door de Jacobiaan.

   • Teken-afhankelijkheid: Het teken van deze koppeling wordt bepaald door het lokale operator-type. In bijna-symmetrische lagen worden grenseenheden versterkt. In sterk niet-normale lagen worden ze afgezwakt.
   • Ontstaan: Deze koppeling is afwezig bij initialisatie en ontstaat monotoon tijdens training. In OLMo neemt het aantal FDR-significante lagen toe van 0 (Stap 0) naar 14 (Stap 471k) naar 24 (Stap 1,41M).

Betekenis en Aanspraken
Het artikel claimt de eerste volledige beschrijving op eigenwaarde-niveau van getrainde productieschaal transformer-Jacobianen te bieden. De belangrijkste bijdragen zijn:

• Het gat vullen: Het overbrugt het gat tussen theorie op het moment van initialisatie (die geen van deze structuur voorspelt) en benaderende linearisaties (die de rotatiedynamica die het spectrum domineert niet kunnen oplossen).
• Mechanistisch inzicht: Het toont aan dat de "dimensionale ineenstorting" die in LLM's wordt waargenomen, een geleerde eigenschap is die wordt gedreven door niet-normaliteit, en geen architecturale onvermijdelijkheid of spectrale artefact.
• Topologie-dynamica link: Het vestigt dat de functionele topologie van het netwerk (gemeenschapsstructuur) niet slechts een statisch kenmerk is, maar dynamisch interageert met signaalvoortplanting, waarbij de aard van deze interactie (versterking versus onderdrukking) een geleerde functie is van het operator-type van de laag.

De auteurs merken op dat hoewel de mesoschaal gemeenschapsstructuur zelf deels architecturaal is (aanwezig bij initialisatie), de specifieke koppeling tussen grensknooppunten en Jacobiaanse versterking een geleerd fenomeen is. Het werk suggereert dat toekomstige inspanningen op het gebied van interpreteerbaarheid rekening moeten houden met de volledige spectrale geometrie, met name niet-normaliteit en rotatiedynamica, in plaats van uitsluitend te vertrouwen op singuliere waarden decompositie.