Technische Samenvatting: Geometrische en Gedragsmatige Stratificatie in Transformer Residual Streams

Probleemstelling

Recent onderzoek heeft vastgesteld dat getrainde transformer-modellen "geprivilegieerde bases" ontwikkelen—specifieke coördinatensets met statistische eigenschappen die verschillen van de rest van de residual stream. Echter, de functionele rol en de geometrische aard van deze geprivilegieerde richtingen blijven onduidelijk. Hoewel eerdere werken deze assen identificeerden als anomale coördinatensets, legden zij niet uit welke specifieke richting zij selecteren of hoe zij de hoogdimensionale berekening van het model organiseren.

Dit artikel adresseert de kloof tussen de hoogdimensionale aard van transformer-berekeningen (duizenden dimensies) en de laagdimensionale aard van de lineaire readout (een enkele projectie op de vocabulaire-logits). De auteur onderzoekt of de voorspellingsrichting—de unembedding-vector van de token die het model momenteel voorspelt—dient als een door inhoud gedefinieerde geprivilegieerde anker die de geometrie en het gedrag van de residual stream organiseert.

Methodologie

De auteur introduceert PDSF (Prediction-anchored Decomposition of Subspace Features), een coördinatensysteem dat de staat van de residual stream ($h$) in elke laag verdeelt in vier strikt orthogonale componenten, gerangschikt op basis van hun nabijheid tot de huidige voorspellingsrichting van het model ($\hat{u}$):

1. P (Predictive/Voorspellend): De rank-1 projectie van $h$ op de genormaliseerde unembedding-vector $\hat{u}$ van de huidige argmax-token.
2. D (Discriminative/Discriminatief): De top-$k$ PCA-richtingen van de residual na het verwijderen van $P$.
3. S (Situational/Situationeel): De top-$k$ PCA-richtingen van de residual na het verwijderen van zowel $P$ als $D$.
4. F (Framework/Complement): Het orthogonale restant, dat het overgrote deel van de dimensies van de residual stream vertegenwoordigt.

De gecombineerde regio $P + D + S$ wordt de voorspellingsinterface genoemd, terwijl $F$ het voorspellings-distale complement is.

Experimentele Opstelling:

• Testbed: 18 transformer-modellen uit 6 architectuurfamilies (Llama, Gemma, Mistral, Mixtral, Qwen, GPT-OSS), variërend van 7B tot 120B parameters, inclusief zowel base- als instructie-getunede varianten.
• Prompt Sets: Drie gestructureerde sets ontworpen om verschillende variaties te onderzoeken:
  • SpecA: Beperkte prompts met vaste antwoorden maar variërende oppervlaktevormen (224 prompts).
  • SpecB: Open narratieve voortzettingen (80 prompts).
  • Diverse: Prompts over 8 linguïstische regimes (narratief, code, wiskunde, etc.) (84 prompts).
• Interventies: De auteur past gerichte interventies toe, waaronder single-pass perturbaties, persistente rotationele scrambling (Haar-maat rotaties toegepast bij ~70% diepte), en magnitude-attenuatie, om causale rollen te testen.

Belangrijkste Bijdragen en Resultaten

1. Een Schaal-invariante Voorspellingsinterface

De effectieve dimensionaliteit van de voorspellings-proximale subruimtes ($D$ en $S$) is laag en schaal-invariant.

• Bij beperkte prompts is de effectieve rank van $D$ consistent enkelcijferig (gemiddelde $\approx 4$) over alle modellen, ongeacht de verborgen dimensie ($d_{model}$ variërend van 2.880 tot 8.192).
• De dimensionaliteit van de interface wordt bepaald door de semantische complexiteit van de prompt, niet door de breedte van het model.
• Instructie-tuning verscherpt de interne organisatie van de interface (verhoogt discriminatie en vermindert de gevoeligheid voor parafrasering) maar maakt deze niet breder.
• Conclusie: Schalen vergroot de omvang van het voorspellings-distale complement ($F$), niet de voorspellingsinterface.

2. Geometrische Stratificatie: Orthogonaliteit en Manifold Complexiteit

• Orthogonaliteit: De voorspellingsrichting is bijna orthogonaal (gemiddelde hoek $\approx 84^\circ$–$86^\circ$) aan de belangrijkste variantie-assen van de residual stream. Hoog-variante richtingen zijn weggeschoven van de readout-as.
• Manifold Complexiteit Gradiënt: Er is een steile gradiënt in manifold-complexiteit langs de voorspellings-nabijheidsas.
  • Voorspellings-proximaal ($D$): Hoog gefold, gestructureerde geometrie (hoge informatie-densiteit).
  • Voorspellings-distaal ($F$): Vlakke, uniforme geometrie.
  • Deze gradiënt is significant steiler wanneer gemeten ten opzichte van de voorspellingsrichting vergeleken met standaard variantie-geordende PCA-controles, vooral bij linguïstisch heterogene prompts.

3. Anti-discriminatie in het Complement

In tegen tegen de verwachting dat groepsdiscriminatie afneemt naarmate de afstand tot de voorspellingsrichting groter wordt, vertoont het complement ($F$) anti-discriminatie.

• Prompts uit dezelfde semantische groep zijn systematisch verder van elkaar verwijderd in de $F$-ruimte dan prompts uit verschillende groepen.
• Dit suggereert dat $F$ een prompt-specifieke configuratie draagt die variaties in de voorspellings-proximale staten compenseert om vergelijkbare readout-resultaten te bereiken.

4. Richting boven Magnitude (Thin-Shell Hypothese)

Het artikel valideert de "thin-shell" hypothese: variatie in de residual stream wordt gedreven door richting, niet door magnitude.

• Het verstoren van de richting van het complement ($F$) via rotatie veroorzaakt onmiddellijke en ernstige output-divergentie.
• Het verminderen van de magnitude van $F$ (attenuatie) terwijl de richting behouden blijft, heeft een verwaarloosbaar effect.
• Dit bevestigt dat het complement fungeert als een directioneel substraat dat essentieel is voor berekening, ondanks de zwakke uitlijning met de readout.

5. Gedragsmatige Stratificatie

Persistente rotationele interventies onthullen een hiërarchie in gedrag die is uitgelijnd met de voorspellings-nabijheidsas:

• Subruimte $D$ (Directe Framing): Verstoring veroorzaakt onmiddellijke divergentie (gemiddelde eerste-divergentie-token $\approx 1.2$) en frequente taak-frame verschuivingen (bijv. verandering van antwoorden naar meta-commentaar).
• Subruimtes $S$ en $F$-topK (Trajectorie): Verstoring veroorzaakt vertraagde divergentie (gemiddelde eerste-divergentie-token $\approx 5.6$ voor $S$, $\approx 6.5$ voor $F$-topK) en inhoudelijke substitutie binnen een behouden taak-frame.
• Dit geeft aan dat $D$ de initiële framing van de respons controleert, terwijl $S$ en het hoog-variante deel van $F$ de daaropvolgende trajectorie controleren.

6. Statische/Dynamische Verdeling van het Complement

Het complement $F$ is verder georganiseerd volgens temporele dynamiek:

• Het splitst zich in een statisch geraamte (temporeel gemiddelde) en een dynamische envelop (token-voor-token updates).
• De dynamische envelop is causaal belastbaar: het injecteren van "verouderde" (één stap vertraagde) $F$ veroorzaakt universele output-divergentie vanaf de eerste token.
• Het roteren van de richtingen van de dynamische envelop veroorzaakt catastrofaal falen (92.3% faalpercentage), wat verschilt van de heroriëntatie veroorzaakt door het roteren van $D$ of $S$.

Betekenis en Claims

Het artikel claimt vast te stellen dat de voorspellingsrichting een geprivilegieerd, door inhoud gedefinieerd anker is dat de geometrie van de residual stream organiseert op een manier die verschilt van eerder beschreven coördinatengebaseerde assen.

• Architecturale Beperking: De bevindingen suggereren dat de lineaire readout een "signaal-ruis"-beperking oplegt, waardoor het model wordt gedwongen de voorspellings-relevante structuur te isoleren in een smalle, schaal-invariante interface, terwijl het de computationele substraat ($F$) er orthogonaal op uitbreidt.
• Evaluatie-blindheid: Omdat het merendeel van de residual stream (het complement) zwak uitgelijnd is met de readout, meten output-gebaseerde evaluatiemetrieken (logits, volgende-token nauwkeurigheid) waarschijnlijk de interne berekeningen en structurele veranderingen die optreden tijdens het schalen van het model onder.
• Interpretabiliteit: De geometrische stratificatie biedt een kader voor feature-niveau interpretabiliteit, waarbij gesuggereerd wordt dat taak-framing in $D$ resideert, terwijl trajectorie en statusbehoud in $S$ en $F$ liggen.
• Geometrisch vs. Variantie: Het artikel betoogt dat geometrische organisatie niet louter een schaduw is van de variantiestructuur; het verankeren aan de voorspellingsrichting onthult organisatorische principes (zoals de anti-discriminatie van $F$ en de gedragshiërarchie) die analyses gebaseerd op variantie alleen niet kunnen vatten.

De auteur concludeert dat transformer residual streams het beste begrepen kunnen worden, niet als diffuse hoogdimensionale activaties, maar als gestratificeerde geometrieën bestaande uit een vaste voorspellingsinterface ingebed in een dynamisch onderhouden, causaal belastbaar substraat.