Technische Samenvatting: Spectrale Anti-concentratie en de Dualiteit van de Geometrie van Transformer-Representaties

Probleemstelling

Het artikel onderzoekt de geometrische structuur van conceptrepresentaties in Large Language Models (LLM's), met name door twee concurrerende hypothesen te toetsen over hoe concepten worden gecodeerd en overgebracht tussen talen.

Ten eerste stelt de Hypothese van Lineaire Representatie (LRH) dat hoogwaardige concepten worden gecodeerd als lineaire richtingen in de activatieruimte. Park et al. [2024] formaliseerden dit door een causaal inproduct voor te stellen, gedefinieerd door de inverse covariantie van de unembedding-matrix ($\Sigma^{-1}$), waarbij wordt gesuggereerd dat causaal scheidbare concepten orthogonaal zijn onder deze metriek. Dit leidde tot de hypothese van Geblondeerde Causale Uitlijning (WCA): dat het uitlijnen van representatieruimten met behulp van deze causale geometrie (geblondeerd door $\Sigma^{-1/2}$) superieure cross-linguale conceptoverdracht mogelijk maakt in vergelijking met standaard Euclidische Procrustes-uitlijning.

Ten tweede suggereert de Platonische Representatiehypothese dat capabele modellen convergeren naar gedeelde interne representaties, wat impliceert dat conceptrichtingen die uit één taal zijn gehaald, overdraagbaar moeten zijn naar een andere taal.

De auteurs stelden zich tot doel te valideren of de specifieke eigenrichtingen van het causale inproduct deze cross-linguale overdracht faciliteren. Hun experimenten onthulden echter een breder, tot dan toe niet gekarakteriseerd fenomeen: spectrale anti-concentratie. Zij ontdekten dat conceptrepresentaties systematisch de hoog-variatie richtingen van het spectrum van het model vermijden, terwijl de statische vocabulaire het tegenovergestelde gedrag vertoont.

Methodologie

De studie hanteert een rigoureuze, multi-methodische aanpak over 17 modellen die 5 architectuurfamilies bestrijken (Llama, Qwen, Gemma, Mistral en Mixture-of-Experts) en 4 cross-linguale paren.

1. Conceptextractie (Drie Onafhankelijke Methoden)

Om methodologische artefacten uit te sluiten, extraheren de auteurs conceptrichtingen met drie verschillende benaderingen:

• Verschil van Gemiddelden: Het berekenen van het gemiddelde verschil van gepoolde residual-stream-activaties voor contrasterende woordparen (subtractieve methode).
• Sparse Autoencoders (SAE): Het extraheren van de top-differentieel activerende kenmerken uit vooraf getrainde SAE's (Gemma Scope, Llama Scope) met behulp van contextuele activaties (niet-supervised, niet-subtractief).
• Lineaire Probes: Het trainen van L2-geregulariseerde logistische regressie-classificatoren op ruwe, niet-gecentreerde contextuele activaties (supervised).

2. Spectraal Analysekader

Alle conceptvectoren worden geprojecteerd op de eigenbasis van de taal-specifieke covariantiematrix van de unembedding $\Sigma_L$. De auteurs definiëren:

• Spectrale Energieverdeling: Het fractie van de energie van een vector in specifieke eigenvectoren.
• Gini-afwijking: Een maat voor concentratie versus anti-concentratie. Negatieve waarden geven aan dat de energie geconcentreerd is in de spectrale staart (laag-variatie richtingen).
• Spectraal Zwaartepunt (SCM): Het cumulatieve variatiepunt waar 50% van de energie wordt bereikt.

3. Belangrijkste Experimenten

• Gekoppeld Spectrum Randomisatie: Om de bruikbaarheid van causale geometrie te testen, vervingen de auteurs de ware eigenvectoren van $\Sigma$ door willekeurige orthogonale matrices terwijl ze het eigenwaarde-spectrum behielden. Zij vergeleken Real WCA met Fake WCA voor cross-linguale overdracht.
• Gesplitste Injectie-Sturing: Conceptvectoren werden ontbonden in "schreeuwerige" (top 10% eigenvectoren, hoog-variatie) en "fluisterende" (bottom 10% eigenvectoren, laag-variatie) componenten. Deze werden op verschillende dieptes in Gemma- en Llama-modellen geïnjecteerd om de degradatie van de perplexiteit te meten (een proxy voor grammaticale interferentie).
• POS-Tag Probing: Classificatoren werden getraind op activaties die waren geprojecteerd op hoog-variatie (top-k) en laag-variatie (bottom-k) deelruimten om te bepalen waar syntactische informatie zich bevindt.
• Dualiteit van de Geometrie Check: De auteurs vergeleken conceptvectoren in de activatieruimte met statische verschillen in unembedding-rijen om contrasterend spectraal gedrag te identificeren.

Belangrijkste Resultaten

1. Falen van Causale Geometrie voor Overdracht

De test met gekoppeld spectrum-randomisatie vond dat Real WCA niet te onderscheiden is van Fake WCA (p = 0,95). De specifieke eigenrichtingen van het causale inproduct verbeteren de cross-linguale overdracht meetbaar niet meer dan het effect van spectrale regulering (demping van hoog-variatie richtingen).

2. Spectrale Anti-concentratie

In tegenstelling tot de verwachting dat concepten zouden kunnen uitlijnen met hoog-variatie richtingen, vindt de studie robuuste spectrale anti-concentratie:

• Conceptvectoren in de activatieruimte (van alle drie de extractiemethoden) plaatsen consistent disproportioneel veel energie in de laag-variatie staart van het eigenspectrum.
• Dit geldt voor 17 modellen en 5 architectuurfamilies (gemiddelde Gini = -0,282, p < 10⁻³³).
• Het effect is onafhankelijk van de achtergrondvorm van het spectrum en blijft bestaan, zelfs wanneer subtractie-artefacten worden uitgesloten via SAE- en lineaire probe-methoden.

3. De Dualiteit van de Geometrie

Het artikel identificeert een fundamentele dualiteit tussen de vocabulaire-ruimte en de redeneringsruimte:

• Vocabulaire Ruimte (Statisch): Concept-specifieke verschillen in unembedding-rijen concentreren zich in hoog-variatie richtingen (positieve Gini). Dit zorgt ervoor dat conceptcontrasten de token-predictie-logits maximaal beïnvloeden.
• Redeneringsruimte (Activatie): Conceptrepresentaties in de residual stream anti-concentreren zich in de spectrale staart.
• Willekeurige token-paardifferentiaties tonen een milde anti-concentratie, terwijl concept-specifieke paren een actieve concentratie tonen in de vocabulaire-ruimte. Dit bevestigt dat de unembedding-matrix specifiek concept-relevante contrasten codeert langs zijn hoofdassen.

4. Functioneel Bewijs

• Asymmetrie in Interferentie: Gesplitste injectie-experimenten op Gemma en Llama tonen aan dat het injecteren van conceptvectoren in hoog-variatie ("schreeuwerige") richtingen aanzienlijk meer perplexiteitsdegradatie (grammaticale verstoring) veroorzaakt dan injecteren in laag-variatie ("fluisterende") richtingen (Cohen's d tot 1,80).
• Syntactische Codeerij: POS-tag probing onthult dat in 6 van de 8 architecturen syntactische informatie bij voorkeur wordt gecodeerd in de hoog-variatie deelruimte.
• De Qwen 2.5 Anomalie: De Qwen 2.5-familie (3B, 7B) keert dit patroon om, waarbij een bottom-k-voordeel voor POS-informatie wordt getoond en geen asymmetrie in interferentie. Dit suggereert dat de spectrale scheiding van syntaxis en semantiek afhankelijk kan zijn van de architectuur.

Betekenis en Claims

Het artikel claimt een "Dualiteit van de Geometrie" in transformer-representaties te onthullen: "Concepten fluisteren terwijl syntaxis schreeuwt."

• Mechanistisch Inzicht: Transformers lijken semantische inhoud te roteren naar spectrale rustige (laag-variatie) gebieden tijdens contextuele verwerking. Dit stelt concepten in staat om te worden gemanipuleerd met verminderde grammaticale verstoring, terwijl syntaxis en structurele patronen de hoog-variatie "luid" deelruimte bezetten waar ze robuust kunnen overleven in de residual stream-ruis.
• Implicaties voor Interpretatie: Methoden die zich uitsluitend richten op de belangrijkste hoofdcomponenten (bijvoorbeeld standaard PCA-visualisatie) lopen het risico concept-niveau informatie te missen, die zich in de spectrale staart bevindt. Interpretatietools moeten aandacht besteden aan laag-variatie richtingen.
• Implicaties voor Sturing: De bevindingen suggereren een praktische verfijning voor activatie-engineering: het projecteren van stuurvectoren naar de laag-variatie deelruimte voordat ze worden geïnjecteerd, zou conceptmanipulatie kunnen bereiken met minder verstoring van de vloeiendheid, wat mogelijk "afasie" veroorzaakt door het verstoren van syntactische routing kan mitigeren.
• Theoretische Connectie: De resultaten bieden een spectrale dimensie aan de theorie van superpositie. Als hoog-variatie richtingen "geclaimd" worden door frequente syntactische patronen, wordt de effectieve dimensionaliteit voor semantische concepten verminderd, waardoor het netwerk semantische kenmerken via superpositie in de staart moet coderen.

De auteurs blijven bescheiden wat de reikwijdte betreft, en merken op dat hun concepten zijn afgeleid van woordniveau-contrasterende gevallen en dat het gedrag van het fenomeen in encoder-decoder-architecturen of voor hoogst abstracte concepten een open vraag blijft. Zij benadrukken dat de Qwen 2.5-anomalie verdere onderzoek vereist naar hoe specifieke trainingsregimes of architecturale keuzes de spectrale toewijzing veranderen.