Technische Samenvatting: Transformers Convergeren naar Invariante Algoritmische Kernen

1. Probleemstelling

Het centrale obstakel voor mechanistische interpreteerbaarheid in neurale netwerken is onderdeterminatie. Hoewel training de output van een model beperkt (de mapping van inputs naar outputs), beperkt het niet de interne realisatie van dat gedrag. Onafhankelijk getrainde modellen vertonen vaak functionele equivalentie—ze voeren dezelfde taak uit met zeer verschillende gewichtsconfiguraties en interne circuits. Dit fenomeen, waargenomen in de geometrie van de loss-landschappen, model-merging en biologische systemen (bijv. degeneratie en systeemdrift), vormt een fundamentele uitdaging: als mechanismen niet generaliseren over verschillende realisaties, welke verklaringen zijn dan "echt"?

Huidige inspanningen op het gebied van interpreteerbaarheid richten zich vaak op specifieke implementatiedetails (bijv. specifieke attention heads of sparse features), die mogelijk idiosyncratisch zijn aan een enkele trainingsrun. Dit artikel betoogt dat om een generaliseerbaar mechanistisch begrip te bereiken, de focus moet verschuiven van realisatie-specifieke circuits naar invarianten—stabiele computationele structuren die gedeeld worden over onafhankelijke trainingsruns.

2. Methodologie: Algorithmic Core Extraction (ACE)

Dit artikel introduceert Algorithmic Core Extraction (ACE), een framework ontworpen om laagdimensionale subruimten te isoleren die zowel noodzakelijk als voldoende zijn voor een taak en invariant zijn over modelrealisaties. De methode operationaliseert principes uit de lineaire systeemtheorie (specifiek de Kalman-decompositie en balanced truncation) voor transformers.

De ACE-pipeline bestaat uit drie stadia:

1. Extractie: Voor een gegeven transformer-laag met dimensie $D$ en $N$ inputs, berekent de methode de interactie tussen gecentreerde activaties ($H$) en de Jacobians van taakrelevante outputs ($J$). Door Singular Value Decomposition (SVD) uit te voeren op $HJ^\top$, identificeert ACE richtingen die gezamenlijk actief en relevant zijn. De leidende singuliere vectoren definiëren een laagdimensionale subruimte (de "kern") die terug wordt gemapt naar de activatieruimte.
2. Validatie: De geëxtraheerde kern wordt causaal gevalideerd via ablatie. Een kern wordt als voldoende beschouwd als het projecteren van activaties op deze kern de prestaties behoudt, en als nandzakelijk als het verwijderen ervan (projectie op het complement) de prestaties reduceert tot het niveau van toeval.
3. Identificatie: De computationele structuur binnen de kern wordt hersteld door lineaire operatoren (bijv. $z_{t+1} \approx Az_t$) te fitten op de kerncoördinaten en hun spectrale eigenschappen (eigenwaarden) te inspecteren om de onderliggende dynamica te bepalen.

3. Belangrijkste Resultaten

A. Synthetische Markov-keten Taken

In single-layer transformers getraind op een vier-toestands Markov-keten:

• Divergente Parameters, Convergerende Kernen: Modellen getraind met verschillende random seeds bereikten een bijna optimale nauwkeurigheid, maar hadden een bijna nul correlatie in hun gewichten (cosine similarity).
• Invariante 3D Subruimten: ACE slaagde erin een 3-dimensionale kern in elk model te isoleren. Deze kernen waren noodzakelijk en voldoende voor de taak.
• Geometrische vs. Statistische Uitlijning: Hoewel de kernen in bijna orthogonale subruimten resideerden (projector overlap $\approx 0,02$), vertoonden ze een bijna perfecte statistische uitlijning (Canonical Correlation Analysis $\approx 0,99$).
• Dynamica Herstel: Lineaire operatoren gefit binnen deze kernen herstelden de exacte niet-triviale eigenwaarden van de grondwaarheid Markov-transitiematrix, wat aantoont dat de modellen dezelfde transitiedynamica coderen in verschillende coördinatensystemen.

B. Modulaire Additie en Grokking

In twee-laags transformers getraind op modulaire additie ($a + b \equiv c \mod p$):

• Emergentie bij Grokking: Algoritmische kernen kristalliseerden (condenseerden tot laagdimensionale, noodzakelijke/voldoende subruimten) gelijktijdig met het "grokking"-fenomeen (de vertraagde transitie van memorisatie naar generalisatie).
• Rotationele Dynamica: Geautomatiseerde operator-fitting onthulde dat bij grokking de eigenwaarden van de kern-operatoren vastklonken aan de eenheidscirkel, wat wijst op de opkomst van cyclische/rotationele dynamica die vereist zijn voor modulaire rekenkunde.
• Kern-inflatie onder Regularisatie: Onder voortgezette weight decay na grokking, "inflateerden" de kernen van ~15 naar ~60 dimensies. Deze inflatie werd gedreven door redundantie: terwijl het aantal dimensies voldoende voor prestaties stabiel bleef, nam het aantal dimensies noodzakelijk om prestaties boven het niveau van toeval te houden, toe. Weight decay fungeerde als een herverdelingskracht, waarbij gewichten over alle functioneel equivalente modi werden verspreid (tot de theoretische maximum van $\lfloor p/2 \rfloor$).
• Inverse Scaling Law: Het artikel leidt een theoretische link af tussen functionele redundantie, regularisatie en grokking-tijd. Het stelt dat functionele equivalentie de transitie naar generalisatie versnelt, wat resulteert in een inverse scaling law voor grokking-tijd: $\tau_{grok} \propto 1/(\omega p)$, waarbij $\omega$ de weight decay is en $p$ de redundantie. Empirische sweeps van $\omega$ en $p$ valideerden deze voorspelling.

C. Large Language Models (LLMs)

ACE werd toegepast op zes pre-trained modellen uit vier families (GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5) over twee ordes van grootte in schaal (117M tot 32B parameters) op de taak van subject–verb number agreement (getal-overeenkomst tussen onderwerp en werkwoord):

• Universele 1D Kern: Een enkele, één-dimensionale causale as werd geïdentificeerd in de late lagen van alle zes modellen.
• Causale Controle: Deze as is noodzakelijk en voldoende voor overeenkomst. Het projecteren van activaties op deze as voorspelt de singular-plural logit margin. Cruciaal is dat het omkeren van het teken van deze as de grammaticale getalvoorkeuren door de gehele open-ended generatie omkeert (bijv. het veranderen van "The key... are" naar "The key... is").
• Cross-Architectuur Uitlijning: Ondanks verschillen in architectuur, tokenisatie en trainingsdata, kwamen de coördinaten van deze 1D-kernen significant overeen over de modellen (Spearman correlaties tot 0,93). Dit suggereert een gedeeld, invariant mechanisme voor grammaticale getalovereenkomst dat onafhankelijk is van implementatiedetails.

4. Betekenis en Claims

Het artikel claimt dat onder de schijnbare complexiteit van getrainde transformers een eenvoudigere, gedeelde computationele structuur ligt. De primaire bijdragen zijn:

1. Een Verschuiving in het Paradigma van Interpreteerbaarheid: Een beweging van het bestuderen van specifieke circuit-realisaties naar het bestuderen van invarianten. De auteurs stellen dat mechanistische verklaringen gekoppeld moeten zijn aan stabiele, implementatie-invariante grootheden in plaats van aan idiosyncratische details.
2. Operationalisering van Invarianten: Het ACE-framework biedt een methode om deze invarianten te isoleren, causaal te valideren en de algoritmen te herstellen die zij implementeren zonder de vorm vooraf voor te suponeren.
3. Mechanistische Verklaring van Grokking: Het artikel biedt een theorie die functionele equivalentie, regularisatie en grokking-tijd aan elkaar koppelt, waarbij wordt gesuggereerd dat redundantie weight decay hels kan versnellen in de transitie naar generalisatie door gewichten over geldige modi te verdelen.
4. Bewijs van Interne Wereldmodellen: Het herstel van de grondwaarheid-taakstructuren (Markov-spectra, cyclische operatoren) suggereert dat deze kernen interne representaties coderen van het datagenereerde proces, wat aansluit bij het "internal model principle" uit de regeltechniek.
5. Implicaties voor Model Merging: De observatie dat functioneel equivalente modellen hun kernen in bijna orthogonale subruimten inbedden, verklaart de moeilijkheid van model merging (naïeve interpolatie faalt). Dit suggereert dat het uitlijnen van algoritmische kernen, in plaats van gewichten, een principieelere aanpak is voor model-recombinatie.

Het artikel concludeert dat het richten op invarianten een meer hanteerbaar pad biedt naar mechanistisch begrip en controle, waarbij wordt opgemerkt dat hoewel de dimensionaliteit van kernen voor complexe redeneertaken een open vraag blijft, de stabiliteit van de 1D-overeenkomstkern over enorme schalen heen suggereert dat de dimensionaliteit van de kern niet strikt afhankelijk is van de modelgrootte.