🤖 machine learning

Task Structure Reverses Layerwise State Encoding in Sequence Models

Dit artikel toont aan dat de laaggebonden distributie van de toestandsencodering in sequentiemodellen geen vast architecturaal kenmerk is, maar omkeert op basis van de computationele structuur van de taak, wat onthult dat algebraïsche eigenschappen zoals commutativiteit minder voorspellend zijn voor mechanistische signaturen dan de onderliggende computationele vereisten, zoals prefix-updates versus stack-operaties.

Oorspronkelijke auteurs: Yuhang Jiang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuhang Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe verschillende soorten "denkmachines" (AI-modellen) informatie bijhouden terwijl ze een verhaal lezen. Lange tijd dachten onderzoekers dat het "denkstijl" van een machine vaststond, zoals de persoonlijkheid van een mens. Ze geloofden dat:

Transformers (de huidige standaard AI) hun gedachten gelijkmatig over hun hele brein verspreiden.
Recurrente modellen (oudere, lus-gebaseerde AI's) hun belangrijkste gedachten weggestopt hielden in het allerlaatste deel van hun brein.

Dit artikel zegt: "Ho even."

De auteurs ontdekten dat deze machines geen vaste persoonlijkheid hebben. In plaats daarvan veranderen ze hoe ze hun gedachten organiseren, afhankelijk van welke taak ze uitvoeren. Het is als een chef die een ander mes gebruikt om groenten te hakken versus het fileren van een vis. Het gereedschap verandert op basis van de taak, niet alleen op basis van de identiteit van de chef.

Hier is de uitsplitsing van hun ontdekking met behulp van eenvoudige analogieën:

1. De twee soorten taken

De onderzoekers gaven de machines drie verschillende puzzels om op te lossen:

De "Running Total" taak (Parity & S3): Stel je voor dat je bijhoudt hoe vaak je een munt hebt opgegooid. Je hoeft alleen de huidige telling (0 of 1) te onthouden en deze gaandeweg bij te werken. Dit is een eenvoudige, lineaire update.
De "Stack" taak (Dyck): Stel je voor dat je controleert of een zin gebalanceerde haakjes heeft, zoals (( )). Je kunt niet alleen tellen; je moet onthouden welk openingshaakje bij welk sluitingshaakje hoort. Je moet een mentale "stack" (zoals een stap borden) opbouwen om de nesting bij te houden.

2. De Grote Omkering

Het papier vond dat de machines hun strategie omdraaien afhankelijk van de taak:

Op de "Running Total" taak:
- Recurrente modellen (zoals Mamba) fungeren als een geheimbewaarder. Ze doen veel werk in het begin, maar het uiteindelijke antwoord wordt pas duidelijk in de allerlaatste laag van het brein. Het is als een goochelaar die al het trucwerk in de schaduw doet en de truc pas aan het einde onthult.
- Transformers fungeren als een teamoverleg. Ze bouwen het antwoord geleidelijk op, laag voor laag, van het begin tot het einde. Iedereen draagt onderweg een beetje bij.
Op de "Stack" taak:
- De rollen draaien om!
- Transformers worden plotseling de geheimbewaarders. Ze vinden het antwoord bijna onmiddellijk (in de eerste paar lagen) en houden het daarna gewoon vast.
- Recurrente modellen worden het teamoverleg. Ze moeten de oplossing langzaam opbouwen, laag voor laag, om het antwoord juist te krijgen.

De kernboodschap: Je kunt niet zeggen "Transformer verspreidt altijd informatie" of "Mamba verbergt het altijd." De strategie hangt volledig af van de vraag of het een eenvoudige update is of een complexe stack.

3. De "Niet-Commutatieve" test (De S3-puzzel)

Om te bewijzen dat dit niet alleen over wiskundige regels ging (zoals of de volgorde bij optellen uitmaakt), voegden ze een derde, lastigere puzzel toe genaamd S3. Dit was een "Running Total" taak waarbij de volgorde wel uitmaakte (zoals sokken aantrekken vóór schoenen is anders dan schoenen aantrekken vóór sokken).

De voorspelling: Als het verschil alleen over wiskundige regels ging (zoals de volgorde), zou deze lastige taak op de "Stack" taak moeten lijken.
De realiteit: De machines behandelden deze lastige taak exact als de eenvoudige "Running Total" taak. Ze gebruikten dezelfde "geheimbewaarder" of "teamoverleg" strategieën als voorheen.
Conclusie: De machines reageren niet op wiskundige regels; ze reageren op de computationele structuur (is het een eenvoudige update of een complexe stack?).

4. De "Leesbare" vs. "Belangrijke" valstrik

De onderzoekers keken ook naar waar de informatie is opgeslagen. Ze ontdekten een verrassende disconnect, vooral in grotere, vooraf getrainde modellen:

De "Leesbare" laag: Dit is waar je het antwoord gemakkelijk uit het brein van de machine kunt "lezen" (zoals het vinden van een briefje met het antwoord erop geschreven).
De "Belangrijke" laag: Dit is het deel van het brein dat, als je het zou breken, de machine zou laten falen.

De ontdekking:

In kleine, eenvoudige modellen zijn de "Leesbare" laag en de "Belangrijke" laag meestal hetzelfde.
In grote, vooraf getrainde modellen komen ze vaak niet overeen:
- Voorbeeld: Bij de "Stack" taak kan een groot model het antwoord duidelijk op een briefje hebben staan in het midden van het brein (Laag 7), maar als je het einde van het brein breekt (Laag 11), werkt het model nog steeds prima. Echter, als je het midden breekt, crasht het.
- Voorbeeld: Bij de "Running Total" taak staat het antwoord misschien duidelijk aan het einde, maar het breken van die specifieke plek stopt het model niet omdat de informatie overal anders verspreid is.

De les: Alleen omdat je het antwoord in een specifiek deel van het brein kunt zien, betekent dat niet dat dat deel de enige is die de machine in leven houdt. De machine kan de informatie op veel verschillende plaatsen tegelijk vasthouden.

Samenvatting

Dit artikel leert ons dat AI-architecturen niet rigide zijn. Ze zijn flexibel.

Taak maakt uit: De interne strategie van een machine verandert op basis van of hij een eenvoudige update of een complexe stack uitvoert.
Structuur maakt uit: De "vorm" van het probleem (update vs. stack) bepaalt de strategie sterker dan de wiskundige regels.
Zichtbaarheid $\neq$ Noodzakelijkheid: In grote modellen vertelt het vinden van waar het antwoord "geschreven" staat, je niet altijd waar de machine het meest kwetsbaar is.

De auteurs concluderen dat we niet simpelweg kunnen vragen: "Hoe werkt deze AI?" We moeten vragen: "Hoe werkt deze AI voor deze specifieke taak?"

Technische Samenvatting: Taakstructuur Keert Laagspecifieke Toestandsencodering om in Sequentiemodellen

Probleemstelling

Mechanistische interpreteerbaarheid van sequentiemodellen behandelt laagspecifieke toestandsencoderingen vaak als vaste architecturale kenmerken. De heersende aanname is dat recurrente modellen (bijv. LSTM's, GRU's) en State-Space Modellen (SSM's zoals Mamba) de leesbare toestand concentreren in de latere lagen, terwijl aandacht-gebaseerde modellen (Transformers) de toestandstoestandsaccumulatie over de diepte verdelen. Dit paper daagt het standpunt uit dat deze coderingstrategieën stabiele architecturale invarianten zijn. Het stelt dat dezelfde architectuur zijn laagspecifieke toestandsencoderingsprofiel omkeert wanneer de computationele structuur van de taak verandert. Bovendien verwart de literatuur vaak twee potentiële drijfveren voor deze patronen: algebraïsche structuur (specifiek commutativiteit) versus computationele structuur (prefix-updates versus stack-tracking). De auteurs beogen deze factoren te ontrafelen en te bepalen of toestandscodering een eigenschap is van de architectuur alleen, of een interactie tussen architectuur en taak.

Methodologie

De studie maakt gebruik van een gecontroleerde experimentele suite over vijf architectuurfamilies: Transformers, Mamba, Mamba-2, LSTM's en GRU's.

Taken:
De auteurs maken gebruik van drie formele toestand-tracking taken en één semi-reële benchmark:

Parity: Een commutatieve, single-bit prefix-update taak.
$S_3$ Permutatiecompositie: Een niet-commutatieve, 6-klasse prefix-update taak. Dit dient als de kritieke discriminant: als algebraïsche commutativiteit de encoderingsprofiel stuurt, zou $S_3$ zich als Dyck moeten gedragen; als de computationele structuur het stuurt, zou $S_3$ zich als Parity moeten gedragen.
Dyck- $k$ : Een taak voor stack-tracking met een begrensde diepte (haakjes-matching) met een maximale diepte van 10.
Code-Depth: Een token-niveau nesting-diepte taak afgeleid van Python-code uit CodeSearchNet, dienend als een semi-reële validatie.

Experimentele Opstelling:

Formele Taken: Experimenten gebruiken 4-laagse modellen met $d_{model}=128$ . Architecturen zijn geparametriseerd gematcht (ongeveer 830K parameters) waar mogelijk. Training vindt plaats bij sequentielengte $L=40$ , met evaluatie bij $L \in \{40, 60, 80, 100, 120\}$ .
Pre-trained Schaal: Fine-tuning wordt uitgevoerd op Mamba-130M (24 lagen) en Pythia-160M/410M (12/24 lagen).
Metingen:
- Lineaire Probing: Het trainen van logistische regressie-classifiers op bevroren verborgen toestanden om de leesbaarheid van de toestand op elke laag te meten.
- Causale Interventies: Zero-ablatie (het projecteren van probe-richtingen uit) en subspace-ablatie (het verwijderen van de top PCA of singuliere richtingen) om functionele noodzakelijkheid te testen.
- OOD Generalisatie: Het toepassen van ablaties getraind bij $L=40$ op ongeziene lengtes ( $L=80, 100, 120$ ).
- Component Attributie: Het ableren van de Conv1D-component van Mamba onder een gematchte pure-PyTorch backend om de bijdrage ervan over taken heen te isoleren.
- Activatie Patching: Het patchen van mid-position activaties in getrainde Mamba van schone inputs naar gecorrumpeerde inputs om de logit-recovery te meten.

Belangrijkste Bijdragen

Taakafhankelijke Omkering: Het paper demonstreert dat het "geconcentreerd laat" versus "gedistribueerde opbouw" patroon geen architecturale invariant is. Het keert om afhankelijk van de taak:
- Prefix-Update Taken (Parity, $S_3$ ): Recurrente modellen en SSM's concentreren de leesbare toestand in de laatste laag, terwijl Transformers deze geleidelijk over de lagen opbouwen.
- Bounded Stack-Tracking (Dyck): Het patroon keert om. Transformers bereiken bijna perfecte leesbaarheid onmiddellijk (vroege lagen), terwijl recurrente modellen en SSM's de representatie progressief opbouwen.
Ontrafeling van Algebra en Computatie: Door de niet-commutatieve $S_3$ taak te introduceren, tonen de auteurs aan dat het encoderingsprofiel de computationele structuur volgt (prefix update versus stack) in plaats van de algebraïsche structuur (commutativiteit). $S_3$ groepeert met Parity over alle architecturen heen, wat de hypothese weerlegt dat commutativiteit de primaire drijfveer is van het encoderingsprofiel.
Ontkoppeling van Leesbaarheid en Causaliteit: De studie onthult dat de laag waar de toestand het meest lineair leesbaar is (beste probe-laag) niet altijd samenvalt met de laag die causaal noodzakelijk is voor de taak. Deze ontkoppeling is bijzonder uitgesproken in pre-trained modellen, waar representaties meer redundant en gedistribueerd zijn.
Component-niveau Taafhankelijkheid: Zelfs binnen een enkele architectuur (Mamba) varieert het belang van specifieke componenten per taak. Bijvoorbeeld, de Conv1D component is cruciaal voor $S_3$ en Parity maar heeft geen significant effect op de Dyck-prestaties, wat het idee van een enkel "mechanisme" voor een architectuur uitdaagt.

Belangrijkste Resultaten

Gedragsniveau: Recurrente baselines generaliseren perfect op Parity en $S_3$ en presteren beter dan SSM's en Transformers op Dyck. De $S_3$ prestatievolgorde (Recurrent > SSM > Transformer) weerspiegelt Parity, niet Dyck.
Probing Profielen:
- Parity/ $S_3$ : Mamba en LSTM's vertonen een scherpe sprong in probe-nauwkeurigheid bij de laatste laag ( $L_3$ in 4-laagse modellen). Transformers vertonen een geleidelijke toename van $L_1$ tot $L_3$ .
- Dyck: Transformers bereiken een hoge nauwkeurigheid bij $L_0$ of $L_1$ . Mamba en LSTM's vertonen een geleidelijke toename en bereiken verzadiging pas bij latere lagen.
- $S_3$ Bevestiging: $S_3$ volgt het Parity-profiel (late concentratie voor RNN's/SSM's, geleidelijke opbouw voor Transformers), wat de computationele structuur hypothese bevestigt.
Causale Interventies:
- In 4-laagse formele modellen veroorzaakt de ablatie van de beste probe-richting significante nauwkeurigheidsdalingen, en deze richtingen blijven noodzakelijk bij langere sequenties (OOD).
- In Pre-trained Modellen treedt een splitsing op:
  - Pythia (Dyck): Er bestaat een sterke midden-laag bottleneck (ablatie bij $L_6$ – $L_7$ verlaagt de nauwkeurigheid met ~81% bij 160M). De beste probe-laag ( $L_{11}$ ) is niet de meest causaal kritieke.
  - Mamba (Parity/Dyck/ $S_3$ ): De laatste laag is zeer leesbaar, maar ablatie van een enkele richting veroorzaakt verwaarloosbare dalingen (<0.2%). Echter, mid-position activatie patching bij de laatste laag herstelt ~97–98% van de logit-gap, wat aangeeft dat de toestand voldoende is maar gedistribueerd is over veel richtingen, en niet door een enkele lineaire probe wordt gevangen.
Conv1D Attributie: Het verwijderen van Conv1D uit Mamba veroorzaakt een grote daling op $S_3$ (-12.64 pp) en Parity (-6.83 pp), maar geen significante daling op Dyck (+4.04 pp, niet significant). Dit geeft aan dat component-belang taafafhankelijk is.

Betekenis en Claims

Het paper betoogt dat de vraag "hoe codeert architectuur X de toestand?" incompleet is zonder de computationele structuur van de taak te specificeren. De auteurs stellen dat:

Mechanistische signatures zijn gezamenlijke eigenschappen: Toestandscoderingsstrategieën zijn geen vaste architecturale kenmerken, maar ontstaan uit de interactie tussen de inductieve biases van het model en de computationele vereisten van de taak (prefix update versus stack).
Methodologische voorzichtigheid: Het extrapoleren van mechanistische bevindingen uit één taakregime (bijv. prefix updates) naar een ander (bijv. bounded stack tracking) brengt het risico met zich mee dat taakspecifieke signatures worden aangezien voor architecturale invarianten.
Leesbaarheid versus Causaliteit: Probing identificeert waar informatie lineair beschikbaar is, maar dit mapt niet altijd naar waar de computation wordt gebottlenecked, vooral in grote pre-trained modellen waar redundantie hoog is.
Algebra versus Computatie: In de context van deze formele taken is de computationele structuur (sequentiële prefix update versus hiërarchische stack) een betere voorspeller van laagspecifieke encoderingsprofielen dan algebraïsche eigenschappen zoals commutativiteit.

De auteurs concluderen dat hun bevindingen standhouden over formele taken, pre-trained schalen (tot 410M parameters) en semi-reële code-benchmarks, wat wijst op een robuuste interactie tussen architectuur en taakstructuur in sequentiemodellering.