One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer

Technische Samenvatting: Één Model, Twee Rollen: Emergente Specialisatie in een Gedeelde Recurrente Transformer

Probleemstelling
Het artikel onderzoekt of een enkel, gedeelde-weights recurrente Transformer onderscheidende interne computationele rollen kan ontwikkelen voor twee latente toestanden zonder te worden opgesplitst in aparte parametermodules. Waar eerdere werken zoals HRM (Hierarchical Reasoning Model) gebruikmaken van aparte netwerken voor verschillende latente toestanden en TRM (Transformer Reasoning Model) een enkel gedeeld netwerk gebruikt, blijft het onduidelijk of een gedeeld model spontaan kan specialiseren in onderscheidende functionele rollen (bijvoorbeeld een "voorstel"-toestand versus een "verfijning"-toestand) wanneer het wordt voorzien van een stabiel signaal dat de update-types onderscheidt. De centrale vraag is of specialisatie structurele modulariteit (afzonderlijke parameters) vereist, of dat het kan ontstaan uit functionele differentiatie gedreven door een duidelijk staat-identiteitssignaal binnen een monolithische gedeelde architectuur.

Methodologie: Asymmetrische Input Recurrentie (AIR)
Om dit aan te pakken, introduceren de auteurs Asymmetrische Input Recurrentie (AIR), een minimaal testbed afgeleid van HRM en TRM.

• Architectuur: AIR handhaaft twee latente toestanden, $z_H$ (hoog-niveau) en $z_L$ (laag-niveau), die worden bijgewerkt door een enkel gedeeld Transformer-model $f(\cdot; \theta)$.
• Bijwerkmechanisme: De recurrentie volgt een patroon van verweven sub-stappen (bijvoorbeeld $L, L, H, L, L, H$). De kritieke asymmetrie ligt in de injectie van de input:
  • L-updates: De gecodeerde input $\tilde{x}$ wordt geïnjecteerd in de bijwerkregel ($z_L \leftarrow f(z_L + z_H + \alpha_L \tilde{x})$).
  • H-updates: De gecodeerde input wordt niet geïnjecteerd ($z_H \leftarrow f(z_H + z_L + \alpha_H \tilde{x})$ met $\alpha_H=0$).
• Training: Het model wordt getraind met één-stap afgekapt gradiënten (backpropagatie alleen door de laatste L- en H-updates van een cyclus) op twee synthetische redeneertaken: Sudoku-Extreme (9x9 puzzels) en Maze (30x30 roosters).
• Analyse: De auteurs maken gebruik van verschillende technieken om het model te onderzoeken:
  • Gedecodeerde Rollouts: Visualiseren van tussenliggende toestanden om compromisseniveau's waar te nemen.
  • Freeze-experimenten: Bevriezen van één staat om inhoudswijzigingen in de andere te meten.
  • Ablaties: Testen van symmetrische input-injectie (verwijderen van de asymmetrie) en alternatieve staat-identiteitssignalen (niveau-tokens).
  • Mechanistische Analyse: Analyseren van aandachtspatronen (lokaliteit versus globaliteit) en gevoeligheid voor schendingen.

Belangrijkste Bijdragen en Resultaten

1. Bestaan van Functionele Specialisatie:
   Gedecodeerde rollouts onthullen een stabiele, emergente splitsing in het gedrag van het gedeelde model:

   • $z_H$ (Hoog-niveau): Gedraagt zich als een "volledig vastgelegde voorstel-toestand". Het decodeert naar een complete kandidaatoplossing bij elke sub-stap, zelfs als deze onjuist is.
   • $z_L$ (Laag-niveau): Gedraagt zich als een "schuivend-compromis kladblok". Het behoudt lokale onzekerheid, met onbesliste posities (BLANK in Sudoku, PAD in Maze) die verschuiven over de sub-stappen.
   • Controle: In symmetrische varianten (waarbij beide toestanden identieke input-injectie ontvangen) verdwijnt deze onderscheidende rolverdeling bijna volledig, wat bevestigt dat de specialisatie niet inherent is aan het hebben van twee toestanden, maar afhankelijk is van het vermogen om update-types te onderscheiden.

2. Staat-Identiteitssignaal Induceert Specialisatie:
   Het artikel toont aan dat het gedeelde model een betrouwbaar signaal nodig heeft om update-types te onderscheiden om specialisatie te induceren.

   • Input Asymmetrie: Asymmetrische input-injectie ($\Delta > 0$) verbetert de nauwkeurigheid aanzienlijk (bijvoorbeeld ~59% op Sudoku versus ~51% voor symmetrische varianten).
   • Niveau Tokens: De auteurs testten alternatieve signalen met behulp van geleerde niveau-tokens. Alleen een "prepend-and-strip"-strategie (waarbij een token wordt toegevoegd, naar wordt geattendeerd en vervolgens verwijderd) slaagde erin het prestatieverschil te herstellen. Eenvoudige elementsgewijze optelling of persistente tokens faalden, wat suggereert dat het signaal structureel scheidbaar moet zijn en niet gemengd mag worden met inhoudstokens.
   • Enkel-Toestand Ablatie: Een enkel-toestand model met periodieke input-injectie slaagde er niet in de prestaties van het twee-toestand asymmetrische model te evenaren, wat aangeeft dat aparte geheugenbuffers noodzakelijk zijn voor stabiele specialisatie.

3. Interdependente Staatdynamiek:
   Freeze-experimenten onthullen een specifiek verband tussen de twee toestanden:

   • Sudoku: Het bevriezen van $z_H$ onderdrukt de activiteit van $z_L$ (vermindering van inhoudswijzigingen), terwijl het bevriezen van $z_L$ de activiteit van $z_H$ verhoogt.
   • Maze: Het bevriezen van een van beide toestanden verhoogt de inhoudswijzigingen in de andere.
   • Symmetrische Controle: Symmetrische modellen missen dit georganiseerde, rol-consistente interactiepatroon en vertonen verstoreingsgevoelige maar ongestructureerde reacties.

4. Mechanistisch Bewijs (Aandachtsanalyse):
   Aandachtsanalyse bevestigt de functionele splitsing:

   • Lokaliteit: $L$-updates attenderen consistent meer lokaal (op directe omgevingen) dan $H$-updates, die meer globale aandacht vertonen.
   • Schendingsgevoeligheid: Bij Sudoku tonen diepere lagen van $L$-updates specifieke aandachtsweging naar geschonden beperkingen, een signaal dat niet wordt waargenomen bij $H$-updates of in de Maze-taak.

Betekenis en Claims
Het artikel beweert dat expliciete parametermodulariteit (afzonderlijke netwerken) niet strikt noodzakelijk is voor functionele specialisatie in recurrent redeneren. In plaats daarvan is een duidelijk staat-identiteitssignaal – geleverd via asymmetrische input-injectie of een structureel scheidbaar niveau-token – voldoende om stabiele, gerelateerde functionele rollen binnen een gedeelde-parameters recurrente Transformer te induceren.

De auteurs positioneren dit werk als fundamenteel onderzoek naar de inductieve bias van kleine recurrente redeneersystemen. Zij benadrukken dat hun conclusies zijn getrokken uit gecontroleerde synthetische omgevingen (Sudoku en Maze) en geen universaliteit claimen voor natuurlijke taal of gedeeltelijke waarneembaarheid. De primaire bijdrage is het aantonen dat "één model, twee rollen" een levensvatbaar paradigma is voor efficiënte redeneerarchitecturen, mits het model het computationele context van zijn updates kan onderscheiden.