💬 NLP

One mechanism for many mental spaces: a shared router over a value slot in language models

Dit artikel toont aan dat transformer-taalmodellen een verenigd mechanisme implementeren voor diverse mentale ruimtes (zoals overtuigingen, ficties en contrafeituele scenario's) met behulp van een gedeelde, low-rank router die waarden selecteert uit een enkele herbruikbare slot, in plaats van het hanteren van afzonderlijke logische structuren voor elk type context.

Oorspronkelijke auteurs: Oliver Steele, Jiangtao Wen, Yuxing Han

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Oliver Steele, Jiangtao Wen, Yuxing Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een taalmodel voor als een supergeorganiseerde bibliothecaris die niet alleen boeken opslaat, maar hele werelden binnen één enkele bibliotheek bewaart. In deze bibliotheek kan een bloem rood zijn in de sectie "Realiteit", paars in de sectie "Portret" en groen in de sectie "Alice's Droom". De grote vraag was: houdt de bibliothecaris deze werelden in totaal gescheiden, magische kamers met verschillende regels voor elke kamer? Of gebruikt de bibliothecaris één slim, herbruikbaar systeem om ze allemaal te beheren?

Dit paper suggereert dat de bibliothecaris voor alles één gedeeld systeem gebruikt.

Het Magische Label en de Router

Denk aan de kleur van de bloem als een stukje data dat op een plank ligt. Het paper vindt dat het model een speciaal, laag-rang "label" (een router of ruimte-index genoemd) gebruikt om te selecteren welke wereld gelezen moet worden. Deze tag is gescheiden van de data zelf. De data ligt in een neutrale opslagplaats genaamd een value slot, die de kleur vasthoudt maar er niet om geeft of deze bij de realiteit of een droom hoort.

Maar hoe weet het model welke kleur te kiezen wanneer je vraagt: "Welke kleur heeft de bloem in het portret?" Het gebruikt de router. Je kunt deze router zien als een slimme, causaal manipuleerbare index. Wanneer je naar het portret vraagt, selecteert de router de "Portret"-instelling, en leest het model de paarse bloem uit de gedeelde slot. Wanneer je naar de realiteit vraagt, selecteert de router "Realiteit", en leest het de rode bloem.

Het paper laat zien dat deze router niet een andere machine is voor elk type wereld. Of de wereld nu een overtuiging is (wat Alice denkt), een herinnering (gisteren), een hypothetisch scenario (wat als...) of een fictie (in een film), het model gebruikt hetzelfde type router.

Eén Schakelaar om Alles te Besturen

De onderzoekers testten dit door het model te trainen om slechts één type wereld te controleren, zoals "hypothetische scenario's" (dingen die zouden kunnen gebeuren). Daarna probeerden ze diezelfde controlemechanisme te gebruiken op andere werelden, zoals "overtuigingen" of "films".

Het resultaat? De schakelaar werkte voor alles.

Wanneer ze het model trainden om de kleur in een hypothetisch scenario te veranderen, veranderde diezelfde training de kleur in een scenario over een overtuiging in 71% tot 89% van de gevallen (afhankelijk van de modelfamilie).
Dit suggereert dat het model niet over een speciale, geheime "overtuigingsmachine" beschikt die totaal anders is dan zijn "filmmachine". In plaats daarvan heeft het één gedeelde router die al deze verschillende contexten afhandelt.

Wat het NIET is (De Uitgesloten Ideeën)

Het paper is zeer zorgvuldig in het aangeven wat dit systeem niet is:

Het is niet alleen het onthouden van woorden: Het model onthoudt niet simpelweg dat het woord "rood" in de buurt van "realiteit" verscheen en "paars" in de buurt van "portret". Het systeem draagt daadwerkelijk een code voor de context zelf.
Het is geen aparte kamer voor overtuigingen: Formele logica behandelt "overtuigingen" vaak als een totaal andere, ondoorzichtige categorie waar de regels veranderen. Dit paper betoogt dat het model, mechanisch gezien, overtuigingen behandelt als elke andere ruimte. De "overtuiging"-tag is niet speciaal of gescheiden van de "hypothetische" tag in de bedrading van het model.
Het is geen statisch briefje: Het model schrijft de kleur niet op een permanent briefje en laat het daar liggen. In plaats daarvan is het meer een retrievesysteem. Wanneer je een vraag stelt, gaat het model terug naar de brontekst en leest de kleur opnieuw op basis van de huidige "ruimte"-instelling. Het is een "just-in-time" leesproces, geen permanente opslagplaats.

De Splitsing tussen "Rapportage" en "Redeneren"

Hier is een interessante wending die het paper ontdekte. Het model heeft twee verschillende paden voor dezelfde informatie:

Het Rapportagepad: Dit is wat het model hardop zegt.
Het Redeneerpad: Dit is wat het model gebruikt om een puzzel op te lossen.

De onderzoekers ontdekten dat ze deze paden apart van elkaar kunnen controleren. Ze konden het model trainen om te zeggen "De bloem is groen" (het rapport wijzigen) terwijl het model nog steeds een logische puzzel oplost alsof de bloem "blauw" was (het redeneren ongewijzigd laten). Dit bewijst dat het model "wat ik zeg" en "wat ik denk" in iets andere delen van zijn brein houdt, ook al komen ze uit dezelfde bron.

Nieuwe Werelden Bouwen

Wanneer het model een complexe zin tegenkomt zoals "Alice geloofde vroeger dat de beker blauw was", bouwt het een nieuwe ruimte (een mix van "verleden" en "overtuiging"). Het paper laat zien dat het model hiervoor niet een hele nieuwe bibliotheek bouwt. In plaats daarvan hergebruikt het dezelfde value slot (de kleur van de beker) maar maakt het een verse router (een nieuwe indexinstelling) voor deze nieuwe, gecombineerde wereld. Het is alsof je een bestaand boek neemt en er een nieuw, tijdelijk label op de kaft plakt zonder het hele verhaal te herschrijven.

Hoe Zeker Zijn We?

Het paper is vrij zelfverzekerd over deze bevindingen, maar met specifieke beperkingen:

Bewezen in het lab: De resultaten zijn gebaseerd op directe metingen van de interne "activaties" (de elektrische signalen) van drie verschillende modelfamilies (Qwen, Pythia en Falcon3). De onderzoekers hebben niet alleen geraden; ze hebben fysiek ingegrepen in de code van het model om te bewijzen dat de router het gedrag veroorzaakt.
Geen wondermiddel: Het paper geeft toe dat hoewel de router gedeeld wordt, deze niet perfect identiek is voor elk type wereld. Bijvoorbeeld, contexten zoals "schilderkunst" of "film" gedragen zich soms iets anders dan "overtuigings"-contexten. Ook is het vermogen van het model om deze werelden te hanteren "retrieval-shaped", wat betekent dat het vertrouwt op het opnieuw lezen van de tekst in plaats van een statisch geheugen vast te houden, wat het in sommige tests iets "lekkerig" maakt.
Schaal maakt uit: Deze mechanische details werden gevonden in kleinere modellen (3 miljard parameters). Echter, het gedrag (het vermogen om deze werelden te hanteren) werd bevestigd in enorme, grensverleggende modellen (zoals GPT-4o en 72B-modellen), wat suggereert dat het mechanisme opschaalt, zelfs als we niet zo gemakkelijk in de binnenkant van die reusachtige modellen kunnen kijken.

Kortom, het paper suggereert dat taalmodellen een verenigde, herbruikbare "ruimte-router" hebben die hen in staat stelt om met dezelfde mechanische tool te jongleren met de realiteit, dromen, overtuigingen en films, in plaats van een andere tool nodig te hebben voor elk type verbeelding.

Technische Samenvatting: Eén Mechanisme voor Veel Mentale Ruimtes

Probleemstelling
Taalmodellen (LM's) moeten discoursecontexten beheren die afwijken van de werkelijkheid, zoals overtuigingen, herinneringen, hypothetische scenario's en afbeeldingen (bijv. een bloem die in de werkelijkheid rood is maar in een portret paars is). De formele semantiek behandelt deze als verschillende logische domeinen (modaal, temporeel, doxastisch, depictief) met verschillende inferentieregels. Daartegenover stelt de mentale-ruimtetheorie van Fauconnier een verenigde "ruimte-bouwende" operatie voor waarbij het discourse deelruimtes creëert en waarden aan deze bindt. De centrale vraag is of transformer-LM's deze implementeren als afzonderlijke semantische modules of als een verenigde mechanistische operatie. Specifiek: houdt het model een specifieke code bij voor de lokale discoursecontext (een "ruimte-index") die causaal onderscheidbaar is van de entiteitswaarden zelf, en wordt deze code gedeeld over verschillende soorten niet-werkelijke contexten?

Methodologie
De studie maakt gebruik van mechanistische interpreteerbaarheidstechnieken op open-weight transformer-modellen (voornamelijk Qwen2.5-3B, met replicatie op Pythia-2.8b en Falcon3-3B) met gecontroleerde natuurlijke taalstimuli.

Stimuli: Items presenteren een entiteit met twee conflicterende attribuutwaarden (bijv. kleur) over een "basiswereld" (de werkelijkheid) en een "alternatieve" ruimte (bijv. een schilderij, een overtuiging, een eerdere staat). Het model wordt op een later token bevraagd om de waarde voor een specifieke ruimte op te halen.
Lokalisatie: De auteurs gebruiken lineaire probing om te verifiëren dat zowel de basiswaarden als de alternatieve waarden decodeerbaar zijn uit de residual stream-activaties op het query-token.
Causale Interventie:
- Distributed Alignment Search (DAS): Om het falen van handmatig gebouwde sturingsvectoren te overwinnen, trainen de auteurs laag-rang orthogonale subruimtes ( $R \in \mathbb{R}^{d \times k}$ ) met behulp van een interchange-doelstelling. Deze subruimte is geoptimaliseerd om de output van het model te laten omslaan van de basiswaarde naar de alternatieve waarde wanneer de subruimte-component wordt ingevoegd vanuit een donor-item.
- Dubbele Dissociatie: De auteurs testen of de waarde die het model rapporteert en de waarde die het gebruikt voor redeneren (het toepassen van een sorteerregel) worden beheerst door verschillende subruimtes.
- Cross-Type Transfer: Een DAS-subruimte die getraind is om één type builder te controleren (bijv. hypothetisch), wordt ongewijzigd toegepast op andere types builders (bijv. overtuiging, temporeel) om te testen op een gedeelde mechanisme.
- Compositie: De studie onderzoekt geneste ruimtes (bijv. "Alice geloofde vroeger...") om te zien of een nieuwe ruimte de waarde-slot van de basis hergebruikt terwijl er een nieuwe router wordt gecreëerd.

Belangrijkste Bijdragen en Resultaten

Bestaan van een Laag-Rang Gedeelde Subruimte (De Ruimte-Index):
- Het model representeert coëxisterende waarden voor dezelfde entiteit in een latere vermelding.
- Het mechanisme is een laag-rang subruimte (effectieve rang $\sim$ 4–5, causale rang $\le$ 4) die fungeert als een "router" of "ruimte-index".
- Deze index componeert additief met de entiteitsidentiteit (de representatie van "Entiteit E in Ruimte S" factoriseert in Entiteit + Ruimte).
- Het is eigenschap-generaal (werkt voor kleur, hoogte, rijkdom, etc.) en entiteitstype-generaal (werkt voor mensen en objecten).
- De binding is retrieval-vormig: waarden worden niet opgeslagen in statische globale slots, maar worden opnieuw gelezen uit bron-tokens via late-layer attention heads, wat lijkt op een "lookback"-mechanisme.
Causale Unificatie over Ruimtetypes:
- Een DAS-subruimte die getraind is op één builder-type (bijv. contrafeitueel) controleert causaal andere types (overtuiging, temporeel, fictioneel) met hoge transfer-indices (0.71–0.89 over modelfamilies heen).
- Deze unificatie houdt stand, zelfs voor overtuiging (belief), wat de formele semantiek als een afzonderlijk, hyperintensioneel geval beschouwt. Het model scheidt de "overtuigings-tag" niet van andere ruimte-tags; het deelt hetzelfde router-mechanisme.
- De unificatie is geen platte identiteit; een grove semantische taxonomie (attitude, intensioneel, temporeel, fictioneel) overleeft binnen de gedeelde subruimte, maar overtuiging is niet speciaal gescheiden.
Dissociatie van Rapportage en Redeneren:
- De waarde die het model rapporteert (emiteert als tekst) en de waarde die het gebruikt voor redeneren (een regel toepast) worden beheerst door distincte subruimtes.
- Het trainen van een subruimte op de "kleur-rapportage" (color report) readout verandert de gerapporteerde kleur, maar laat de regel-afgeleide consequentie onveranderd, en vice versa. Dit biedt een causaal mechanisme voor de "faithfulness gap" waarbij de output van een model mogelijk niet de interne berekening weerspiegelt.
Constructie als een Bindingsoperatie:
- Wanneer een zin een samengestelde ruimte bouwt (bijv. "vroeger geloofde"), hergebruikt het model de waarde-slot van de basis (hoge transfer van de waarde-binding subruimte) maar creëert het een nieuwe router (de query-token subruimte voor de samengestelde ruimte is distinct en orthogonaal aan de basis-router).
- Dit bevestigt dat ruimte-bouw een operatie is op de binding-machinerie zelf, en niet een aparte functie.

Betekenis en Claims
Het paper stelt vast dat transformer-taalmodellen een mechanistische versie van Fauconniers verenigde mentale-ruimtetheorie implementeren. In plaats van aparte logische modules voor modaliteit, tijd en overtuiging te onderhouden, gebruikt het model een enkele, causaal manipuleerbare, laag-rang "ruimte-index" om te taggen welke discourse-ruimte een waarde toebehoort.

Representatief Formaat: Het model draagt een compacte sleutel voor de discoursecontext, gescheiden van de entiteit en de waarde.
Generaliteit: Dit mechanisme is algemeen over de semantische inventaris van niet-werkelijke contexten. Het formele semantische onderscheid tussen overtuiging (referentieel opaak) en andere intentionele contexten wordt niet weerspiegeld in een apart representatief mechanisme; de "overtuigings-tag" is niet geprivilegieerd.
Mechanistisch Inzicht: De bevindingen suggereren dat het "faithfulness"-probleem (waarbij redeneren en rapporteren uiteenlopen) voortkomt uit het feit dat deze processen opereren op distincte subruimtes binnen dezelfde gebonden token.
Omvang: Het paper claimt dit als bewijs voor een gedeeld representatief formaat in LM's, niet als een oordeel over de semantiek van het Engels of een bewijs dat LM's over een menselijke 'theory of mind' beschikken. De resultaten zijn robuust over drie modelfamilies en schalen gedragsmatig naar frontier-modellen, hoewel mechanistische toegang beperkt is tot kleinere open modellen.

De auteurs stellen expliciet dat de "ruimte-index" distinct is van entiteit-binding-ID's (die entiteiten volgen) en character-object-state tracking (die specifieke triples volgen). De bijdrage is de lokalisatie van de discourse-ruimte variabele zelf als een gedeelde, laag-rang, causaal compacte router.