Technische Samenvatting: Geloof of Schakeling? Causaal Bewijs voor In-Context Grafenleren

1. Probleemstelling

Het artikel behandelt een fundamenteel debat in de mechanistische interpretabiliteit over hoe Large Language Models (LLM's) in-context learning (ICL) uitvoeren. Specifiek onderzoekt het of LLM's latente structurele relaties afleiden (een "geloof"-mechanisme dat vergelijkbaar is met Bayesiaanse inferentie over wereldmodellen) of simpelweg recente lokale overgangen kopiëren via induktieschakelingen (een "schakeling"-mechanisme).

Hoewel recent werk (Park et al., 2025) suggereerde dat LLM's impliciete probabilistische wereldmodellen over grafstructuren handhaven, stellen tegenargumenten (Arditi, 2026; Ransome, 2026) dat de waargenomen gedragingen volledig kunnen worden verklaard door lokale induktiekoppen die overgangstatistieken accumuleren zonder inferentie van een globale structuur. De auteurs beogen dit debat te trianguleren met behulp van een gecontroleerde toy-taak die betrekking heeft op willekeurige wandelingen op concurrerende grafstructuren.

2. Methodologie

Het onderzoek hanteert een veelzijdige aanpak die gedragsmodellering, representatieanalyse en causale interventies op het Llama-3.1-8B-model combineert.

2.1. Taakontwerp

De auteurs maken gebruik van een graf-willekeurige-wandelings-taak waarbij het model de volgende knoop in een reeks voorspelt die is gegenereerd door een onbekende graf. Twee concurrerende hypothesen worden getoetst:

• $H_{grid}$: Een $4\times4$ roostergaf (16 knopen, 24 randen, variabele graad).
• $H_{ring}$: Een ringgraf met 16 knopen (16 randen, uniforme graad).

Om een echte competitie te creëren, interleave de auteurs willekeurige wandelingen van beide grafen bij gecontroleerde mengverhoudingen ($\rho$), waarbij $\rho$ de waarschijnlijkheid voorstelt dat een segment uit de ring wordt getrokken.

2.2. Gedragsmodellering (Experiment 1)

De auteurs passen een geloof-dynamiekmodel toe op waargenomen nauwkeurigheidscurves. In tegenstelling tot eerdere benaderingen met een vlakke log-prior, introduceren ze een complexiteit-gewogen prior:
$$b_k = b_0 - \lambda \cdot C(H_k)$$
Waarbij $C(H_k)$ de Minimum Description Length (MDL)-complexiteit van de grafhypothese is (gebaseerd op codering van de randenlijst).

• Hypothese: Als het model structurele inferentie uitvoert, zou het meer bewijs nodig hebben om zich te committeren aan de complexere graf ($H_{grid}$), wat resulteert in $\hat{\lambda} > 0$.
• Contrast: Pure induktieschakelingen zouden overgangstatistieken uniform accumuleren, ongeacht de globale topologie, wat voorspelt dat $\hat{\lambda} \approx 0$.

2.3. Representatieanalyse (Experiment 2)

De auteurs analyseren de activaties van de residual stream (specifiek laag 26) met behulp van Principal Component Analysis (PCA).

• Methode: Ze meten de graad-genormaliseerde Dirichlet-energie ($E_{norm}$) om te kwantificeren hoe goed de laag-dimensionale geometrie van knoop-tokenrepresentaties overeenkomt met de ware grafadjacentiestructuur.
• Doel: Bepalen of beide graf-topologieën gelijktijdig herstelbaar zijn in orthogonale deelruimten bij gemengde verhoudingen, een kenmerk dat onverenigbaar is met een enkele samengevoegde representatie van lokaal kopiëren.

2.4. Causale Interventies (Experiment 3)

Om causaliteit tussen interne representaties en voorspellingen vast te stellen, voeren de auteurs twee interventies uit:

1. Activatie Patching: Vervanging van residual stream-activaties van een "corrupte" (gemengde) prompt door die van een "schone" (enkel-graf) prompt op specifieke lagen. Ze meten het herstel van de voorkeur voor de schone graf met behulp van een logit-contrastscore.
2. Activatie Steering: Toevoegen van een geleerde "graf-verschilvector" (afgeleid van schone versus ring-contexts) aan de residual stream om voorspellingen te verschuiven naar een specifieke graf-familie.

3. Belangrijkste Resultaten

3.1. Gedragsbewijs

• Complexiteitsgevoeligheid: Het gefitte model toont $\hat{\lambda} > 0$ en $\hat{b}_{grid} < \hat{b}_{ring}$. Het model vereist onevenredig meer context om zich te committeren aan de dichtere roostertopologie in vergelijking met de ring.
• Faseovergang: Het inflectiepunt voor het rooster verschuift monotoon later naarmate ringbewijs toeneemt.
• Modelselectie: Een per-graf parametrisatie (die onderscheiden dynamiek toestaat voor elke graf) presteert significant beter dan een mixture-bias ablatie (die alleen de prior aanpast) op AIC- en BIC-metrieken. Dit suggereert dat het model structureel bewijs anders verwerkt voor elke topologie, niet slechts via een statische prior.

3.2. Representatiebewijs

• Orthogonale deelruimten: Bij gemengde verhoudingen ($\rho = 0.5$) onthult PCA dat zowel de rooster- als de ringtopologie gelijktijdig worden gecodeerd in orthogonale hoofddeelruimten.
• Implicatie: Een puur lokale induktiemechanisme zou een enkele samengevoegde representatie van co-occurrence-statistieken produceren. Het bestaan van twee gescheiden globale structuren weerlegt de "alleen-kopiëren"-hypothese.
• Geometrie-uitlijning: Naarmate de contextlengte toeneemt voorbij het inflectiepunt, weerspiegelt de interne geometrie progressief de ware topologie, waarbij $E_{norm}$ verschuift van 0,785 naar 0,828.

3.3. Causaal Bewijs

• Patch-overdracht: Late-laag patching (rond laag 26–30) overdraagt de voorkeur voor de schone graf bijna volledig naar de corrupte prompt. Cruciaal, dit effect strekt zich uit tot gehouden-rand-edges (buren die nooit zijn gezien in de corrupte context), wat aangeeft dat het model niet enkel waargenomen overgangen afspeelt, maar een structurele representatie gebruikt.
• Steering: Lineaire steering met behulp van de graf-verschilvector verplaatst voorspellingen succesvol in de beoogde richting. Dit effect is robuust tegen norm-gematchte willekeurige vectoren en controles met geschudde labels, wat bevestigt dat de richting specifiek is voor het signaal van de graf-familie.

4. Bijdragen

1. Complexiteit-gewogen Prior: Vervanging van vlakke priors door een MDL-geïnspireerde complexiteitsmaat, waardoor een kwantitatief kenmerk van topologie-gevoelige structurele bias wordt hersteld ($\hat{\lambda} > 0$).
2. Interleaved Competitie: Aantonen dat topologie-biased bewijsaccumulatie standhoudt tegen de voorspelling van de induktieschakeling van symmetrisch gedrag in een regime met gemengde hypothesen.
3. Gelijktijdige Codering: Verschaffen van PCA-bewijs dat onderscheiden globale graf-topologieën gelijktijdig herstelbaar zijn in orthogonale deelruimten, een patroon dat moeilijk te verenigen is met lokaal kopiëren van overgangen.
4. Causaal Verband: Via patching en steering vaststellen dat deze representatiestructuren causaal de volgende-token-voorspellingen controleren, inclusief voor ongezette overgangen.

5. Betekenis en Conclusie

Het artikel concludeert dat de dichotomie tussen "geloof" (globale structuur-inferentie) en "schakeling" (lokale induktie) waarschijnlijk een valse dichotomie is. Het bewijs ondersteunt een dubbel-mechanisme account:

• Induktie-achtige caches blijven belangrijk, zoals blijkt uit vertraagde effecten op gehouden-rand-edges en onvolledig herstel onder steering.
• Latente-structuur representaties opereren parallel, en integreren bewijs voordat de uiteindelijke voorspelling wordt gedaan.

De auteurs stellen dat de architectuur van dit co-existentie – waar echte structuur-inferentie en induktieschakelingen gelijktijdig opereren – de primaire uitdaging is voor mechanistische interpretabiliteit in de toekomst. Ze claimen niet dat LLM's volledig menselijk redeneren bezitten, maar eerder dat ze impliciete, manipuleerbare probabilistische wereldmodellen handhaven naast lokale patroonherkenningsmechanismen.