Represented Is Not Computed: A Causal Test of Candidate Algorithmic Intermediates in a Transformer

Dit artikel toont aan dat, hoewel lineaire probes suggereren dat een Transformer die is getraind op basiscijferextractie gestage rekenkundige tussenstappen berekent, causale tests onthullen dat de werkelijke rekenroute afhangt van aparte invoerstromen die laat samenkomen, wat een aanzienlijke discrepantie benadrukt tussen representatieve bewijzen en causaal mechanisme.

De kern

Stel je een zeer slimme, maar mysterieuze robotkok voor. Je geeft hem een receptkaart met drie ingrediënten: een groot getal ($N$), een grondtal ($B$) en een specifiek "slot"-getal ($D$). De taak van de kok is om een specifiek cijfer uit het grote getal te achterhalen, maar pas nadat het is omgezet naar de "grondtal-taal".

Bijvoorbeeld, als het grote getal 255 is, het grondtal 16, en je vraagt om het 0e slot, moet de kok wat rekenwerk doen om je het antwoord te geven.

De onderzoekers in dit artikel wilden een kijkje nemen in het brein van de kok om te zien hoe hij dit raadsel oplost. Ze hadden een zeer specifieke theorie over hoe de kok zou moeten denken, en ze wilden zien of dat ook echt gebeurde.

Hier is het verhaal van wat ze vonden, opgesplitst in eenvoudige stappen:

1. De kok is een genie in deze taak

Eerst controleerden ze of de robot de taak daadwerkelijk kon uitvoeren. Ze trainden hem op duizenden voorbeelden en testten hem vervolgens op nieuwe, onbekende getallen.

• Het resultaat: De robot was bijna perfect (99,83% nauwkeurigheid). Hij wist precies welk antwoord hij moest geven. We weten dus dat hij het probleem kan oplossen.

2. De "blauwdruk"-theorie (Wat we dachten dat er gebeurde)

Het rekenprobleem heeft een duidelijke, stap-voor-stap oplossing (zoals een blauwdruk). Om het antwoord te krijgen, moet je theoretisch:

1. Een hulpgetal berekenen ($B^D$).
2. Het grote getal delen door dat hulpgetal.
3. Afronden naar beneden.
4. De rest nemen.

De onderzoekers dachten dat de robot waarschijnlijk deze blauwdruk volgde. Ze gebruikten een hulpmiddel genaamd een "Lineaire Proef" (denk hierbij aan een metaaldetector) om het brein van de robot te scannen.

• De bevinding: De metaaldetector piepte! Hij vond dat het brein van de robot inderdaad deze exacte getallen bevatte. Het "hulpgetal" en het "naar beneden afgeronde getal" waren duidelijk zichtbaar in de interne gedachten van de robot.
• De valstrik: Omdat ze deze getallen vonden, gingen ze ervan uit dat de robot ze gebruikte om het probleem op te lossen. Het leek erop dat de robot de blauwdruk perfect volgde.

3. De realiteitscheck (De causale test)

Hier wordt het artikel interessant. Het feit dat de robot de getallen in zijn brein heeft, betekent niet dat hij ze gebruikt om de beslissing te nemen.

Om uit te vinden wat de robot daadwerkelijk gebruikte, voerden de onderzoekers een "operatie" uit op het brein van de robot met twee methoden:

• Methode A: De dempknop (Ablatie)
  Ze probeerden specifieke delen van het brein "stom" te maken die de "hulpgetalen" naar het uiteindelijke antwoord moesten doorgeven.

  • Het resultaat: Verrassend genoeg deed het dempen van de delen die de complexe wiskunde bevatten, de robot weinig kwaad. Maar toen ze het allereerste deel dempten waar de robot naar het "slot-getal" ($D$) keek, vergat de robot direct hoe hij moest antwoorden. Het maakte niet uit of de complexe wiskunde er wel of niet was; de robot negeerde het.

• Methode B: De ruil (Patching)
  Ze namen een "donor"-robot die een ander "slot-getal" ($D$) had, maar hetzelfde grote getal en grondtal. Ze wisselden de hersensignalen van de donor in bij de oorspronkelijke robot.

  • Het resultaat: De oorspronkelijke robot gaf plotseling het antwoord van de donor. Maar dit gebeurde alleen als het slot-getal ($D$) anders was. Als ze het grote getal ($N$) of het grondtal ($B$) verwisselden, gaf de robot niets om.
  • De conclusie: De robot gebruikte de complexe wiskunde (de blauwdruk) niet om het antwoord te bepalen. Hij luisterde alleen direct naar het "slot-getal" ($D$).

4. De ontdekking van het "verborgen pad"

Tot slot mappeden ze het daadwerkelijke pad dat de informatie aflegde.

• Wat ze verwachtten: Een enkele, georganiseerde snelweg waar $N$, $B$ en $D$ allemaal samenkomen, worden gemengd in een complexe wiskundige formule, en vervolgens het antwoord produceren.
• Wat ze vonden: De robot heeft drie aparte, kleine wegen. Eén weg draagt het grote getal, één draagt het grondtal, en één draagt het slot-getal. Deze wegen blijven bijna de hele reis gescheiden. Ze komen pas op het allerlaatste moment bij elkaar, net voordat het antwoord wordt opgeschreven. De robot bouwde de complexe "hulpgetalen" niet op en gaf ze niet door; hij hield de ingrediënten gewoon gescheiden tot het allerlaatste moment.

De grote les: "Gerepresenteerd" is niet "Berekend"

De hoofdtitel van het artikel zegt het allemaal: "Gerepresenteerd is niet Berekend."

• Gerepresenteerd: Het brein van de robot bevatte de complexe wiskundige getallen. Als je in het brein keek, kon je ze duidelijk zien (zoals het vinden van een kaart in een rugzak).
• Berekend: De robot gebruikte die getallen niet om de auto te besturen. Hij nam een afkorting.

De analogie:
Stel je voor dat je naar een feestje rijdt. Je hebt een gedetailleerde, handgetekende kaart in je dashboardkastje die elke bocht, stoplicht en afkorting toont (de "gerepresenteerde" wiskunde).

• De proef: Je kijkt in het dashboardkastje en zegt: "Aha! Je hebt de kaart! Je moet de kaart gebruiken om te rijden!"
• De realiteit: Je hebt de route eigenlijk gewoon uit je hoofd geleerd en rijdt op instinct. Als je de kaart weghaalt, kom je er nog steeds. Als je de kaart verwisselt met die van iemand anders, geeft het je niets, omdat je er niet naar kijkt.

Samenvatting:
De robot loste het rekenprobleem perfect op, en hij "dacht" zelfs op een manier die leek alsof hij de regels volgde. Maar toen ze testten wat er daadwerkelijk de oorzaak was dat de robot het antwoord gaf, ontdekten ze dat hij de complexe stappen negeerde en direct reageerde op het specifieke "slot" waarvoor hij werd gevraagd.

Het artikel waarschuwt ons: Alleen omdat we een stukje informatie kunnen vinden binnen een neurale net, betekent dit niet dat het netwerk die informatie daadwerkelijk gebruikt om beslissingen te nemen. We moeten de oorzaak testen, niet alleen de inhoud bekijken.

Technische samenvatting

Technische Samenvatting: Gerepresenteerd is niet Gecalculeerd

Probleemstelling
Mechanistische interpretabiliteit streeft er naar te begrijpen hoe neurale netwerken taakrelevante componenten integreren om gestructureerde prompts op te lossen. In natuurlijke taal en visie zijn de interne relaties die voor deze integratie vereist zijn, zelden nauwkeurig genoeg gespecificeerd om een kandidaat-interne algoritme te definiëren. Dit artikel vult deze lacune aan door rekenkunde te gebruiken, specifiek extractie van cijfers in een grondtal, als een schonere setting waar de invoer-uitvoerfunctie bekend is en kandidaat-algoritmen expliciet kunnen worden gedefinieerd. De taak omvat een Transformer die een decimaal getal $N$, een grondtal $B$ en een cijferpositie $D$ ontvangt, en het coëfficiënt van $B^D$ in de grondtal-$B$-ontwikkeling van $N$ voorspelt. De gesloten-vorm oplossing is $y = \lfloor N/B^D \rfloor \mod B$.

De centrale vraag is of het model een "gefaseerd" algoritmisch hypothese implementeert die wordt gesuggereerd door deze gesloten-vorm oplossing: het berekenen van $B^D$, vervolgens $N/B^D$, het nemen van de floor, en tot slot reduceren modulo $B$. Specifiek onderzoeken de auteurs drie onderscheiden vragen die vaak in interpretabiliteit worden samengevoegd: (1) Kan het model de taak oplossen? (2) Worden de grootheden uit de gesloten-vorm oplossing binnen het netwerk gerepresenteerd? (3) Zijn die grootheden de causale tussenstappen die worden gebruikt om het antwoord te produceren?

Methodologie
De auteurs trainden decoder-only Transformers van 10 lagen vanaf nul op de taak van cijferextractie in een grondtal, gebruikmakend van drie verschillende willekeurige zaden. De trainingsdata omvatte $N \in \{0, \dots, 999\}$, $B \in \{2, \dots, 30\}$ en diverse cijferposities $D$. De modellen werden autoregressief geëvalueerd op vastgehouden doorsneden van getal-grondtalcombinaties om robuuste generalisatie te waarborgen in plaats van memorisatie.

Om de interne mechanismen te analyseren, hanteerde de studie een meerfasige aanpak:

1. Lineaire Probing: Lineaire uitlezers werden getraind op bevroren activaties om te testen of gesloten-vorm grootheden ($B^D$, $N/B^D$, $\lfloor N/B^D \rfloor$, en het uiteindelijke antwoord) lineair decodable waren uit de residustromen op verschillende lagen.
2. Attention Ablatie: De auteurs voerden gerichte ablaties uit op attentieroutes van de $D$-tokenstroom ($D_{ones}$) naar de outputstromen ($O[0]$ en $O[1]$). Ze maten prestatiedalingen bij het maskeren van attentie van specifieke lagen (zowel van ondiep naar diep als van diep naar ondiep) om causale afhankelijkheden te identificeren.
3. Activatie Patching: Om te bepalen welke informatie wordt vervoerd door de causale routes, voerden de auteurs key/value patching uit. Ze substitueerden key/value-vectoren van $D_{ones}$ uit een "donor"-voorbeeld in een "bron"-voorbeeld. Door te variëren of de donor verschilde van de bron in $N$, $B$ of $D$, testten ze of de route informatie draagt die specifiek is voor de cijferpositie of voor de bredere rekenkundige tussenstappen.
4. Zoeken naar een Spars Circuit: Er werd een gretige zoektocht van rechts naar links uitgevoerd om een minimaal aantal attentieroutes te identificeren dat voldoende is voor taakprestatie, waardoor de algehele routeringsstructuur van het model werd blootgelegd.

Belangrijkste Resultaten

• Taakbekwaamheid: De modellen behaalden bijna perfecte prestaties op vastgehouden testsets, met een gemiddelde exacte-antwoordnauwkeurigheid van 99,83% over drie zaden. Dit stelt vast dat de modellen de taakmapping betrouwbaar hebben geleerd.
• Representatie (Probing): De gesloten-vorm grootheden waren sterk lineair decodable uit de residustromen. Specifiek waren $B^D$ en quotiënt-achtige grootheden ($N/B^D$) toegankelijk vanuit de $D_{ones}$-stroom, waarbij de grootheid van het uiteindelijke antwoord decodable was vanuit de outputstromen. Dit maakte het gefaseerde algoritmische hypothese representatief plausibel. Opmerkelijk is dat sommige van deze decodabiliteit zelfs bij initialisatie bestond, wat suggereert dat het deels een artefact is van architectuur en data-geometrie in plaats van puur geleerde berekening.
• Causaal Gebruik (Ablatie & Patching): Ondanks de sterke representatie van gefaseerde tussenstappen, onthulden causale tests een ander mechanisme.
  • Vroege Gevoeligheid: Het outputgedrag was het meest gevoelig voor vroege $D_{ones} \to O$-communicatie (specifiek lagen 0–1). Het maskeren van deze vroege lagen veroorzaakte een drastische prestatiedaling, terwijl het maskeren van latere lagen een minimaal effect had.
  • Selectieve Informatieoverdracht: Patching-experimenten toonden aan dat de $D_{ones} \to O$-route gedragsmatig effectieve informatie vervoert die hoogst selectief is voor $D$. Wanneer de donor alleen verschilde in $N$ of $B$, bleef de output van het gepatchte model onveranderd (overeenkomend met de bron). Wanneer de donor alleen verschilde in $D$, draaide de output om om overeen te komen met de donor.
  • Gefactoriseerde Routering: Het zoeken naar een spars circuit onthulde dat $N$, $B$ en $D$ worden gerouteerd via grotendeels gescheiden lokale steigers die laat convergeren bij de outputstromen. Er is geen bewijs van een enkele, geünificeerde gesloten-vorm tussenstap die wordt overgedragen van de prompt-kant naar de output.

Belangrijkste Bijdragen en Beweringen
De primaire bijdrage van het artikel is een dissociatieve observatie: het model representeert de grootheden die het gefaseerde algoritmische oplossing plausibel maken (ze zijn lineair decodable), maar de geïdentificeerde causale route transporteert deze grootheden niet naar de output.

De auteurs beweren dat "gepresenteerd is niet gecalculeerd". In deze context verwijst "gecalculeerd" naar de causale tussenstappen die daadwerkelijk worden gebruikt om het antwoord te vormen. De studie demonstreert dat:

1. Probes kunnen afwijken van causale realiteit: Lineaire probes slaagden erin de aanwezigheid van algoritmische tussenstappen te identificeren, maar causale interventies (ablatie en patching) bewezen dat deze tussenstappen niet de primaire drijvers van de output waren.
2. Decodabiliteit $\neq$ Causaal Gebruik: Hoge decodabiliteit van een grootheid garandeert niet dat het een geleerde causale tussenstap is; het kan toegankelijkheid weerspiegelen die wordt geleverd door de architectuur of tokenisatie, die later door training wordt gebeeldhouwd maar niet wordt gebruikt in het specifieke causale pad naar de output.
3. Mechanisme van Cijferextractie in Grondtal: Het model lost de taak op door $N$, $B$ en $D$ te routeren via gescheiden paden en deze laat te integreren, waarbij het vertrouwt op vroege $D$-selectieve communicatie in plaats van een gefaseerde transmissie van quotiënt-achtige waarden.

Betekenis
Het artikel dient als een directe, testbare waarschuwing tegen het uitsluitend vertrouwen op lineaire probes voor mechanistische interpretatie. Zelfs in een setting met een expliciet, bekend algoritme en bijna perfecte taakprestatie, kan het interne causale mechanisme aanzienlijk afwijken van de intuïtieve algoritmische hypothese. De auteurs betogen dat mechanistische uitleg vereist dat wordt aangetoond hoe grootheden causaal worden gebruikt, niet alleen dat ze aanwezig zijn. Dit werk vult bestaand onderzoek naar Transformer-circuits en rekenkundige mechanismen aan door te tonen dat heuristische of niet-algoritmische routes taken kunnen oplossen waar schone algoritmische tussenstappen duidelijk representabel zijn maar niet causaal worden benut.