Technische Samenvatting: Causale Registers in Scratchpad Redeneren

Probleemstelling

Proces-supervisie beoogt modellen af te stemmen door tussenliggende redeneerstappen (bijv. scratchpads, chain-of-thought) te belonen in plaats van alleen het uiteindelijke antwoord. Er bestaat echter een kritieke kloof tussen leesbaarheid en causaliteit: een model kan plausibele tussenliggende toestanden schrijven die correleren met het juiste antwoord, zonder dat het die toestanden daadwerkelijk gebruikt als input voor daaropvolgende berekeningen. Als de geschreven tekst slechts een post-hoc rechtvaardiging of een gecorreleerd signaal is, kan deze niet effectief worden geaudit of waarneembaar worden ingegrepen.

De centrale vraag die wordt behandeld is: Berekent een model daadwerkelijk vanuit de tussenliggende toestanden die het schrijft? Specifiek: als een interne representatie van een geschreven toestand wordt gewijzigd terwijl de zichtbare tekst ongewijzigd blijft, verandert de volgende stap van het model dan in overeenstemming met de bekende update-regel van die toestand?

Methodologie

1. Gecontroleerde Toestand-tracking Taak

De auteurs maken gebruik van een eindig transitiesysteem met bekende update-regels om een ondubbelzinnige causale test te creëren.

• Taakstructuur: Het model krijgt een begintoestand en een reeks bewegingen voorgelegd. Het moet de toestand bijhouden na elke beweging.
• Toestand-representatie: De toestand wordt gedefinieerd als $v | p$, waarbij $v$ een zichtbare coördinaat is (één van vier rastercellen) en $p$ een "fase-bit" ($0$ of $1$).
• Ordegevoeligheid: De fase-bit $p$ wordt niet uitsluitend bepaald door de zichtbare coördinaat $v$; het hangt af van de geschiedenis van de bewegingen (de volgorde van operaties). Dit creëert gematchte toestanden (bijv. $11|0$ en $11|1$) die dezelfde zichtbare tekst delen maar verschillen in de interne fase.
• Modellen: De studie gebruikt Qwen2.5-Coder-7B als primair model en Mistral-7B-v0.3 voor replicatie.
• Trainingscondities:
  1. Pretrained Base: Geen fine-tuning.
  2. Final-Answer Only: Gefinetuned om alleen de uiteindelijke toestand te produceren.
  3. Running-State: Gefinetuned om de volledige lopende toestand te schrijven na elke beweging, vóór het uiteindelijke antwoord.

2. Interventie: Counterfactual State Editing

De kern van de experimentele interventie betreft activation patching (specifiek het modificeren van de KV-cache) op de tokenpositie die overeenkomt met de huidige toestand.

• De Edit: De interne residual stream representatie van de fase-bit bij de huidige toestand-token wordt bewerkt van $p$ naar $1-p$.
• De Beperking: De zichtbare token-ID en de geprinte scratchpad-tekst blijven ongewijzigd. De prefix die aan het model wordt gevoed, is identiek in zowel de schone als de gepatchte runs.
• De Test: Het model wordt gevraagd de volgende toestand te voorspellen, gegeven de komende beweging $m$.
  • Succesconditie: Het model voorspelt de fase-bit die voortvloeit uit het toepassen van beweging $m$ op de bewerkte toestand $\tilde{s} = (v, 1-p)$.
  • Faalconditie: Het model negeert de interne edit en voorspelt het resultaat op basis van de originele toestand $s = (v, p)$, of volgt een generieke bias.

3. Controles en Selectiviteit

Om alternatieve verklaringen (zo.n. generieke next-token sturing of het kopiëren van continuaties) uit te sluiten, gebruiken de auteurs twee specifieke controles:

• Move-Swap Control: De bewerkte toestand wordt vastgehouden, maar de komende beweging wordt veranderd. Een geldzaam toestand-update mechanisme zou zijn voorspelling veranderen op basis van de nieuwe beweging; een vaste bias zou dat niet doen.
• Conflicting-Continuation Control: Een counterfactual toestand wordt geïnjecteerd uit een andere context waar de toekomstige trajectorie afwijkt van de huidige beweging. Als het model de huidige beweging volgt, her berekent het vanuit de bewerkte toestand; als het de geïnjecteerde context volgt, kopieert het slechts een continuatie.

Belangrijkste Resultaten

1. Causaal Gebruik van Scratchpad Toestanden

In de Running-State modellen (gefineetuned om tussenliggende toestanden te schrijven) stuurt de interne edit de volgende toestand-berekening succesvol om:

• Qwen2.5-Coder-7B: Het model voorspelt de volgende fase-bit die door de bewerkte toestand wordt geïmpliceerd in 80% van de held-out voorbeelden (Q8 taak) en 91% (D8 taak).
• Controles: Pretrained en Final-Answer-only modellen blijven rond het baseline niveau (kansniveau), wat aangeeft dat zij de geschreven toestand niet gebruiken als computationele input.
• Random/Orthogonale Edits: Willekeurige patches of patches in orthogonale subruimtes leveren een overeenkomstpercentage op van nabij 0.02, wat bevestigt dat het effect specifiek is voor de fase-bit subruimte.

2. Selectiviteit en Herberekening

De Running-State modellen vertonen een hoge selectiviteit, wat bewijst dat ze niet simpelweg tokens sturen of kopiëren:

• Move-Specificity: De voorspelling verandert significant wanneer de beweging verandert (Selectiviteitsverschillen: +0.57 voor Q8, +0.68 voor D8).
• Recomputation vs. Copying: Wanneer geconfronteerd met een conflicterende continuatie, volgt het model de huidige beweging (en dus de bewerkte toestand) in plaats van de geïnjecteerde bron-toekomst (Selectiviteitsverschillen: +0.59 voor Q8, +0.81 voor D8).

3. Mechanistische Analyse

• Compacte Representatie: De fase-bit informatie wordt gevangen door een low-rank subruimte. In Q8 is een rank-1 edit voldoende; in D8 is rank-2 voldoende, ver onder de 3584-dimensionale residual stream.
• Routing:
  • Q8: De update stroomt primair door een enkele aandacht-verbinding (van de huidige fase-token naar de volgende voorspellingslaag). Het ableren van deze verbinding verwijdert 94% van het effect.
  • D8: De update gebruikt een gedistribueerd, vier-randig pad. Het ableren van dit specifieke pad verwijdert ~69% van het effect, wat aantoont dat compacte toestand-variabelen via gedistribueerde mechanismen kunnen worden verwerkt.
• Replicatie: Deze causale patronen repliceren in Mistral-7B-v0.3, waarbij Running-State modellen een 0.93–0.94 bewerkte-toestand overeenkomst bereiken.

4. gegenereerde Prefixes

Wanneer het model de prefix zelf genereert (in plaats van dat deze wordt voorgeleverd), blijft het effect bestaan maar is het iets minder stabiel in Q8 (0.66 one-step use) vergeleken met D8 (0.90 one-step use), hoewel het nog steeds significant boven de baseline ligt.

Betekenis en Claims

Het artikel claimt dat running-state supervisie (fine-tuning om tussenliggende toestanden te produceren) een scratchpad transformeert van een louter transcript naar een causaal register binnen de berekening van het model.

• Operationele Semantiek: Een nuttige tussenliggende waarde voor alignment moet operationele semantiek hebben binnen het model. De resultaten tonen aan dat voor de getrainde modellen het wijzigen van de interne waarde die met een geschreven toestand samenhangt, de volgende stap causaal verandert op een manier die consistent is met de transitie-regel.
• Auditbaarheid: Dit vestigt een "scherper doel voor scratchpad toezicht". Toezicht gaat niet alleen over het begrijpelijk maken van redeneringen voor mensen, maar over het trainen van modellen om geschreven toestanden te gebruiken als werkelijke inputs voor hun eigen berekening. Dit maakt "evidence-distortion audits" mogelijk waarbij een toezichthouder theoretisch een toestand kan wijzigen en vervolgens kan verifiëren of het gedrag van het model in lijn is met die wijziging.
• Onderscheid van Concepten: Het werk slaagt erin drie vaak verwarde ideeën te scheiden:
  1. Of een toestand wordt geschreven.
  2. Of een toestand intern gerepresenteerd wordt.
  3. Of het model daadwerkelijk berekent vanuit die toestand.
     De resultaten laten zien dat supervisie vereist is om de kloof tussen representatie en berekening te overbruggen.

De auteurs concluderen dat hoewel deze structuur in een gecontroleerde, synthetische omgeving is aangetoond, het doel voor toekomstige proces-supervisie is om taken en trainingsmethoden te bouwen waarbij modellen vergelijkbare bruikbare, causaal actieve toestand-variabelen blootstellen in rijkere domeinen (bijv. programmatische toestanden, bewijsverificatie, toolgebruik).