Sintesi Tecnica: Registri Causali nel Ragionamento con Scratchpad

Definizione del Problema

La supervisione di processo mira ad allineare i modelli premiando i passaggi intermedi di ragionamento (ad esempio, scratchpad, catena di pensiero o chain-of-thought) piuttosto che solo le risposte finali. Tuttavia, esiste una lacuna critica tra leggibilità e causalità: un modello può scrivere stati intermedi plausibili che correlano con la risposta corretta senza tuttavia utilizzare effettivamente tali stati come input per le computazioni successive. Se il testo scritto è solo una giustificazione post-hoc o un segnale correlato, non può essere efficacemente auditato o sottoposto a intervento.

La domanda centrale affrontata è: Il modello computa effettivamente a partire dagli stati intermedi che scrive? Nello specifico, se una rappresentazione interna di uno stato scritto viene alterata mentre il testo visibile rimane invariato, il passaggio successivo del modello cambia in accordo con la regola di aggiornamento nota di quello stato?

Metodologia

1. Task di Tracciamento dello Stato Controllato

Gli autori utilizzano un sistema di transizione finito con regole di aggiornamento note per creare un test causale univoco.

• Struttura del Task: Al modello viene fornito uno stato iniziale e una sequenza di mosse. Deve tracciare lo stato dopo ogni mossa.
• Rappresentazione dello Stato: Lo stato è definito come $v | p$, dove $v$ è una coordinata visibile (una delle quattro celle di una griglia) e $p$ è un "bit di fase" ($0$o$1$).
• Sensibilità all'Ordine: Il bit di fase $p$ non è determinato unicamente dalla coordinata visibile $v$; esso dipende dalla cronologia delle mosse (l'ordine delle operazioni). Ciò crea stati corrispondenti (ad esempio, $11|0$ e $11|1$) che condividono lo stesso testo visibile ma differiscono per la fase interna.
• Modelli: Lo studio utilizza Qwen2.5-Coder-7B come modello primario e Mistral-7B-v0.3 per la replicazione.
• Condizioni di Addestramento:
  1. Base Pre-addestrata: Nessun fine-tuning.
  2. Solo Risposta Finale: Fine-tuned per produrre solo lo stato finale.
  3. Stato Corrente (Running-State): Fine-tuned per scrivere lo stato corrente completo dopo ogni mossa prima della risposta finale.

2. Intervento: Editing Controfattuale dello Stato

L'intervento sperimentale centrale consiste nell'activation patching (nello specifico, la modifica del KV cache) al livello del token corrispondente allo stato attuale.

• L'Edit: La rappresentazione nel residual stream del bit di fase al token dello stato attuale viene modificata da $p$ a $1-p$.
• Il Vincolo: L'ID del token visibile e il testo dello scratchpad stampato rimangono invariati. Il prefisso fornito al modello è identico sia nella versione pulita che in quella patchata.
• Il Test: Al modello viene chiesto di predire lo stato successivo dato il prossimo movimento $m$.
  • Condizione di Successo: Il modello predice il bit di fase risultante dall'applicazione della mossa $m$ allo stato editato $\tilde{s} = (v, 1-p)$.
  • Condizione di Fallimento: Il modello ignora l'edit interno e predice il risultato basandosi sullo stato originale $s = (v, p)$, oppure segue un bias generico.

3. Controlli e Selettività

Per escludere spiegazioni alternative (ad esempio, steering generico del next-token o copia di continuazioni), gli autori utilizzano due controlli specifici:

• Controllo di Scambio Mossa (Move-Swap Control): Lo stato editato viene mantenuto fisso, ma la mossa imminente viene cambiata. Un meccanismo valido di aggiornamento dello stato dovrebbe cambiare la propria predizione in base alla nuova mossa; un bias fisso non lo farebbe.
• Controllo di Continuazione Conflittuale (Conflicting-Continuation Control): Viene iniettato uno stato controfattuale proveniente da un contesto diverso in cui la traiettoria futura non concorda con la mossa attuale. Se il modello segue la mossa corrente, sta ricalcolando a partire dallo stato editato; se segue il futuro del contesto iniettato, sta semplicemente copiando una continuazione.

Risultati Chiave

1. Uso Causale degli Stati dello Scratchpad

Nei modelli Running-State (fine-tuned per scrivere stati intermedi), l'edit interno devia con successo la computazione dello stato successivo:

• Qwen2.5-Coder-7B: Il modello predice il bit di fase successivo implicito dallo stato editato nel 80% degli esempi tenuti fuori (task Q8) e nel 91% (task D8).
• Controlli: I modelli Pretrained e Final-Answer-only rimangono vicini ai livelli di baseline (caso), indicando che non utilizzano lo stato scritto come input computazionale.
• Edit Casuali/Ortogonali: I patch casuali o i patch in sottospazi ortogonali producono tassi di accordo vicini a 0.02, confermando che l'effetto è specifico per il sottospazio del bit di fase.

2. Selettività e Ricalcolo

I modelli Running-State dimostrano un'alta selettività, provando che non stanno semplicemente influenzando i token o copiando:

• Specificità della Mossa: La predizione cambia significativamente quando cambia la mossa (gap di selettività: +0.57 per Q8, +0.68 per D8).
• Ricalcolo vs Copia: Di fronte a una continuazione conflittuale, il modello segue la mossa corrente (e quindi lo stato editato) invece del futuro del contesto iniettato (gap di selettività: +0.59 per Q8, +0.81 per D8).

3. Analisi Meccanicistica

• Rappresentazione Compatta: L'informazione del bit di fase è catturata da un sottospazio a basso rango. In Q8, un edit di rango 1 è sufficiente; in D8, un rango 2 è sufficiente, ben al di sotto dei 3584 dimensioni del residual stream.
• Routing:
  • Q8: L'aggiornamento fluisce principalmente attraverso una singola connessione di attenzione (dal token della fase corrente al successivo livello di predizione). L'ablazione di questa connessione rimuove il 94% dell'effetto.
  • D8: L'aggiornamento utilizza un percorso distribuito a quattro archi. L'ablazione di questo percorso specifico rimuove circa il 69%, mostrando che le variabili di stato compatte possono essere elaborate tramite meccanismi distribuiti.
• Replicazione: Questi pattern causali si replicano in Mistral-7B-v0.3, con i modelli Running-State che raggiungono un accordo sullo stato editato dello 0.93–0.94.

4. Prefissi Generati

Quando il modello genera il prefisso esso stesso (anziché riceverlo come input), l'effetto persiste ma è leggermente meno stabile in Q8 (uso a un passo di 0.66) rispetto a D8 (uso a un passo di 0.90), pur rimanendo significativamente sopra la baseline.

Significato e Rivendicazioni

L'articolo sostiene che la supervisione dello stato corrente (fine-tuning per produrre stati intermedi) trasforma uno scratchpad da un mero trascritto a un registro causale all'interno della computazione del modello.

• Semantica Operativa: Un intermedio utile per l'allineamento deve possedere una semantica operativa all'interno del modello. I risultati mostrano che, per i modelli addestrati, cambiare il valore interno associato a uno stato scritto cambia causalmente il passaggio successivo in modo coerente con la regola di transizione.
• Auditabilità: Questo stabilisce un "obiettivo più nitido per la supervisione dello scratchpad". La supervisione non riguarda solo rendere il ragionamento leggibile agli umani, ma l'addestrare i modelli a usare gli stati scritti come veri input per la propria computazione. Ciò consente "audit di distorsione dell'evidenza" dove un supervisore può teoricamente cambiare uno stato e verificare se il comportamento successivo del modello si allinea a tale cambiamento.
• Distinzione dei Concetti: Il lavoro separa con successo tre idee spesso confuse:
  1. Se uno stato viene scritto.
  2. Se uno stato è rappresentato internamente.
  3. Se il modello effettivamente computa a partire da tale stato.
     I risultati mostrano che la supervisione è necessaria per colmare il divario tra rappresentazione e computazione.

Gli autori concludono che, sebbene questa struttura sia stata dimostrata in un ambiente sintetico controllato, l'obiettivo per la futura supervisione di processo è costruire task e metodi di addestramento in cui i modelli espongano variabili di stato comparabili, causamente attive e utilizzabili in domini più ricchi (ad esempio, stati di programmi, dimostrazioni di teoremi, uso di strumenti).