Sintesi Tecnica: Leggere tra i Puntini

Definizione del Problema

La monitorabilità della catena di pensiero (Chain-of-Thought, CoT) si basa sul presupposto che l'output superficiale dei token di un modello rifletta fedelmente il suo processo di ragionamento sottostante. Tuttavia, la letteratura recente suggerisce che tale presupposto sia fragile; i modelli possono impegnarsi in una "computazione nascosta" dove il ragionamento avviene in modi non visibili nel testo generato. Un caso specifico di fallimento del monitoraggio CoT è la computazione tramite token di riempimento (filler-token computation), in cui i Large Language Models (LLM) eseguono ragionamenti multi-step su token privi di contenuto (ad esempio, sequenze di punti, numeri in conteggio o sequenze alfabetiche) inseriti tra la domanda e lo slot della risposta. In questi scenari, i token superficiali non portano informazioni semantiche sul ragionamento, rendendo inefficace il tradizionale auditing comportamentale. La domanda centrale affrontata da questo articolo è se tale computazione nascosta sia realmente inosservabile o se rimanga decodificabile dai suoi stati interni.

Metodologia

Gli autori investigano questo fenomeno utilizzando due modelli frontier-scale a pesi aperti: DeepSeek V3 (671 miliardi di parametri, ~37 miliardi attivati) e Kimi K2 (1 trilione di parametri, ~32 miliardi attivati). Valutano le prestazioni e la meccanica interna attraverso quattro famiglie di task che richiedono valori intermedi:

1. Addizione a 1 fattore: Recupero di un fatto e aggiunta di un numero casuale.
2. Addizione a 2 fattori: Recupero di due fatti e loro somma.
3. Posizione lettera a 2 hop: Recupero di una capitale/elemento e ricerca di una specifica lettera.
4. Sistema di equazioni: Risoluzione di relazioni lineari definite nel contesto.

L'esperimento prevede l'aggiunta di token di riempimento privi di contenuto (punti, sequenze di conteggio, sequenze alfabetiche) tra il prompt e lo slot della risposta. Lo studio procede in tre fasi:

1. Analisi Comportamentale: Misurazione del miglioramento dell'accuratezza con e senza token di riempimento.
2. Analisi Meccanicistica: Utilizzo di mappe di attenzione, readout logit-lens e trapianti di KV-cache per determinare come l'informazione fluisce ed è codificata all'interno della regione di riempimento.
3. Decodifica Non Supervisionata: Sviluppo di una pipeline per recuperare i valori intermedi esclusivamente dagli stati nascosti, senza etichette di verità (ground-truth) o addestramento.

Contributi Chiave e Risultati

1. I Token di Riempimento Abilitano la Computazione Nascosta

Il documento stabilisce che i token di riempimento non sono meri padding inerti, ma facilitano un "relè di elaborazione".

• Incremento Comportamentale: Entrambi i modelli mostrano guadagni significativi di accuratezza in presenza di token di riempimento. Ad esempio, l'accuratezza di DeepSeek V3 sull'addizione a 1 fattore sale dal 54% al 72%, e sui sistemi di equazioni dal 31% al 61%. Le sequenze di riempimento rimescolate (scrambled) ottengono prestazioni inferiori, indicando che il beneficio deriva da sequenze di token non disturbanti piuttosto che dal contenuto specifico.
• Routing dell'Attenzione: L'analisi dell'attenzione rivela che, in presenza di riempimento, il modello reindirizza la sua computazione. Il percorso di attenzione diretta dalla posizione della risposta alla domanda viene sostituito da un relè: Domanda → Riempimento → Risposta. La regione di riempimento funge da buffer dove la domanda viene letta e i valori intermedi vengono elaborati prima di essere passati alla posizione della risposta.

2. Evidenza Meccanicistica di Intermedi Codificati

Gli autori forniscono tre linee di evidenza che dimostrano come le posizioni di riempimento trasportino causalmente informazioni rilevanti per il task:

• Readout Logit-Lens: Proiettare gli stati del residual stream attraverso la matrice di unembedding rivela che i valori intermedi (ad esempio, i fatti recuperati $A_1, A_2$ e la loro somma) sono esplicitamente codificati nel residual stream nelle posizioni di riempimento. Nell'addizione a 2 fattori, $A_1$ appare precocemente nella sequenza di riempimento, $A_2$ più tardi, e la somma si cristallizza negli ultimi layer prima della risposta.
• Trapianti di KV-Cache (Verifica Causale): Trapiantando la KV-cache della regione di riempimento da un esempio "donatore" a un esempio "target", gli autori dimostrano la dipendenza causale. Scambiare la cache di riempimento causa al modello target di produrre la risposta del donatore, con miglioramenti di rango da decine a centinaia di posizioni. Ciò conferma che il contenuto all'interno della regione di riempimento non è solo correlato, ma causalmente necessario per l'output.
• Specificità Posizionale: Nell'addizione a 2 fattori, la struttura posizionale della codifica è causale. Trapiantando solo le posizioni specifiche dove viene decodificato $A_1$, si recupera la maggior parte dell'effetto, mentre le posizioni complementari hanno un impatto trascurabile.

3. Pipeline di Decodifica Non Supervisionata

Il documento introduce una pipeline che recupera i passaggi di ragionamento nascosti dai residual stream senza supervisione:

• Processo:
  1. Estrarre le attivazioni del residual stream in tutti i layer e nelle posizioni di riempimento.
  2. Applicare il logit lens per proiettare gli stati in probabilità di token.
  3. Sottrarre le medie tra gli esempi per rimuovere gli artefatti di formattazione e isolare i segnali specifici dell'esempio.
  4. Aggregare i punteggi del residual attraverso le posizioni e selezionare i top-50 token.
  5. Passare questi token a un LLM judge (es. Claude Haiku/Sonnet) per interpretare il ragionamento.
• Prestazioni: La pipeline raggiunge un'accuratezza dell'80–95% nel recupero dei valori intermedi in tutti i quattro task e in entrambi i modelli.
  • Per l'addizione a 1 fattore, il fattore target viene recuperato nei primi 2 token in circa l'85% dei casi senza un judge; con un judge, questo sale a circa il 94%.
  • Per task complessi come l'addizione a 2 fattori, il judge migliora significativamente il recupero (dal 35% all'82% su DeepSeek V3) utilizzando segnali contestuali dall'elenco completo dei top-50.
  • La pipeline decodifica con successo sia i fatti recuperati che i valori calcolati in contesto (es. variabili in sistemi di equazioni).

Significato e Rivendicazioni

Il documento sostiene che la computazione nascosta non è sinonimo di computazione non verificabile. Sebbene il ragionamento tramite token di riempimento ostacoli il monitoraggio comportamentale della CoT (perché l'output testuale è privo di ragionamento), la computazione rimane direttamente leggibile dal residual stream del modello.

• La Monitorabilità come Proprietà della Traccia: Gli autori pongono che la monitorabilità sia una proprietà dell'intera traccia computazionale del modello, non solo dei suoi token superficiali.
• Audit Parziale: Lo studio dimostra che per i task con intermedi discreti e nominabili, strumenti di interpretabilità "economici" (logit lens + normalizzazione + LLM judge) possono colmare il divario lasciato dai token superficiali opachi.
• Limitazioni: Gli autori rivendicano con modestia che questo approccio funziona per task con intermedi puliti. Riconoscono i limiti riguardanti la computazione ottimizzata per essere ortogonale alla proiezione del vocabolario, concetti non tokenizzabili (come strategie o intenti) o che si basa su pattern di attenzione invisibili alle proiezioni logit-lens.

In conclusione, il documento suggerisce che, sebbene il monitoraggio della CoT sia fragile, l'esistenza di computazione nascosta nei token di riempimento non rende i modelli interamente opachi. Al contrario, evidenzia il potenziale per strategie di auditing ibride che combinano l'osservazione comportamentale con l'interpretazione del residual stream.