Sintesi Tecnica: Quando un Readout Riflette la Computazione? Interventi Dose-Risposta nei Modelli di Pensiero Continuo

1. Definizione del Problema

I modelli Chain of Continuous Thought (Coconut) eseguono il ragionamento in uno spazio latente continuo, rialimentando l'ultimo stato nascosto come il successivo embedding di input, invece di decodificare i passaggi intermedi in token di linguaggio naturale. Sebbene ciò offra espressività, crea un "proble tempo di monitoraggio" (monitorability problem): la computazione intermedia non può essere osservata direttamente.

Le attuali pratiche di interpretabilità si affidano ai readout — proiezioni degli stati nascosti nello spazio del vocabolario (ad esempio, tramite un Logit Lens o un Tuned Lens). L'inferenza standard è: se il readout cambia, allora la computazione sottostante è cambiata. Tuttavia, questa inferenza è stata storicamente testata a un singolo magnitudo di intervento. Il paper postula che se il readout e la computazione possiedono sensibilità diverse rispetto alla stessa direzione di intervento, un test a magnitudo singola non può rivelare la discrepanza, portando potenzialmente a conclusioni errate sulla logica interna del modello.

2. Metodologia

Per misurare la sensibilità del readout rispetto alla computazione in funzione del magnitudo dell'intervento, l'autore ha costruito un banco di prova controllato e un protocollo dose-risposta.

2.1 Costruzione del Banco di Prova Controllato

• J-Lens Supervision: L'autore ha addestrato un modello Coconut da 2 miliardi di parametri su compiti di recupero fattuale a due salti (two-hop). Ha aggiunto un termine J-lens alla funzione di perdita per forzare il pensiero continuo (stato latente) ad allinearsi con un token specifico ("bridge entity"), lasciando invariata la perdita della risposta (answer loss).
• Validazione: Questa supervisione ha ottenuto una probabilità di massa >0,95 sul bridge token mantenendo il 100% di accuratezza nella risposta. Ciò ha garantito che il readout fosse "controllato" (puntava a un token noto) senza degradare la capacità computazionale del modello.
• Auto-Etichettatura: L'autore ha dimostrato che il modello può generare le proprie etichette bridge tramite il readout J-lens, eliminando la necessità di ulteriore annotazione umana per il segnale di supervisione.

2.2 Protocollo di Intervento Dose-Risposta

L'innovazione principale è un protocollo che scinde il magnitudo dell'intervento dalla direzione:

1. Magnitudo Relativa Fissa ($\alpha$): Gli interventi vengono applicati con un magnitudo relativo $\alpha = \|\delta\|/\|h\|$, ricalcolato ad ogni step latente per tenere conto della divergenza dello stato.
2. Decomposizione Ortogonale: Il delta causale ($d = h_{donor} - h_{recipient}$) viene scomposto in due componenti ortogonali:
   • $d_{\parallel}$: la componente parallela al gradiente della lens (la direzione che la lens rileva).
   • $d_{\perp}$: la componente ortogonale al gradiente della lens (la direzione che la lens è "cieca" a).
3. Controllo Casuale Corrispondente: Viene generata una direzione casuale che sia ortogonale alla gradiente della lens e che abbia un modulo (norma) corrispondente a $d_{\perp}$. Questo controlla il magnitudo e l'invisibilità della lens, isolando l'effetto della direzione.
4. Sweep della Dose: L'autore ha effettuato uno sweep di $\alpha$ attraverso una griglia (da 0.10 a 0.60) per generare curve dose-risposta sia per il readout (cambio del token) che per la computazione (cambio della risposta).

3. Risultati Chiave

3.1 Dissociazione delle Soglie (Direzione Visibile alla Lens)

Lungo la direzione che la lens rileva ($d_{\parallel}$), il readout e la computazione hanno soglie di attivazione significativamente diverse:

• Sensibilità del Readout: Il readout passa al token donor a magnitudi relative di 0.125–0.158.
• Sensibilità della Computazione: La risposta non cambia a queste magnitudi.
  • Sulla relazione lmk (landmark $\to$ country $\to$ capital), la soglia della risposta è 2.03 volte superiore (0.253) rispetto alla soglia del readout.
  • Sulla relazione typeA (capital $\to$ country $\to$ continent), la risposta non raggiunge mai un flip di maggioranza prima che il modello si rompa (output di un token non correlato) ad alte magnitudi.
• Implicazione: Un intervento a norma minima che si ferma non appena il readout cambia (la procedura standard) si ferma a circa metà della soglia causale (o al di sotto di essa), fallendo nel rilevare il legame causale.

3.2 Il Canale "Invisibile"

Lungo la direzione che la lens non rileva ($d_{\perp}$):

• Computazione: Gli interventi riescono a trapiantare la risposta nel 96–97% dei casi (soglie $\approx$ 0.45–0.48).
• Readout: Il readout non cambia mai (0/900 casi) e rimane ancorato al token ricevente.
• Controllo: Il controllo casuale corrispondente non ha prodotto cambiamenti né nel readout né nella risposta, confermando che l'effetto è dovuto alla specifica direzione di $d_{\perp}$ e non solo al magnitudo.

3.3 La Trappola del "Falso Nullo"

L'autore riporta un esperimento iniziale pre-registrato che è caduto in questa trappola:

• Sono intervenuto finché il readout non è cambiato (magnitudo di stop $\approx$ 0.119).
• Risultato: 0/90 flip della risposta. Inizialmente hanno concluso che il bridge non veniva usato nella computazione.
• Correzione: La curva dose-risposta ha rivelato che la soglia della risposta era 0.253. Il test iniziale è fallito perché si è fermato troppo presto, misurando al di sotto della soglia causale.

3.4 Robustezza

• Il gap di soglia persiste (1.74$\times$) anche senza supervisione J-lens, indicando che la dissociazione non è un artefatto del segnale di addestramento, ma una proprietà strutturale del modello.
• Il gap non è spiegato dal fatto che il modello "si rompa" ad alte magnitudi; la dissociazione avviene nella finestra operativa stabile.

4. Contributi

1. Protocollo Dose-Risposta: Un metodo per separare la sensibilità del readout dalla sensibilità computazionale utilizzando un magnitudo fisso, la decomposizione ortogonale e controlli casuali corrispondenti.
2. Dissociazione Quantificata: Evidenza che il readout e la computazione hanno soglie diverse lungo la stessa direzione, e che la computazione può essere trapiantata lungo direzioni che il readout non registra.
3. Diagnosi degli Interventi a Norma Minima: Una dimostrazione che gli interventi standard mirati al readout producono sistematicamente falsi negativi (falsi nulli) perché si fermano prima che la computazione cambi.
4. Banco di Prova Controllato: Un metodo per allineare i readout a specifici token senza perdita di accuratezza, permettendo misurazioni causali precise.

5. Significato e Rivendicazioni

Il paper sostiene che la sensibilità del readout è una proprietà del readout, non della computazione. Il fatto che un readout cambi non implica che la computazione sia cambiata, né che una mancanza di cambiamento nel readout implichi una mancanza di cambiamento nella computazione.

• Avvertimento Metodologico: Le affermazioni di interpretabilità basate su interventi a magnitudo singola sono insufficienti. Un risultato nullo (nessun cambio di risposta) non può distinguere tra "la direzione non è causale" e "non abbiamo spinto abbastanza".
• Prescrizione: Le rivendicazioni causali basate sul readout devono essere riportate come curve dose-risposta che includano:
  1. La magnitudo alla quale il readout risponde.
  2. La magnitudo alla quale l'output risponde.
  3. Un controllo casuale appaiato per magnitudo e invarianti.
• Ambito: L'autore è modesto riguardo alla generalizzazione, notando che le misurazioni sono state effettuate su un singolo modello, un singolo strato e relazioni sintetiche. Non afferma di aver mappato l'intero spazio latente, ma di aver esposto un limite strutturale nel modo in cui i readout vengono attualmente interpretati.

Il paper conclude che il lavoro che chiede "cosa può essere letto da un readout" deve anche chiedere "a quale magnitudo ciò che viene letto corrisponde alla computazione".