Sintesi Tecnica: Gli Errori di Ragionamento Hanno una Regione e una Direzione nella Traiettoria del Residual-Stream degli LLM

1. Definizione del Problema

Man mano che i Large Language Models (LLM) vengono sempre più impiegati per compiti che richiedono un ragionamento verificabile, distinguere il ragionamento corretto da quello errato è diventato una sfida critica. I metodi di probing tradizionali si affidano spesso a classificatori lineari statici addestrati sulle attivazioni di un singolo strato. Tuttavia, questi metodi soffrono di due limitazioni primarie:

1. Segnali Correlati all'Etichetta (Label-Correlated Signals): I probe a singolo strato spesso sfruttano regolarità superficiali del dataset (ad es., formulazione, formato, identità del token) piuttosto che la validità del ragionamento sottostante. Ciò porta a una scarsa generalizzazione tra benchmark con diverse formulazioni o argomenti.
2. Perdita di Contesto nei Metodi di Traiettoria: Recenti metodi basati sulla traiettoria (ad es., Truth as a Trajectory) analizzano gli spostamenti per strato ($\Delta h = h_{\ell+1} - h_\ell$) per sopprimere le informazioni stabili e specifiche del token. Sebbene ciò migliori la generalizzazione tra i benchmark, la differenziazione scarta lo stato dal quale origina l'aggiornamento. Poiché il significato di un cambiamento rappresentazionale dipende dal contesto (stato) in cui avviene, i segnali di puro spostamento possono perdere informazioni cruciali relative al ragionamento.

Il problema centrale identificato è un compromesso di ripristino dello stato (state-restoration trade-off): ripristinare il pieno stato reintroduce segnali correlati all'etichetta, mentre scartarlo interamente (tramite differenziazione) rimuove il contesto necessario per interpretare il movimento.

2. Metodologia

Gli autori propongono un Rilevatore a Tre Flussi (Three-Stream Detector) che bilancia questo compromesso combinando il movimento con due viste ristrette della posizione. Il framework opera in un contesto di selezione in cui un modello riceve una domanda e delle risposte candidate, e il rilevatore assegna un punteggio a ciascun candidato basandosi sulla sua traiettoria nel residual-stream.

I Tre Flussi

1. Motion Reader (Lettore di Movimento - Spostamento):

   • Segue i precedenti approcci basati sulla traiettoria.
   • Calcola gli spostamenti per strato: $d_{t,\ell} = h_{t,\ell+1} - h_{t,\ell}$.
   • Attenua il contenuto persistente e specifico del token per consentire il trasferimento del segnale tra i dataset.
   • Viene elaborato da un LSTM bidirezionale per produrre un embedding di movimento ($c_{mot}$).

2. Region Reader (Lettore di Regione - Posizione Grossolana):

   • Ripristina una posizione dello stato grossolana senza reintrodurre la formulazione fine dei dettagli.
   • Prende le direzioni dello stato normalizzate ($u_{t,\ell} = h_{t,\ell} / \|h_{t,\ell}\|$) da una finestra fissa di strati centrali-tardivi.
   • Proietta queste direzioni e le passa attraverso un encoder in un codebook appreso di dimensione $K$.
   • Sostituisce lo stato continuo con l'elemento del codebook più vicino (Quantizzazione Vettoriale), producendo un codice di regione discreto ($c_{reg}$).
   • Questo funge da "collo di bottiglia" che trattiene solo la regione generale dello spazio di stato.

3. Direction Reader (Lettore di Direzione - Posizione Fine):

   • Ripristina le distinzioni fini dello stato pur scartando magnitudo e token/strati irrilevanti.
   • Preserva le direzioni dello stato normalizzate ($u_{t,\ell}$) attraverso gli strati selezionati e i token della risposta.
   • Utilizza un MLP condiviso per mappare le direzioni in una rappresentazione, combinando lo stato del token finale (dove la risposta si assesta) e la media degli stati intermedi (il percorso intrapreso).
   • Produce un embedding di direzione ($c_{dir}$).

Fusione

I tre embedding ($c_{mot}, c_{reg}, c_{dir}$) vengono concatenati e passati attraverso una testa MLP per produrre un punteggio di validità. Il modello è addestrato end-to-end su un obiettivo di coppia (pairwise) per selezionare il candidato corretto.

3. Contributi Chiave

1. Identificazione del Compromesso di Ripristino dello Stato: Il documento dimostra che la differenziazione basata sulla traiettoria scarta le informazioni di stato legate al ragionamento, mentre il ripristino del pieno stato reintroduce segnali correlati all'etichetta.
2. Lettori di Stato Complementari: Gli autori introducono un Region Reader (tramite quantizzazione vettoriale) e un Direction Reader (tramite stati normalizzati multi-strato) che ripristinano selettivamente le informazioni dello stato a diverse risoluzioni.
3. Generalizzazione Oltre la Distribuzione di Addestramento:
   • Il metodo migliora l'accuratezza di selezione su benchmark di ragionamento non visti fino al 21% rispetto al linear probing a singolo strato e del 12% rispetto ai metodi allo stato dell'arte basati solo sullo spostamento.
   • Fondamentalmente, un rilevatore addestrato solo su benchmark di ragionamento identifica con successo errori fattuali (in compiti di verifica dei fatti e completamento) su cui non è mai stato addestrato, suggerendo che il segnale cattura la "correttezza" piuttosto che un tipo specifico di ragionamento.
4. Segnali Complementari: Gli studi di ablazione confermano che movimento, regione e direzione forniscono informazioni complementari; nessun singolo flusso domina, e la loro combinazione produce le prestazioni migliori.

4. Risultati Sperimentali

• Dataset: L'addestramento è stato eseguito su donatori di ragionamento (ARC-Challenge, ARC-Easy, OpenBookQA, CommonsenseQA, Social IQa, HellaSwag). La valutazione ha incluso il trasferimento zero-shot ad altri benchmark di ragionamento (MMLU, Story Cloze) e benchmark fattuali (FACTOR-wiki, FACTOR-news, FACTOR-expert, VitaminC).
• Performance:
  • Sui benchmark di ragionamento, il modello completo a tre flussi ha superato il baseline di solo movimento di 7–12 punti percentuali e i probe lineari di 10–21 punti percentuali in contesti out-of-distribution (OOD).
  • Sui benchmark fattuali, il rilevatore addestrato sul ragionamento ha superato sia il modello di solo movimento che i probe lineari, dimostrando che il segnale appreso si generalizza alla correttezza fattuale.
• Ablazioni:
  • L'aggiunta del flusso Region o Direction al baseline di Motion ha migliorato le prestazioni.
  • Il codice di Regione (quantizzato) da solo manteneva un potere predittivo significativo, provando che l'informazione sulla posizione grossolana è un segnale forte per la correttezza.
  • Il metodo funziona su diverse architetture di modelli (Llama-3.1-8B, Qwen2.5-14B, Qwen3-30B-A3B).

5. Significato e Rivendicazioni

Il documento sostiene che la validità del ragionamento è meglio letta dal movimento condizionato dallo stato che da stati statici o traiettorie decontestualizzate da soli.

• Natura del Segnale: I risultati suggeriscono che il segnale di validità non è legato a un "tipo" specifico di ragionamento (ad es., matematico vs senso comune), ma è una proprietà più fondamentale della correttezza. Il rilevatore impara a distinguere traiettorie corrette da errate indipendentemente dal dominio specifico del compito.
• Interpretabilità: Separando "come il calcolo si muove" (movimento) da "dove si trova" (regione/direzione), il metodo fornisce una lettura più robusta del processo di ragionamento interno del modello.
• Limitazioni: Gli autori osservano che il rilevatore è limitato ai compiti di selezione (scegliere tra candidati) piuttosto che giudicare singole risposte. Richiede inoltre un passaggio forward per ogni candidato e un benchmark donatore etichettato per l'addestramento. Le prestazioni sono limitate dalla capacità intrinseca del modello di distinguere risposte corrette da errate nel proprio residual-stream.

In sintesi, il lavoro stabilisce che il ripristino di una visione ristretta e consapevole del contesto dello stato, insieme alla traiettoria del movimento, risolve il compromesso tra la soppressione dei segnali superficiali e il mantenimento del necessario contesto di ragionamento, portando a rilevatori robusti e generalizzabili per la correttezza del ragionamento e dei fatti.