Sintesi Tecnica: Segnali di Correttezza del Codice negli Stati Nascosti degli LLM

Definizione del Problema

Questo lavoro investiga la leggibilità della correttezza del codice negli stati nascosti dei Large Language Models (LLM), concentrandosi specificamente sul modello Qwen3-4B-Instruct-2507. Lo studio affronta due distinte questioni temporali riguardanti la generazione di codice su compiti 444 LiveCodeBench:

1. Pre-Generazione: La correttezza del primo tentativo di codice di un modello è già decodificabile dallo stato nascosto all'ultimo token del prompt, prima che venga generato qualsiasi token di output?
2. Geometria della Riparazione: Quando un modello tenta di riparare una generazione di codice fallita, lo spostamento (delta) nel suo stato nascosto tra il tentativo fallito e il tentativo di riparazione trasporta una firma geometrica stabile e isolabile del fatto che la riparazione avrà successo?

Lo studio opera all'interno del framework della interpretabilità meccanicistica, utilizzando probe lineari e analisi della direzione contrastiva per determinare se le rappresentazioni interne codifichino proprietà verificabili come la correttezza del codice o il successo della riparazione.

Metodologia

Modello e Dati

• Modello: Qwen/Qwen3-4B-Instruct-2507 (trasformatore decoder-only a 36 strati, stato nascosto a 2560 dimensioni).
• Dataset: 444 compiti LiveCodeBench (easy, medium, hard).
• Hardware: Singola NVIDIA RTX 4050 (6 GB VRAM).
• Acquisizione Dati: Gli stati nascosti vengono estratti dall'ultimo token del prompt di un singolo passaggio in avanti (prima della generazione autoregressiva) per l'analisi di pre-generazione. Per l'analisi della riparazione, gli stati nascosti vengono catturati per il primo tentativo (attempt 0) e il successivo tentativo di riparazione (attempt 1).

Tecnica Core: Residualizzazione

Il documento impiega la residualizzazione come strumento primario di controllo dei confondimenti. Ciò comporta:

1. L'adattamento di una regressione Ordinary Least Squares (OLS) per ogni dimensione dello stato nascosto rispetto a una covariata candidata (es. lunghezza del prompt, caratteristiche del contesto di riparazione).
2. La sottrazione della predizione stimata dalle dimensioni dello stato nascosto per rimuovere il contributo lineare di tale covariata.
3. La rivalutazione del segnale (performance del probe o direzione geometrica) sui dati residualizzati.

Questo approccio viene utilizzato per distinguere tra segnali che sono intrinseci alla rappresentazione del modello e quelli che sono artefatti della struttura dell'input o delle differenze di contesto.

Pipeline Sperimentali

1. Probe di Pre-Generazione (Sezione 3):

   • Un probe lineare (StandardScaler $\to$ PCA $\to$ Logistic Regression) viene addestrato per predire le etichette pass/fail dallo stato nascosto finale del prompt.
   • Selezione dello Strato: La validazione incrociata nidificata (50 split esterni, 5-fold inner CV) viene utilizzata per selezionare lo strato ottimale e la forza di regolarizzazione ($C$) per prevenire il leakage dal set di test.
   • Baseline: Confronto con gli stati nascosti grezzi, stati nascosti residualizzati (rimozione della lunghezza del prompt) e una baseline basata solo sulla lunghezza del prompt.

2. Analisi della Direzione di Riparazione (Sezione 4):

   • Costruzione del Delta: Per i compiti in cui l'attempt 0 fallisce e l'attempt 1 esiste, il delta dello stato nascosto è definito come $\delta = h_{\text{attempt 1}} - h_{\text{attempt 0}}$.
   • Direzione Contrastiva: Viene calcolato il vettore $v = \text{mean}(\delta_{\text{success}}) - \text{mean}(\delta_{\text{failure}})$.
   • Validazione: Due test vengono applicati a $v$:
     • Magnitudo: Norma di $v$ confrontata con null-shuffled di etichette.
     • Inclinazione: Similarità del coseno split-half tra le direzioni recuperate da due metà dei dati.
   • Controllo delle Covariate: Prima della residualizzazione, test statistici (t-test di Welch, Chi-quadrato) verificano se le covariate differiscono tra i gruppi di successo e fallimento. La residualizzazione viene applicata solo alle covariate che mostrano differenze significative tra i gruppi.
   • Covariate: $\Delta$prompt_tokens, code_length_attempt_0, e failure_type.

Risultati Chiave

1. La Correttezza Pre-Generazione è Linearmente Decodificabile

• Segnale Grezzo: Un probe lineare addestrato sullo stato nascosto finale del prompt (Strato 29 selezionato tramite nested CV) raggiunge un AUC di 0.931 ± 0.008 senza leakage attraverso 50 split casuali.
• Robustezza alla Lunghezza del Prompt: Dopo la residualizzazione delle dimensioni dello stato nascosto rispetto alla lunghezza del prompt, la performance del probe rimane elevata a 0.911 ± 0.010.
• Confronto con Baseline: Una baseline basata solo sulla lunghezza del prompt raggiunge un AUC di 0.754 ± 0.014. Modelli non lineari (Random Forest, Gradient Boosting, MLP) addestrati solo sulla lunghezza del prompt non superano questa baseline.
• Conclusione: Lo stato nascosto contiene un segnale di correttezza che è robusto e non riducibile alla lunghezza del prompt, esistendo prima che venga generato un singolo token di output.

2. La Direzione di Riparazione è una Correlazione Contestuale, non una Caratteristica Isolata

• Segnale Grezzo: Nei delta grezzi (236 transizioni pulite: 128 successi, 108 fallimenti), esiste una direzione contrastiva. Essa supera i test di magnitudo ($p < 0.001$) e di split-half cosine ($p < 0.001$) contro i null-shuffled di etichette.
• Sbilanciamento delle Covariate: I test statistici rivelano che i gruppi di successo e fallimento differiscono significativamente in $\Delta$prompt_tokens, lunghezza iniziale del codice e distribuzione del tipo di fallimento ($p < 0.001$ per tutti).
• Effetto della Residualizzazione: Quando i delta vengono residualizzati rispetto a queste tre covariate:
  • La magnitudo della direzione scende da 9.76 a 3.72 (38% dell'originale).
  • La split-half cosine scende da 0.767 a 0.140.
  • Nessuno dei due test rimane statisticamente significativo (Magnitudo $p=0.126$, Split-half $p=0.942$).
• Conclusione: La direzione geometrica osservata nei delta grezzi è una correlazione della riuscita della riparazione guidata dalla struttura del contesto di riparazione (es. il messaggio di errore specifico e le differenze nella lunghezza del codice) piuttosto che una caratteristica isolata di "comprensione della riparazione" nello spazio delle attivazioni.

3. Limitazioni sulle Riparazioni Multi-step

• Lo studio trova che il tasso di successo crolla drasticamente dopo il primo tentativo di riparazione (Attempt 1: 36.4%, Attempt 2: 6.7%).
• I dati per le transizioni oltre $0 \to 1$ (es. $1 \to 2$) sono troppo scarsi (solo 13 successi per $1 \to 2$) per supportare un'analisi della direzione contrastiva significativa.

Contributi e Significato

Il documento rivendica che il suo contributo è tanto metodologico quanto empirico:

1. Onestà Diagnostica: Lo studio dimostra l'utilità di una singola procedura di controllo dei confondimenti (residualizzazione) in due direzioni opposte.
   • Nel caso della pre-generazione, la residualizzazione conferma la tesi mostrando che il segnale sopravvive alla rimozione di un confondimento principale (lunghezza del prompt).
   • Nel caso della riparazione, la stessa procedura rovescia l'interpretazione iniziale mostrando che il segnale collassa quando le covariate del contesto vengono rimosse.
2. Rigore Metodologico: Il lavoro enfatizza la necessità di controllare le distribuzioni delle covariate prima della residualizzazione. Sostiene che residualizzare contro covariate con medie di gruppo uguali è non necessario e potenzialmente fuorviante, mentre la residualizzazione contro covariate con medie differenti è essenziale per isolare le caratteristiche latenti.
3. Risultati Empirici:
   • Conferma che la correttezza del codice è leggibile nello stato nascosto prima che la generazione inizi.
   • Smentisce l'ipotesi che esista una direzione geometrica stabile e isolata per la "riuscita della riparazione" nei cambiamenti dello stato nascosto grezzo, attribuendo il segnale osservato alle diverse strutture dei contesti di riparazione.

Il documento conclude che, sebbene gli LLM codifichino informazioni ricche sulla correttezza del codice, l'interpretazione degli spostamenti geometrici negli stati nascosti richiede un attento disaccoppiamento del contesto di input, poiché le apparenti "caratteristiche" possono essere semplicemente riflessi della struttura del prompt.