Riepilogo Tecnico: Decodificabile ma Non Corretto dal Controllo Lineare Fisso del Flusso Residuale

Enunciato del Problema

Questo articolo indaga un divario critico nell'interpretabilità e nel controllo dei Modelli Linguistici di Grandi Dimensioni (LLM): il divario classificazione-correzione. Sebbene lavori precedenti abbiano dimostrato che stati comportamentali specifici (es. rifiuto, sentiment) possono essere linearmente decodificati dagli stati nascosti e corretti tramite steering delle attivazioni, non è chiaro se ciò valga per errori complessi di ragionamento multi-step. Gli autori si concentrano su un regime di fallimento specifico nella risposta a domande mediche (MedQA) chiamato Overthinking (OT), in cui i modelli producono frequentemente risposte corrette sotto ricampionamento ma falliscono quando generano tracce estese di catena di pensiero (CoT). La domanda centrale è: Se una modalità di fallimento è linearmente decodificabile negli stati nascosti, è possibile utilizzare vettori di steering lineari fissi per correggerla?

Metodologia

1. Identificazione del Regime Comportamentale (Overthinking)

Gli autori definiscono Overthinking (OT) come un costrutto comportamentale in cui:

• Il modello risponde correttamente in $\ge$60% delle tracce campionate (indicando che la conoscenza è presente).
• Il modello produce una risposta errata in tracce di ragionamento lungo (>200 token).
• Questo regime è distinto dal Deficit di Conoscenza (KD) (errori fattuali) e dalla Rottura della Catena di Ragionamento (RCB) (fatti validi, logica invalida).
• L'OT è identificato con alta stabilità (Jaccard $\ge$0.81 sotto perturbazione della soglia, 94% di accordo inter-annotatore).

2. Analisi Geometrica

Utilizzando Llama-3.1-8B-Instruct e Qwen2.5-7B-Instruct, gli autori hanno estratto stati nascosti da 12.000 tracce (2.000 per modalità di fallimento + 6.000 tracce corrette corrispondenti).

• Vettori Contrastivi: Calcolati come la differenza normalizzata tra gli stati nascosti medi delle tracce corrette e le specifiche modalità di fallimento ($v = \bar{h}_{correct} - \bar{h}_{mode}$).
• Classificazione: Sono stati addestrati sonde lineari per distinguere le tracce OT da quelle non-OT.
• Decomposizione della Specificità: Gli autori hanno calcolato il rapporto di specificità per determinare quanto del vettore contrastivo è unico alla modalità di fallimento rispetto a quanto condiviso con le direzioni generali "errato-vs-corretto".
• Cross-Architettura e Cross-Dominio: La validazione è stata eseguita su Qwen2.5-7B e sul dominio MMLU-STEM per testare la generalizzabilità.

3. Esperimenti di Steering delle Attivazioni

Gli autori hanno testato cinque famiglie di interventi di steering lineare fisso sul set di test Llama-3.1-8B ($n=1.273$) e Qwen2.5-7B ($n=1.273$):

1. Steering Contrastivo: Aggiunta di $\alpha \cdot v$ ai livelli di picco.
2. Steering Guidato dalla Sonda: Utilizzo dei vettori di peso della sonda invece dei vettori contrastivi.
3. Steering Multi-livello: Applicazione dei vettori su 1, 3 o 5 livelli.
4. Steering in Sottospazio Rank-k: Steering all'interno di sottospazi generati dai vettori singolari principali.
5. Steering alla Fine del Prompt: Utilizzo di vettori derivati dal prompt (pre-generazione) per evitare contaminazione della risposta.

• Cancellazione del Concetto: Un intervento complementare che proietta fuori la direzione di fallimento per testare l'intreccio causale.
• Controlli: Un controllo di steering del rifiuto ha verificato l'infrastruttura; scansioni della temperatura e valutazioni alla stessa temperatura hanno escluso gli spostamenti distribuzionali come causa primaria del fallimento.

4. Affidabilità Post-Generazione

Gli autori hanno valutato se la struttura decodificabile potesse supportare l'astensione selettiva (rifiuto di rispondere quando la sonda prevede bassa confidenza) come alternativa alla correzione.

Risultati Chiave

1. Il Divario Classificazione-Correzione

• Decodificabilità: L'OT è linearmente decodificabile con 71,6% di accuratezza bilanciata ($p \approx 10^{-16}$) su Llama-3.1-8B. Questo segnale è robusto alla regressione della lunghezza e alle perturbazioni della soglia.
• Fallimento dello Steering: Nonostante l'alta decodificabilità, tutte le 29 configurazioni di steering lineare fisso attraverso cinque famiglie di metodi hanno prodotto $\Delta \approx 0$ (nessun miglioramento significativo dell'accuratezza).
  • Steering specifico per modalità: $\Delta = -0,2$ punti percentuali.
  • Steering multi-livello: $\Delta \approx 0$.
  • Steering alla fine del prompt: $\Delta \approx 0$.
• Coerenza Cross-Architettura: Il risultato nullo è valso per Qwen2.5-7B (9 configurazioni) e MMLU-STEM (4 configurazioni).

2. Evidenza di Intreccio Rappresentazionale

Il fallimento dello steering è attribuito all'intreccio rappresentazionale tra il segnale di fallimento e il calcolo critico per il compito:

• Bassa Specificità: Il rapporto di specificità specifico per l'OT è solo 0,119 (Llama) e 0,152 (Qwen). Ciò significa che circa l'88% del segnale contrastivo si allinea con la direzione condivisa "errato-vs-corretto".
• Danno Causale:
  • Lo steering nella direzione condivisa (applicare la direzione errata condivisa) ha danneggiato gravemente l'accuratezza ($\Delta = -12,1$ punti percentuali).
  • Cancellazione del Concetto: Rimuovere la direzione OT tramite proiezione della differenza delle medie ha danneggiato l'accuratezza ($\Delta = -3,6$ punti percentuali, $p=0,01$), mentre 10 direzioni casuali non hanno prodotto danni ($\Delta = +0,3$ punti percentuali). Ciò conferma che la direzione OT è causalmente intrecciata con il ragionamento corretto, non meramente correlata.
• Non Correlazione per Istanza: La correlazione tra la confidenza della sonda e l'effetto dello steering è $r = -0,002$ ($p=0,97$), indicando che sapere quando un modello sta overthinking non predice come steeralo.

3. Risultato Positivo: Astensione Selettiva

Mentre lo steering ha fallito, la struttura decodificabile ha permesso la stima dell'affidabilità post-generazione:

• Una sonda di correttezza ha raggiunto un AUROC di 0,610 sul set di test tenuto da parte, superando significativamente cinque baseline di incertezza a singolo passaggio in avanti (miglior baseline AUROC = 0,569, $\Delta = 0,041$, $p=0,009$).
• Astensione Selettiva: Astenendosi dalle previsioni a bassa confidenza, il modello ha raggiunto un guadagno di accuratezza di +5,5 punti percentuali al 60% di copertura.
• Confronto con la Coerenza Self: Mentre il voto di maggioranza (Coerenza Self) corregge il 100% degli errori OT, richiede un costo di generazione 10 volte superiore. La sonda offre un'alternativa a singolo passaggio e costo contenuto per la stima dell'affidabilità.

4. Interventi Non Lineari

Un esperimento preliminare utilizzando un MLP non lineare appreso (adattatore residuo) ha raggiunto un miglioramento modesto ma significativo ($\Delta = +2,8$ punti percentuali, $p=0,025$). Ciò suggerisce che il divario non è assoluto ma specifico degli interventi lineari fissi; le trasformazioni non lineari possono parzialmente disintrecciare il sottospazio condiviso.

Significato e Affermazioni

L'articolo afferma di fornire evidenze meccaniche del motivo per cui lo steering delle attivazioni fallisce nei regimi di ragionamento multi-step, andando oltre la mera documentazione del fenomeno.

1. Spiegazione Geometrica: Gli autori sostengono che il divario classificazione-correzione sorge perché i segnali di fallimento nei compiti di ragionamento sono intrecciati con il calcolo rilevante per il compito. A differenza del rifiuto (che ha un rapporto di specificità di 0,999 ed è steerabile), il segnale OT condivide circa l'88% della sua direzione con il percorso di ragionamento corretto.
2. Asimmetria Osservazione-Intervento: Lo studio dimostra che la decodificabilità non implica steerabilità. Un segnale può essere statisticamente leggibile da una sonda (osservazione) senza essere causalmente azionabile tramite perturbazione additiva (intervento) perché la perturbazione interrompe inevitabilmente il calcolo condiviso del compito.
3. Valore Operativo delle Sonde: Anche quando lo steering fallisce, la struttura decodificabile ha utilità per la stima dell'affidabilità (astensione selettiva), offrendo uno strumento pratico per il deployment dove la correzione è impossibile.
4. Quadro Diagnostico: Gli autori propongono un Profilo di Accessibilità Lineare (LAP) e il rapporto di specificità come diagnosi pre-intervento. Suggeriscono che se una direzione ha bassa specificità (<0,21) e alta sovrapposizione con il calcolo del compito, è improbabile che lo steering lineare fisso abbia successo.

L'articolo conclude che, sebbene il "divario classificazione-correzione" sia un fenomeno empirico robusto nel ragionamento medico, potrebbe essere parzialmente colmabile da interventi non lineari appresi in grado di disintrecciare le direzioni condivise, una direzione per lavori futuri.