Sintesi Tecnica: Rilevamento Perfetto, Controllo Fallito

Problema

Il paper investiga un'aspirazione centrale dell'interpretabilità meccanicistica: la convinzione che se un comportamento può essere rilevato all'interno delle attivazioni di un modello, esso possa essere controllato modificando le stesse attivazioni. Questo paradigma si basa su una premessa geometrica nascosta: che la direzione nel residual stream che meglio rileva un comportamento sia la stessa (o strettamente allineata a quella che meglio lo controlla o lo orienta/steers).

Gli autori mettono in discussione questa premessa ponendo una domanda geometrica precisa: qual è l'angolo tra la direzione che meglio discrimina un comportamento e la direzione che meglio lo causa? Se il rilevamento implica il controllo, l'angolo dovrebbe essere vicino a $0^\circ$ (coseno $\approx 1$). Altrimenti, l'angolo quantifica un "gap di rilevamento-intervento". Il paper testa questa ipotesi su due comportamenti contrastanti: il formato di output (una scelta di rendering) e l'allucinazione (la fabbricazione di fatti su entità inesistenti).

Metodologia

Lo studio impiega l'analisi al tempo di inferenza su Gemma 2-2B-it (26 strati, residual stream a 2304 dimensioni) e replica i risultati su altri tre modelli (Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B). Non viene eseguito alcun fine-tuning; tutte le interazioni sono manipolazioni causali tramite l'aggiunta di attivazioni.

Misurazioni Core

1. Costruzione della Direzione:
   • Direzione di Rilevamento ($d_{det}$): Costruita in due modi:
     • Basata sui dati: Differenza nelle medie (Difference-in-means, DiM) delle attivazioni del residual stream tra prompt di entità "false" e "reali".
     • Scelta manualmente: Contrasto tra righe nella matrice di unembedding ($W_{lm\_head}$) tra token tipici dell'incertezza (es. "Sfortunatamente") e token tipici della fabbricazione (es. "Il", "Parigi").
   • Direzione di Intervento ($d_{ref}$): Scelta manualmente da $W_{lm\_head}$ contrastando i token di rifiuto (es. "No", "non posso") rispetto ai token di conformità.
2. Metrica Geometrica: La similarità del coseno ($\cos$) tra $d_{det}$ e $d_{ref}$.
3. Validazione Causale: Le direzioni vengono aggiunte al residual stream in strati specifici ($\alpha \cdot d$) per misurare il cambiamento comportamentale (es. tassi di rifiuto).
4. Decomposizione del Segnale: Il residual stream viene decomposto in contributi di attenzione e MLP per localizzare dove risiede il segnale di rilevamento.
5. Replicazione Cross-Model: Il gap geometrico è misurato attraverso quattro modelli di diverse scale e famiglie per testarne la generalità.

Risultati Chiave

1. Il Caso Allineato: Formato di Output

Per il compito di passare tra il markdown fencing e il JSON pulito, il rilevamento e il controllo collassano su un singolo asse.

• La direzione derivata da $W_{lm\_head}$ che separa il fencing dall'output pulito è identica alla direzione che, se aggiunta, elimina il fencing.
• Risultato: $\cos \approx 1$. Il rilevamento implica il controllo. Questo funge da baseline di "sovrapposizione" dove il comportamento è una scelta di rendering separabile.

2. Il Caso Divergente: Allucinazione

Per l'allucinazione (fabbricazione di fatti su entità inesistenti), la premessa fallisce completamente.

• Rilevamento Perfetto: Il modello rileva le entità false con perfetta separabilità lineare ($AUC = 1.000$) a partire dallo strato 5 utilizzando molteplici metodi (linear probe, teste di attenzione, feature SAE).
• Controllo Fallito: La direzione che meglio rileva l'allucinazione è quasi ortogonale alla direzione che causa il rifiuto.
  • Coseno: $\cos(d_{det}, d_{ref}) \approx 0.12$ (angolo $\approx 83^\circ$).
  • Gap tra Metodi: Anche una direzione di rilevamento costruita puramente dalle attivazioni (DiM, senza token scelti manualmente) produce un $\cos \approx -0.06$ rispetto alla direzione di intervento.
• Conseguenza: Aggiungere la direzione di rilevamento perfetta al residual stream non induce il rifiuto; in alcuni casi, aumenta la fabbricazione. Il segnale esiste ma non viene instradato verso l'azione di output.

3. Cause Strutturali del Gap

• Dominanza della Copia dell'Entità: Nell'output mapping, la componente del residual stream ortogonale alla direzione di rilevamento è dominata da un meccanismo di "copia dell'entità" (che amplifica il nome dell'entità saliente). Questa componente è circa $12\times$ più grande del segnale di rilevamento, sommergendo efficacemente il segnale di incertezza epistemica.
• MLP vs Attenzione: Il segnale di rilevamento è trasportato quasi esclusivamente dai livelli MLP ($5.66\times$ più degli strati di attenzione) negli strati tardivi (L18–L25). Gli strati di attenzione a L17+ sono dispensabili per questo segnale; rimuoverli migliora effettivamente l'onestà.
• Instruction Tuning: Il gap geometrico ($\cos \approx 0.12$) è presente nel modello base e rimane invariato dopo l'instruction tuning. Il tuning sposta la posizione delle attivazioni lungo l'asse di rilevamento fisso (rendendo le falsità proiettate come più incerte) ma non altera l'angolo tra le direzioni di rilevamento e di intervento.

4. Mitigazione Parziale tramite Rotazione

Poiché le direzioni sono quasi ortogonali, gli autori hanno tentato di colmare il gap ruotando il vettore di intervento.

• Metodo: Una rotazione di $15^\circ$ dalla direzione di rilevamento verso la direzione di intervento ($d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$).
• Esito: In un test di stress su dati non visti, questa rotazione ha aumentato i tassi di rifiuto per le allucinazioni sottili (Tipo 2) dal 13% al 60%, con un tasso di falsi positivi di solo l'1.8%. Ciò conferma che il gap ha una struttura geometrica che può essere parzialmente colmata, sebbene non sia una soluzione completa.

5. Generalità Cross-Model

Il gap geometrico è robusto attraverso quattro modelli (Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B):

• Range del Coseno: $\cos \in [0.12, 0.20]$ (angoli $78^\circ$–$83^\circ$).
• Invariante: Il gap esiste indipendentemente dal tokenizer (SentencePiece vs BPE) o dalla scala del modello (1B–9B).
• Spettro Comportamentale: Nonostante la geometria identica, gli esiti comportamentali variano:
  • Gemma: Rileva perfettamente ma fabbrica.
  • Llama: Rileva perfettamente e rifiuta (l'azione avviene tramite un percorso separato e non misurato).
  • Qwen: Comportamento misto.
  • Conclusione: La geometria descrive la dissociazione tra il sapere e lo steering, ma non predice il comportamento predefinito del modello.

Significato e Rivendicazioni

Il paper stabilisce una dissociazione funzionale tra "sapere" (rilevamento) e "orientare" (controllo) nei modelli linguistici.

1. Il Rilevamento non è Controllo: La perfetta separabilità lineare di un comportamento (es. sapere che un'entità è falsa) non garantisce che la direzione di rilevamento possa essere usata per controllare tale comportamento. Le due facoltà occupano sottospazi quasi ortogonali nel residual stream.
2. Il Coseno è una Firma, non un Oracolo: Il coseno tra le direzioni di rilevamento e di intervento è una firma robusta e computabile tramite i pesi di questa dissociazione. Tuttavia, gli autori respingono esplicitamente l'idea che questo coseno serva come predittore a priori della orientabilità (steerability). Un coseno elevato (come nel caso del formato) è un caso eccezionale in cui un singolo vettore svolge entrambi i ruoli; un coseno basso indica un gap strutturale, ma l'esistenza del gap non implica che il comportamento sia non orientabile (come dimostrato dall'esperimento di rotazione).
3. Origine Strutturale: Il gap è stabilito durante il pretraining ed è invariante all'instruction tuning. Deriva dal fatto che la mappatura di output è dominata da meccanismi (come la copia dell'entità) che sono ortogonali al segnale epistemico.
4. Limiti dello Steering Lineare: I risultati suggeriscono che per comportamenti complessi come l'allucinazione, la semplice aggiunta di attivazioni lungo un singolo vettore di "rilevamento" è insufficiente. Un orientamento efficace potrebbe richiedere la navigazione nel sottospazio ad alta dimensione del rilevamento o la rotazione verso la direzione di intervento, riconoscendo che il rilevamento è una classe di direzioni, non un singolo vettore.

Il paper conclude che, sebbene l'interpretabilità meccanicistica possa leggere perfettamente gli stati interni, l'aggiornare (scrivere su) tali stati per alterare il comportamento richiede la comprensione del routing geometrico specifico tra i segnali epistemici e le azioni di output, che sono spesso strutturalmente disaccoppiati.