Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

Riepilogo Tecnico: Interventi Causali su Variabili Continue negli Vettori di Guida

Enunciato del Problema
I metodi di interpretabilità causale per i Modelli Linguistici di Grandi Dimensioni (LLM) si sono concentrati prevalentemente su caratteristiche discrete, come il numero grammaticale o i confini sintattici. Tuttavia, molti aspetti critici dell'elaborazione del linguaggio e della conoscenza concettuale sono intrinsecamente graduati (continui). Il documento affronta il divario nell'applicazione delle tecniche di intervento causale alle variabili continue. Nello specifico, gli autori indagano se le caratteristiche psicolinguistiche continue, come il bias verbale (la preferenza graduata di un verbo per una struttura sintattica rispetto a un'altra, ad es. Oggetto Doppio vs. Dativo Preposizionale), siano rappresentate causalmente nelle attivazioni interne degli LLM e se tali rappresentazioni possano essere manipulate per alterare il comportamento a valle. Inoltre, lo studio esplora la relazione tra queste rappresentazioni continue e l'Apprendimento in Contesto (ICL), in particolare i meccanismi di aggiornamento guidati dall'errore ipotizzati come fondamento del priming strutturale.

Metodologia
Gli autori propongono un framework per l'intervento causale su variabili continue all'interno dei vettori di attivazione, applicato specificamente ai vettori di guida (task vectors) estratti dalle dimostrazioni in contesto.

1. Estrazione dei Vettori di Guida: Seguendo Hendel et al. (2023), gli autori estraggono stati nascosti dagli LLM (Llama-2-13B, Llama-3-1B, Llama-3-8B) alla posizione del verbo target durante sequenze in contesto. Queste sequenze consistono in $n-1$ frasi prime (dimostrazioni) seguite da una frase target. Gli stati nascosti vengono mediati per creare un vettore di guida $\bar{\theta}_{\langle v,s \rangle}$ che rappresenta il "compito" di produrre una struttura $s$ influenzata dal verbo $v$.
2. Localizzazione delle Variabili Continue: Per intervenire su una variabile continua (ad es. bias verbale $b_v \in (0,1)$), gli autori:
   • Proiettano vettori di attivazione ad alta dimensionalità in uno spazio a dimensionalità inferiore utilizzando l'Analisi delle Componenti Principali (PCA).
   • Normalizzano le coordinate PCA.
   • Adattano un modello di regressione (regressione Beta per variabili vincolate come il bias verbale; OLS per variabili con segno) per prevedere la variabile continua target dalle coordinate normalizzate. Ciò identifica un vettore di direzione a bassa dimensionalità $\beta$ corrispondente alla variabile.
3. Modifica Controfattuale: Per modificare un vettore $h_i$ verso un valore target controfattuale $y^*_i$, gli autori calcolano un aggiornamento minimo di norma $L_2$, $\Delta \tilde{z}_i$, lungo la direzione identificata $\beta$. L'aggiornamento è definito come:
   $$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$$
   dove $S$ rappresenta il sottoinsieme delle componenti principali selezionate per la modifica (tipicamente le prime 5 per magnitudine del coefficiente). Il vettore modificato viene quindi mappato nuovamente nello spazio originale e iniettato nel modello per osservare gli effetti a valle.
4. Condizioni Sperimentali: Lo studio testa quattro condizioni di intervento:
   • Invariato: Controllo (bias originale).
   • Inversione: Invertire il bias ($b_v \to 1 - b_v$).
   • Completamente Biasato: Saturare il bias a 0 (completamente biasato verso DO) o 1 (completamente biasato verso PD).
   • Modifica del Segnale di Errore: Un segnale di errore con segno $e = b_v - s$ (dove $s$ è la struttura osservata) viene modificato analogamente per testare comportamenti di aggiornamento guidati dall'errore.

Risultati Chiave

• I Vettori di Guida Inducono Priming: I vettori di guida estratti dalle frasi prime inducono con successo effetti di priming strutturale negli strati medio-tardi (Layer 15+). L'iniezione di un vettore prime PD aumenta la preferenza del modello per le strutture PD, e viceversa.
• Ruolo Causale del Bias Verbale: Il bias verbale continuo è linearmente prevedibile dai vettori di guida. La modifica controfattuale di questo bias modula causalmente l'entità dell'effetto di priming.
  • Condizione di Inversione: Invertire il bias verbale nel vettore di guida inverte la correlazione tra il bias originale del verbo e l'entità del priming.
  • Condizione Completamente Biasata: Saturare il bias elimina la variazione nell'entità del priming tra verbi diversi, confermando che il sottospazio identificato determina causalmente la natura graduata dell'effetto.
• Presenza vs. Utilizzo del Segnale di Errore:
  • Presenza: Una variabile simile a un segnale di errore (che combina bias verbale e struttura osservata) è presente nei vettori di guida e può essere causalmente modificata per produrre spostamenti graduali nelle preferenze a valle.
  • Limitazione: Nonostante la presenza di questo segnale, i vettori di guida non modificati non riproducono l'Effetto di Frequenza Inversa (IFE)—il fenomeno per cui strutture prime inaspettate inducono un priming più forte. L'iniezione standard del vettore di guida produce una pendenza positiva (che corrisponde al bias del verbo) piuttosto che la pendenza negativa prevista dalle teorie dell'apprendimento guidato dall'errore.
  • Dinamiche per Strati: Mentre il bias verbale è accessibile negli strati iniziali, l'integrazione di bias e struttura in un segnale di errore manipolabile che guida gli aggiornamenti graduali emerge solo negli strati medio-tardi (Layer 15+).

Significato e Affermazioni
Il documento apporta quattro contributi principali:

1. Estensione Metodologica: Dimostra un metodo valido per eseguire interventi causali su variabili continue, superando le caratteristiche discrete che hanno dominato l'interpretabilità causale.
2. Verifica Causale: Stabilisce che il bias verbale non è semplicemente correlato, ma è rappresentato causalmente nei vettori di guida, poiché le modifiche controfattuali alterano sistematicamente le preferenze strutturali a valle.
3. Analisi del Meccanismo ICL: Fornisce una visione sfumata dei vettori di guida come meccanismo per l'ICL. Sebbene catturino con successo la componente di attivazione transitoria del priming strutturale (spostando le preferenze in base al contesto), non riescono a catturare la piena dinamica di aggiornamento guidato dall'errore (in particolare l'IFE). Ciò suggerisce che i vettori di guida additivi approssimano lo stato rappresentativo indotto dal contesto, ma non replicano pienamente la regola computazionale di aggiornamento dell'ICL.
4. Mappatura Teorica: Gli autori propongono una mappatura tra teorie psicolinguistiche e meccanismi degli LLM: i vettori di guida si allineano alle teorie di "attivazione transitoria" del priming, mentre il componente guidato dall'errore mancante potrebbe richiedere meccanismi meglio caratterizzati come aggiornamenti di pesi a basso rango o processi di apprendimento implicito piuttosto che una semplice addizione di vettori.

Gli autori concludono che, sebbene l'intervento su variabili continue sia uno strumento diagnostico e causale potente, collegare queste rappresentazioni continue alla piena dinamica dell'apprendimento in contesto rimane una sfida, poiché l'attuale approccio basato sui vettori di guida cattura il "cosa" (lo stato di preferenza) ma non l'intero "come" (il processo di adattamento guidato dall'errore) dell'ICL.