Riepilogo Tecnico: Sonda Causale in Tempo di Inferenza negli LLM (HDMI)

1. Enunciato del Problema

Il documento affronta le limitazioni dei metodi attuali di sonda causale utilizzati per comprendere come i Modelli Linguistici di Grandi Dimensioni (LLM) utilizzino le rappresentazioni interne per la previsione.

• Limitazione della Sonda Correlazionale: I metodi tradizionali addestrano classificatori ausiliari ("sonde") sugli stati nascosti per rilevare proprietà linguistiche (ad esempio, il numero del soggetto). Sebbene questi mostrino cosa è codificato, non dimostrano come il modello utilizza tale informazione per generare il token successivo.
• Limitazione della Sonda Causale: Gli approcci causali esistenti tentano di intervenire sugli stati nascosti per alterare le proprietà (ad esempio, cambiando il singolare in plurale) e osservare i cambiamenti nell'output. Tuttavia, questi metodi dipendono tipicamente dall'addestramento di una sonda separata per determinare la direzione dell'intervento (ad esempio, utilizzando il gradiente della sonda per invertire un'etichetta).
  • Svantaggi: Ciò introduce costi di addestramento aggiuntivi, richiede supervisione specifica per la proprietà e rischia un disallineamento. Il confine di classificazione della sonda potrebbe non coincidere con la "geometria predittiva" interna del modello, portando a interventi che non guidano efficacemente la generazione del modello o alterano involontariamente proprietà non correlate.

Gli autori propongono la Sonda Causale in Tempo di Inferenza, un framework in cui gli interventi sono applicati interamente in fase di inferenza senza riaddestrare il modello o addestrare sonde ausiliarie.

2. Metodologia: Intervento sul Margine Guidato dagli Stati Nascosti (HDMI)

Il contributo principale è HDMI, una tecnica priva di sonde e basata sui gradienti che sfrutta direttamente l'head di output nativo del modello generativo per guidare gli stati nascosti.

2.1 Meccanismo Principale

HDMI opera definendo un obiettivo di margine tra un token "sorgente" (la continuazione preferita originale del modello) e un token "target" (la continuazione controfattuale desiderata).

• Obiettivo: Massimizzare il margine dei logit $L(x) = \phi(x)_\tau - \phi(x)_\sigma$, dove $\phi(x)$ è il vettore dei logit, $\tau$ è l'indice del token target e $\sigma$ è l'indice del token sorgente.
• Intervento: Il metodo esegue una discesa del gradiente (gradient ascent) sullo stato nascosto $h_\ell(x)$ a uno strato specifico $\ell$ per aumentare la probabilità del token target diminuendo quella del token sorgente.
• Efficienza Computazionale: Per lo strato finale, il gradiente è un prodotto matrice-vettore in forma chiusa: $\nabla_{h_L} L(x) = W_U^\top (e_\tau - e_\sigma)$. Ciò evita la necessità di un addestramento iterativo della sonda.
• Estensione a Multi-token: Il metodo supporta insiemi di token (ad esempio, più verbi plurali validi) sommando i logit sugli insiemi target ($T^+$) e sorgente ($T^-$), definiti come $L_{set}(x) = \sum \phi(x)_{\tau_i} - \sum \phi(x)_{\sigma_j}$.

2.2 HDMI con Anticipazione (LA-HDMI) per la Modifica del Testo

Per affrontare la modifica del testo in cui un utente fornisce una sequenza modificata, gli autori introducono LA-HDMI.

• Sfida: La generazione autoregressiva standard non permette agli stati nascosti al passo $t$ di essere consapevoli delle future modifiche al passo $t' > t$.
• Soluzione: LA-HDMI introduce un meccanismo di "anticipazione" che retropropaga i gradienti attraverso gli embedding dei token attesi.
  • Disaccoppia il passaggio in avanti (utilizzando una temperatura bassa $\beta_f$ per mantenere la fluidità) dal percorso del gradiente (utilizzando una temperatura alta $\beta_g$ per calcolare gli embedding attesi).
  • La funzione obiettivo $J_t(h_t)$ accumula obiettivi di margine per le future posizioni di modifica (fino a $S_{max}$ passi avanti), regolando lo stato nascosto corrente $h_t$ per guidare le generazioni future verso le modifiche dell'utente, preservando al contempo la fluidità nelle regioni non modificate.

3. Framework di Valutazione

Il documento valuta gli interventi utilizzando due metriche principali, seguendo il framework di Canby et al. [2024]:

1. Completezza: Misura se l'intervento sposta con successo la proprietà target (ad esempio, cambiando il numero del soggetto) nello stato nascosto, verificato da una sonda di validazione separata.
2. Selettività: Misura se le proprietà non correlate (variabili di disturbo, ad esempio il numero del nome non soggetto) rimangono stabili dopo l'intervento.
3. Affidabilità: La media armonica di Completezza e Selettività, che funge da misura complessiva della qualità dell'intervento.

4. Risultati Chiave

Gli autori hanno valutato HDMI su Meta-Llama-3-8B-Instruct e Pythia-70M utilizzando il corpus di accordo LGD e il benchmark CausalGym.

• Prestazioni: HDMI raggiunge costantemente un'Affidabilità superiore rispetto alle baseline guidate da sonde (AlterRep, FGSM, PGD) nella maggior parte dei compiti.
  • Nei suite di accordo (ad esempio, accordo soggetto-verbo), HDMI spesso raggiunge una Completezza perfetta e un'alta Selettività.
  • A differenza delle baseline, le prestazioni di HDMI sono indipendenti dalla qualità di una sonda interventiva, poiché non ne utilizza una. Baseline come AlterRep e PGD hanno mostrato cali significativi delle prestazioni su modelli più piccoli (Pythia-70M) quando l'accuratezza della sonda era inferiore.
• Robustezza: HDMI mantiene un'affidabilità coerente tra diverse dimensioni del modello e compiti, mentre i metodi basati su sonde hanno mostrato risultati misti sensibili alla proprietà specifica e al modello.
• Modifica del Testo: LA-HDMI ha dimostrato con successo la capacità di guidare la generazione verso modifiche specificate dall'utente (ad esempio, cambiando "girl" in "owl" o "was" in "were") mantenendo la fluidità grammaticale e regolando il contesto necessario (ad esempio, cambiando "a" in "an").

5. Significato e Affermazioni

Il documento afferma che HDMI rappresenta un passaggio dalla sonda causale dipendente da sonde a quella nativa del modello.

• Allineamento: Utilizzando l'head di output del modello per definire la direzione dell'intervento, HDMI garantisce che la perturbazione sia allineata con la geometria predittiva effettiva del modello, evitando i rischi di disallineamento delle sonde esterne.
• Efficienza: Il metodo è computazionalmente leggero, richiedendo solo una discesa del gradiente sugli stati nascosti senza il sovraccarico dell'addestramento di classificatori ausiliari.
• Generalità: L'approccio si estende naturalmente alle proprietà multi-token e offre un meccanismo per la modifica fluida del testo tramite gradienti di anticipazione.

Gli autori riconoscono le limitazioni, inclusa la sensibilità agli iperparametri (dimensione del passo, temperatura, orizzonte) e la potenziale attenuazione dei gradienti nei compiti di modifica del testo a lungo raggio. Suggeriscono lavori futuri sulla selezione adattiva degli strati e sulla pianificazione della dimensione del passo per migliorare ulteriormente la selettività senza sacrificare la completezza.