Contextual Linear Activation Steering of Language Models

1. Enunciato del Problema

I Large Language Models (LLM) possiedono capacità latenti (ad esempio, ragionamento, controllo del sentiment, rifiuto per motivi di sicurezza) che possono essere elicitate tramite Linear Activation Steering (LAS). Il LAS opera sull'"ipotesi di rappresentazione lineare", che postula che i concetti semantici siano rappresentati come direzioni lineari fisse nello spazio di attivazione del modello. Aggiungendo un vettore di steering scalato ($\alpha d$) alle attivazioni interne del modello, è possibile modificare il comportamento.

Tuttavia, i metodi LAS esistenti soffrono di due limitazioni critiche:

1. Indipendenza dal Contesto: I metodi attuali applicano un coefficiente scalare fisso ($\alpha$) uniformemente su tutti i token e i prompt. Ciò ignora le sfumature del contesto di input, portando a una qualità di steering inconsistente (sottosteering o oversteering) a seconda del prompt.
2. Inefficienza di Sintonizzazione: La selezione del $\alpha$ fisso ottimale richiede costose ricerche a griglia che coinvolgono valutatori umani o LLM per ogni nuovo compito, rendendo l'approccio fragile e difficile da scalare.

2. Metodologia: Contextual Linear Activation Steering (CLAS)

Gli autori propongono CLAS, un metodo che sostituisce il coefficiente scalare fisso con un coefficiente di steering appreso e dipendente dal contesto.

Meccanismo Principale

Invece di $\tilde{h}_{\ell,t} = h_{\ell,t} + \alpha d_\ell$, CLAS calcola un coefficiente dinamico basato sull'attivazione corrente e su un vettore di sensing appreso:
$$\tilde{h}_{\ell,t} = h_{\ell,t} + (c_\ell \cdot [h_{\ell,t}, 1]) d_\ell$$
Dove:

• $h_{\ell,t}$ è l'attivazione al blocco $\ell$ e al token $t$.
• $d_\ell$ è il vettore di steering (direzione) estratto da una sonda.
• $c_\ell \in \mathbb{R}^{k+1}$ è un vettore di sensing appreso specifico per il blocco $\ell$.
• $[h_{\ell,t}, 1]$ è la concatenazione dell'attivazione con un termine di bias costante.
• Il termine $(c_\ell \cdot [h_{\ell,t}, 1])$ agisce come il coefficiente di steering dinamico $\alpha_{\ell,t}$.

Processo di Addestramento in Due Fasi

CLAS disaccoppia l'estrazione della direzione di steering dalla sintonizzazione della forza di steering:

1. Estrazione del Vettore di Steering (Direzione):

   • Utilizza un dataset di coppie prompt-etichetta del concetto.
   • Addestra una Activation Probe in ogni blocco transformer utilizzando Recursive Feature Machines (RFM). L'RFM calcola iterativamente il Prodotto Esterno Medio dei Gradienti (AGOP) per apprendere caratteristiche rilevanti per il compito, superando le sonde lineari standard.
   • Il vettore di steering $d_\ell$ è il vettore proprio principale della matrice AGOP finale, orientato per correlare positivamente con le etichette del concetto.
   • Nota: Questo passaggio è senza backpropagation e veloce.

2. Apprendimento del Vettore di Sensing (Forza):

   • Utilizza un piccolo dataset di coppie prompt-completamento (dove il prompt manca dell'istruzione specifica del compito, ma il completamento dimostra il comportamento desiderato).
   • Congela tutti i parametri dell'LLM e apprende solo i vettori di sensing $\{c_\ell\}$ minimizzando la loss standard di previsione del prossimo token.
   • Ciò permette al modello di apprendere quando e quanto steare in base al contesto di input senza generare e valutare output.

3. Contributi Chiave

• Steering Dipendente dal Contesto: Introduce un meccanismo per modulare dinamicamente la forza di steering in base al contesto di input, risolvendo la fragilità dei metodi a coefficiente fisso.
• Sintonizzazione Efficiente: Elimina la necessità di costose ricerche a griglia e valutatori esterni. CLAS si sintonizza tramite la loss standard di previsione del prossimo token, che è significativamente più veloce e scalabile.
• Architettura Disaccoppiata: Separa la scoperta del "cosa" (direzione di steering tramite sonde RFM) dal "quanto" (vettori di sensing tramite fine-tuning), preservando l'interpretabilità delle direzioni di steering.
• Preservazione dell'Interpretabilità: A differenza dei metodi di fine-tuning efficiente dei parametri (PEFT) che apprendono matrici a basso rango opache, CLAS mantiene le direzioni delle sonde lineari, permettendo un monitoraggio accurato dei concetti.

4. Risultati Sperimentali

Gli autori hanno valutato CLAS su 11 compiti di steering diversificati (ad esempio, ragionamento passo-passo, traduzione multilingue, resistenza ai jailbreak, spostamento del sentiment) su 4 famiglie di modelli (Qwen2.5-7B, Llama-3.1-70B/8B, Llama-3.2-1B).

Benchmark delle Prestazioni:

• vs. LAS Standard: CLAS supera costantemente il LAS standard ($\alpha$ fisso) in quasi tutte le coppie modello-compito, spesso con margini sostanziali.
• vs. PEFT (LoRA & ReFT): CLAS eguaglia o supera le prestazioni di LoRA e ReFT (Rank-1) in scenari con dati limitati.
  • Velocità: CLAS è significativamente più veloce da sintonizzare rispetto al LAS (che richiede ricerca a griglia) e paragonabile o più veloce di LoRA/ReFT.
  • Robustezza: Nei test di interferenza (steering per un compito e valutazione su altri), CLAS causa un degrado minimo delle altre capacità rispetto ai significativi cali spesso osservati con LoRA e ReFT.
• Monitoraggio dei Concetti: Quando utilizzate come sonde lineari per rilevare concetti, le direzioni derivate da RFM utilizzate da CLAS hanno raggiunto una precisione significativamente più alta (Media ~96-97%) rispetto alle direzioni apprese da LoRA e ReFT (Media ~68-74%). Ciò conferma che le direzioni di CLAS sono più allineate semanticamente con i concetti target.

Risultati Specifici:

• Sul compito JailbreakBench, CLAS è stato l'unico metodo a indurre con successo un comportamento anti-rifiuto su tutti i modelli, mentre LoRA e ReFT hanno fallito completamente.
• CLAS ha raggiunto la precisione media più alta su 10/11 compiti per la maggior parte dei modelli.

5. Significato e Conclusione

Il paper dimostra che lo steering delle attivazioni lineari può essere scalato e reso robusto passando da coefficienti fissi a coefficienti appresi e consapevoli del contesto.

• Scalabilità: Rimuovendo la necessità di sintonizzazione per prompt o ricerche a griglia, CLAS rende lo steering delle attivazioni praticabile per il deployment nel mondo reale dove gli input variano dinamicamente.
• Interpretabilità: Colma il divario tra l'interpretabilità della comprensione meccanicistica (sonde) e le prestazioni del fine-tuning. I vettori di steering rimangono direzioni lineari interpretabili, a differenza dei pesi opachi di LoRA/ReFT.
• Generalizzazione: Il metodo dimostra che le direzioni di steering esistenti possono essere rese sostanzialmente più efficaci semplicemente modulandole con coefficienti dipendenti dal contesto, offrendo un nuovo paradigma per controllare il comportamento degli LLM senza un fine-tuning completo.

In sintesi, CLAS offre un'alternativa scalabile, interpretabile e accurata sia allo steering delle attivazioni tradizionale che al fine-tuning efficiente dei parametri, in particolare in scenari con dati etichettati limitati.