Riepilogo Tecnico: UniSteer

Enunciato del Problema

Il controllo basato sull'attivazione è emerso come un paradigma leggero e modulare per guidare i Modelli Linguistici di Grande Dimensione (LLM) intervenendo sulle rappresentazioni interne durante l'inferenza, evitando la necessità di aggiornamenti dei parametri. Tuttavia, i metodi esistenti presentano limitazioni significative in termini di flessibilità e composibilità:

• Direzioni Fisse: Metodi come l'Aggiunta di Attivazione Contrastiva (CAA) e l'Ingegneria delle Rappresentazioni (RepE) si basano su direzioni di guida predefinite e fisse, derivate da esempi contrastivi.
• Moduli Specifici per Attività: I metodi di intervento appresi (ad esempio, LoReFT, ODESteer) addestrano moduli separati per ogni comportamento target.
• Fallimento Compositivo: Questi approcci faticano a gestire concetti granulari o vincoli compositivi (ad esempio, "sii utile, innocuo e conciso") perché le direzioni apprese indipendentemente spesso interferiscono tra loro negli spazi di attivazione ad alta dimensionalità.

La sfida principale è sviluppare un meccanismo unificato in grado di guidare gli LLM verso comportamenti, concetti e requisiti multi-vincolo arbitrari utilizzando il linguaggio naturale, senza adattare modelli separati per ogni target.

Metodologia: UniSteer

Gli autori propongono UniSteer, un modello di matching del flusso di attivazione guidato dal testo che apprende una distribuzione condizionata sulle attivazioni del residual stream. Invece di apprendere vettori fissi, UniSteer apprende un campo di velocità condizionale universale nello spazio delle attivazioni.

1. Matching del Flusso di Attivazione Condizionato dal Testo

UniSteer modella la distribuzione condizionata $p_\theta(a^{(\ell)}_i | c, \ell, i)$, dove $a$ è l'attivazione del residual stream al livello $\ell$ e al token $i$, e $c$ è una condizione in linguaggio naturale (ad esempio, "Sii malvagio" o "Sii conciso e innocuo").

• Obiettivo di Addestramento: Il modello apprende un campo vettoriale condizionale $v_\theta$ minimizzando la perdita di matching del flusso. Interpola tra uno stato di rumore precedente $a_0 \sim \mathcal{N}(0, I)$ e un'attivazione target $a_1$ utilizzando un percorso di probabilità lineare $a_t = (1-t)a_0 + ta_1$. La velocità target è $u_t = a_1 - a_0$. Il modello è addestrato per prevedere questa velocità condizionata al testo $c$.
• Architettura: Il modello di flusso è implementato come un transformer in stile DiT con attenzione incrociata verso un encoder di testo congelato (Qwen3-0.6B) e embedding appresi per le posizioni dei livelli e dei token.

2. Guida dell'Attivazione in Tempo di Inferenza tramite Inversione del Flusso

Per guidare un LLM congelato, UniSteer esegue un'inversione del flusso invece di campionare da zero:

1. Inversione Parziale: Un'attivazione sorgente $a_{src}$ (osservata durante la generazione) viene trasportata all'indietro lungo il flusso condizionato dalla condizione sorgente $c_{src}$ fino a uno stato latente rumoroso intermedio $a_\tau$ (dove $\tau = 1 - \lambda$, e $\lambda$ è la forza di modifica).
2. Rigenerazione in Avanti: Lo stato latente viene quindi trasportato in avanti lungo il flusso condizionato dalla condizione target $c_{tgt}$ per generare un'attivazione modificata $\hat{a}_{edit}$.
3. Iniezione: L'attivazione modificata viene iniettata nuovamente nel residual stream dell'LLM congelato per influenzare la generazione successiva.

3. Classificazione nello Spazio delle Attivazioni

UniSteer funge anche da classificatore senza un testata separata. Dato un insieme candidato di etichette testuali, il modello ricostruisce l'attivazione di input sotto ciascuna condizione. L'etichetta che produce la minima energia di ricostruzione condizionata ($\|a - \tilde{a}(c_j)\|^2_2$) viene selezionata come previsione.

Contributi Chiave

1. Formulazione Unificata: Il documento formula la guida dell'attivazione come trasporto di attivazione condizionato dal testo, introducendo un modello di matching del flusso condizionale che apprende un singolo campo di velocità per target di controllo eterogenei (tratti comportamentali, concetti granulari e multi-vincoli).
2. Inversione del Flusso per la Modifica: Gli autori propongono un meccanismo di inversione del flusso che consente a un singolo modello di gestire sia la guida comportamentale singola che quella composita, invertendo parzialmente e rigenerando le attivazioni in base a condizioni in linguaggio naturale.
3. Interfaccia Unificata per Modifica e Classificazione: Lo stesso modello di attivazione condizionale serve a duplice scopo: guidare la generazione tramite inversione del flusso e classificare gli stati interni tramite energia di ricostruzione, eliminando la necessità di classificatori o moduli di intervento specifici per attività.

Risultati Sperimentali

Gli autori hanno valutato UniSteer su tre LLM target (Llama-3.2-1B, Qwen2.5-1.5B e Qwen2.5-7B) in cinque scenari:

• Controllo Comportamentale (Persona): UniSteer ha ottenuto i punteggi più alti per i tratti target su tutti i modelli per tratti come "malvagio" e "adulatore", superando le linee di base come CAA e RepE.
• Guida della Veridicità (TruthfulQA): UniSteer ha migliorato il punteggio Truth*Info rispetto ai modelli originali, dimostrando la capacità di guidare verso l'accuratezza fatturale piuttosto che solo verso lo stile.
• Guida di Concetti Granulari (AxBench): UniSteer ha ottenuto prestazioni competitive o superiori nella guida dei concetti (ad esempio, "sii breve") rispetto alle linee di base specifiche per concetto, nonostante l'uso di un singolo modello condiviso.
• Follow di Istruzioni Multi-Vincolo (RECAST): UniSteer ha gestito con successo vincoli simultanei (ad esempio, 5 o 10 vincoli), superando le linee di base che faticano con l'interferenza tra multiple direzioni fisse.
• Classificazione nello Spazio delle Attivazioni (ToxiGen): Utilizzando l'energia di ricostruzione, UniSteer ha raggiunto una precisione e un AUC all'avanguardia o pari ai migliori nella classificazione di contenuti tossici rispetto a non tossici, validando la sua capacità di catturare distribuzioni di attivazione dipendenti dalla condizione.
• Analisi a Livello di Token: L'analisi dei vincoli "start_with" ha mostrato che UniSteer applica le modifiche in modo consapevole della posizione, allineandosi fortemente alle direzioni dei vincoli in posizioni specifiche dei token (ad esempio, l'inizio di una risposta) piuttosto che applicare perturbazioni globali.

Significato e Affermazioni

Il documento afferma che UniSteer fornisce un'interfaccia unificata per la guida e la classificazione degli LLM. Spostandosi da direzioni fisse o moduli specifici per attività a un campo di velocità condizionato dal testo, il metodo gestisce naturalmente vincoli compositivi e concetti granulari che sono difficili da combinare per i metodi esistenti.

Gli autori sottolineano che questo approccio consente:

• Versatilità: Un singolo modello può gestire attività diverse (persona, veridicità, vincoli) semplicemente cambiando la condizione testuale.
• Componibilità: I requisiti multi-vincolo sono espressi direttamente nel testo della condizione, evitando i problemi di interferenza derivanti dalla combinazione di vettori di guida separati.
• Interpretabilità: La capacità del modello di classificare le attivazioni tramite energia di ricostruzione suggerisce che il flusso appreso cattura efficacemente la struttura semantica degli stati interni del modello.

Gli autori notano delle limitazioni, tra cui la mancanza di valutazione sulla generazione di testi lunghi, la stabilità nei turni multipli e su compiti di ragionamento complessi. Evidenziano inoltre considerazioni di sicurezza, riconoscendo che lo stesso meccanismo utilizzato per migliorare l'utilità potrebbe teoricamente essere utilizzato per amplificare comportamenti indesiderati, rendendo necessari futuri filtri di sicurezza e audit.