Riepilogo Tecnico: FLAS (Steering delle Attivazioni basato su Flusso)

Enunciato del Problema

Sebbene i Modelli Linguistici su Larga Scala (LLM) dimostrino capacità elevate, il controllo affidabile del loro comportamento per allinearlo a preferenze o concetti umani specifici al momento dell'inferenza rimane una sfida. I meccanismi di controllo esistenti presentano limitazioni distinte:

• Prompting: Sebbene semplice, il prompting in contesto spesso fallisce nell'incorporare in modo robusto concetti complessi senza degradare il rispetto delle istruzioni o la fluidità.
• Fine-tuning: Metodi come LoRA o SFT sono computazionalmente costosi, soggetti a oblio catastrofico e mancano di interpretabilità.
• Steering delle Attivazioni: I metodi attuali di steering delle attivazioni (es. DiffMean, CAA, ReFT) modificano le rappresentazioni intermedie mantenendo i parametri del modello congelati. Tuttavia, valutazioni su larga scala su AxBench rivelano che questi metodi sono frequentemente superati dal semplice prompting. Inoltre, richiedono spesso un'ottimizzazione della forza per concetto su set di sviluppo e generalizzano male a concetti non visti.

Gli autori ipotizzano che queste limitazioni derivino da semplificazioni non validate condivise dai metodi precedenti, specificamente:

1. Trasformazioni Fisse a Singolo Passo: Gli interventi sono limitati a un singolo vettore di spostamento applicato una sola volta.
2. Invarianza Posizionale: Lo stesso intervento è applicato uniformemente su tutte le posizioni dei token in una sequenza.
3. Supervisione Contrastiva: Molti metodi si basano su dati accoppiati positivi/negativi (coppie contrastive) per l'addestramento.

Metodologia: FLAS

Il documento propone FLAS (Steering delle Attivazioni basato su Flusso), un metodo che sostituisce gli interventi fissi a singolo passo con un campo di velocità appreso condizionato al concetto.

Formulazione Principale

FLAS modella il processo di steering come un flusso continuo piuttosto che un salto discreto. Dato un modello linguistico di base con stato nascosto $h$ al livello $\ell$ e una descrizione del concetto in linguaggio naturale $c$, FLAS apprende un campo di velocità $v_\theta(h, t, c)$ definito dall'Equazione Differenziale Ordinaria (ODE):
$$\frac{d}{dt}\phi_t(h) = v_\theta(\phi_t(h), t, c)$$
dove $\phi_0(h) = h$. L'attivazione steerata $h'$ è ottenuta integrando questo campo di velocità dal tempo $t=0$ a un tempo di flusso $T$:
$$h' = \phi_T(h) = h + \int_0^T v_\theta(\phi_t(h), t, c) dt$$

In pratica, questo integrale è approssimato utilizzando un metodo di Eulero in avanti a N-passi:
$$h_{k+1} = h_k + \frac{T}{N} v_\theta\left(h_k, \frac{kT}{N}, c\right)$$
Ciò permette all'intervento di seguire traiettorie curve e multi-passo attraverso lo spazio delle attivazioni, adattandosi mentre lo stato dell'attivazione evolve.

Architettura (FlowBlock)

Il campo di velocità $v_\theta$ è istanziato come un FlowBlock, un modulo in stile transformer inserito a un livello specifico del modello di base congelato.

• Input: Attivazione corrente $h_k$, rappresentazione codificata del concetto $\phi(c)$ e passo temporale $t_k$.
• Meccanismo:
  1. Condizionamento Temporale: Il tempo viene iniettato tramite embedding sinusoidali.
  2. Cross-Attention: L'attivazione presta attenzione alla codifica del concetto (prodotta da un encoder del concetto congelato che riutilizza i livelli iniziali del modello di base).
  3. Self-Attention & MLP: Un livello di self-attention causale e una rete feedforward elaborano le informazioni per produrre uno spostamento per token.
• Proprietà Chiave:
  • Dipendente dallo Stato: La velocità dipende dall'attivazione corrente $h$, permettendo traiettorie adattive.
  • Per Token: La velocità è calcolata per ogni posizione del token, permettendo uno steering non uniforme attraverso una sequenza.
  • Zero-Shot: È addestrato su esempi positivi solamente (risposte allineate al concetto) utilizzando un obiettivo standard di modellazione linguistica, eliminando la necessità di coppie contrastive.

Strategia di Addestramento

• Obiettivo: Minimizzare l'entropia incrociata della modellazione linguistica sui token di output dopo l'iniezione dell'attivazione steerata $h_N$.
• Penalità di Diversità: Viene aggiunta una perdita di diversità per penalizzare la similarità coseno tra le velocità medie raggruppate di concetti diversi all'interno di un batch, assicurando direzioni di steering distinte.
• Controllo della Forza: Il tempo di flusso $T$ agisce come parametro scalare continuo. Randomizzando $T$ durante l'addestramento (es. $T \sim \text{Uniform}[0.5, 2.0]$), il modello impara a estrapolare a diverse forze all'inferenza senza ottimizzazione per concetto.

Contributi Chiave

1. Framework FLAS: L'introduzione di un campo di velocità condizionato al concetto integrato tramite passi di Eulero multipli, abilitando uno steering adattivo, multi-passo e sensibile alla posizione addestrato esclusivamente su dati positivi.
2. Prestazioni su AxBench: FLAS è il primo metodo di steering appreso a superare costantemente il prompting in contesto sul benchmark AxBench.
   • Gemma-2-2B-IT (Tenuto fuori): HMean 1.015 (vs. Prompting 0.762).
   • Gemma-2-9B-IT (Tenuto fuori): HMean 1.113 (vs. Prompting 1.091).
   • Crucialmente, ciò è ottenuto con un singolo tempo di flusso fisso ($T=2$) e nessuna ottimizzazione per concetto.
3. Generalizzazione: Il metodo generalizza attraverso famiglie di modelli (testato su Qwen3-4B) e scala in modo monotono con il numero di concetti di addestramento (fino a 16k), mostrando nessuna saturazione chiara.
4. Insight Geometrici: L'analisi del flusso appreso rivela che le traiettorie di steering efficaci sono curve, richiedono molti passi per essere risolte e variano significativamente attraverso le posizioni dei token. Ciò sfida l'"Ipotesi di Rappresentazione Lineare" e suggerisce che le ipotesi precedenti sulla geometria dello spazio delle attivazioni sono incomplete.

Risultati e Analisi

• Robustezza: A differenza delle baseline (es. ReFT, DiffMean, AcT) che degradano nel rispetto delle istruzioni e nella fluidità all'aumentare della forza di steering, FLAS mantiene punteggi elevati su un'ampia gamma di tempi di flusso ($T \in [0.5, 4.0]$).
• Studi di Ablazione:
  • Cross-Attention: Disabilitare la cross-attention (il percorso per le informazioni sul concetto) causa un crollo catastrofico delle prestazioni ($t = -37.82$).
  • Multi-Passo: Ridurre i passi di integrazione a $N=1$ (un singolo spostamento adattivo) degrada significativamente le prestazioni, confermando la necessità di traiettorie curve e multi-passo.
  • Perdita di Diversità: Rimuovere la penalità di diversità riduce le prestazioni e causa un collasso nel rispetto delle istruzioni a tempi di flusso elevati.
• Costo Computazionale: FLAS introduce un sovraccarico per token nella generazione (circa 1.5x sui modelli da 2B) a causa della valutazione ripetuta del FlowBlock, ma ciò è considerato accettabile dati i guadagni di qualità. È significativamente più efficiente in termini di parametri rispetto a HyperSteer (che utilizza una hypernetwork di 2.6B+ parametri).

Significato

Il documento afferma che FLAS rappresenta un cambiamento di paradigma nello steering delle attivazioni trattando gli interventi come flussi piuttosto che vettori statici.

• Evidenza Empirica: Fornisce prove empiriche che uno steering efficace richiede interventi non lineari e sensibili alla posizione, suggerendo che le ipotesi geometriche alla base di gran parte della letteratura precedente sono incomplete.
• Impatto Pratico: Rimuovendo la necessità di dati contrastivi e ottimizzazione per concetto, FLAS offre una via più scalabile e robusta per controllare il comportamento degli LLM, colmando con successo il divario tra la flessibilità del prompting e l'efficienza dello steering senza parametri.
• Insight Teorico: La visualizzazione di traiettorie curve e multi-passo offre una nuova lente per comprendere i calcoli interni degli LLM, andando oltre l'ipotesi di sottospazio lineare.