Sintesi Tecnica: Fine-Grained Activation Steering (AUSteer)

1. Definizione del Problema

Lo steering delle attivazioni è emerso come un paradigma efficiente dal punto di vista dei costi per modificare i comportamenti dei Large Language Model (LLM) senza ulteriore addestramento. Tuttavia, i metodi esistenti operano prevalentemente a livello di blocco (block-level), intervenendo su attivazioni raggruppate di multi-head attention (MHA), reti feed-forward (FFN) o stream residui.

Gli autori identificano un difetto critico in questo approccio: le attivazioni a livello di blocco sono intrinsecamente eterogenee. Un singolo vettore di attivazione di un blocco contiene centinaia o miglia di dimensioni, ognuna delle quali corrisponde a una caratteristica distinta. Alcune dimensioni controllano distribuzioni di token benefiche, mentre altre controllano distribuzioni irrilevanti o addirittura dannose. Di conseguenza, lo steering a livello di blocco è:

1. Troppo grossolano: Tratta il blocco come un'entità singola, impedendo un targeting preciso.
2. Inefficiente: Amplifica simultaneamente segnali utili e dannosi, portando spesso a un degrado delle prestazioni.
3. Eccessivamente intrusivo: Modifica molte dimensioni non necessarie, aumentando l'impronta dell'intervento.

Il paper sostiene che "guidare meno permette di ottenere di più" (steering less achieves more) passando dagli interventi a livello di blocco agli interventi a livello di Unità Atomica (AU - Atomic Unit) fine-grained.

2. Metodologia: AUSteer

Il metodo proposto, AUSteer, decompone le attivazioni di blocco in Unità Atomiche (AU). Un'AU è definita come una singola dimensione di un'attivazione di blocco, corrispondente a una specifica colonna (slice) della matrice dei pesi del blocco. Lo steering di un'attivazione a livello di AU equivale a guidare la sua AU associata.

AUSteer consiste in due componenti primarie:

A. Localizzazione dell'Unità Atomica tramite Momentum dell'Attivazione

Per identificare quali AU siano rilevanti per il compito senza addestramento, gli autori propongono il momentum dell'attivazione (activation momentum).

• Campioni Contrastivi: Il metodo utilizza coppie di campioni positivi (corretti/di alta qualità) e negativi (errati/di bassa qualità).
• Calcolo del Momentum: Per ogni AU $i$ e coppia di campioni $j$, il momentum dell'attivazione $m_i^j$ è calcolato come la differenza tra l'attivazione sul campione positivo ($x_{i, pos}^j$) e quella sul campione negativo ($x_{i, neg}^j$).
  $$m_i^j = x_{i, pos}^j - x_{i, neg}^j$$
• Scoring Discriminativo: Il metodo conta le occorrenze di momentum positivo e negativo attraverso tutte le coppie per determinare se un'AU promuove o sopprime costantemente l'output desiderato. Lo score discriminativo $s_i$ è definito come la proporzione massima di promozione o soppressione coerente:
  $$s_i = \max(r_{pos}^i, r_{neg}^i)$$
  dove $r_{pos}^i$ e $r_{neg}^i$ sono le proporzioni di coppie in cui il momentum è positivo o negativo, rispettivamente.
• Selezione: Le AU sono classificate globalmente in base ai loro score discriminativi, e le prime $k$ AU vengono selezionate per l'intervento.

B. Steering Adattivo

Una volta localizzate le AU discriminative, AUSteer applica uno steering adattivo per garantire la robustezza attraverso diversi input e AU.

• Adattività all'Input: Invece di aggiungere un vettore costante, il metodo scala l'attivazione corrente: $\hat{x}_i = x_i + \gamma_i x_i$. Ciò preserva il segno e la direzione dell'attivazione originale pur adattandosi alla sua magnitudo.
• Adattività all'AU: La forza dello steering $\gamma_i$ è personalizzata in base al potere discriminativo di ciascuna AU.
  $$\gamma_i = \begin{cases} \alpha \cdot r_{pos}^i & \text{se } r_{pos}^i > r_{neg}^i \\ -\alpha \cdot r_{neg}^i & \text{altrimenti} \end{cases}$$
  Qui, $\alpha$ è un fattore globale di forza dello steering. Uno steering più forte viene applicato alle AU con score discriminativi più elevati.

3. Contributi Chiave

1. Analisi Teorica ed Empirica dell'Eterogeneità: Gli autori dimostrano che le attivazioni a livello di blocco sono eterogenee perché diverse AU governano distinte distribuzioni di token in uscita. Guidare una singola AU sposta l'output del modello verso la distribuzione specifica di quell'AU, mentre lo steering a livello di blocco mescola distribuzioni benefiche e dannose.
2. Framework AUSteer: Un nuovo metodo che localizza le AU discriminative usando il momentum dell'attivazione e applica uno steering adattivo e specifico per l'input.
3. Efficienza e Precisione: Il metodo raggiunge prestazioni superiori intervenendo su un numero significativamente minore di attivazioni (al massimo 100) rispetto ai metodi allo stato dell'arte (SOTA) che ne modificano migliaia.

4. Risultati Sperimentali

AUSteer è stato valutato su molteplici LLM (LLaMA2-7B-Chat, Gemma2-9B-it, Qwen3-8B e varianti più grandi) attraverso tre categorie di task:

• Ragionamento Comune (Commonsense Reasoning): BoolQ, COPA, WinoGrande.
• Risoluzione di Problemi Matematici: SVAMP, MAWPS.
• Generazione Aperta (Open-Ended Generation): Detossificazione (RealToxicPrompts) e Allineamento (BPO).

Risultati Chiave:

• Prestazioni: AUSteer ha superato costantemente i baseline SOTA (ITI, CAA, SADI, STA) in tutti i task. Ad esempio, su LLaMA2-7B-Chat, AUSteer-FFN ha raggiunto un'accuratezza media del 61,34% nei task di ragionamento/matematica, superando SADI (59,49%) mentre guidava $\le 100$ attivazioni rispetto alle migliaia di SADI.
• Qualità della Generazione: Nella generazione aperta, AUSteer ha migliorato i tassi di detossificazione del 2–3% rispetto a SADI e ha aumentato i win-rate per i comportamenti preferiti dagli umani dal 4,5% all'8,5%.
• Scalabilità: Il metodo è rimasto efficace su modelli più grandi (fino a 70B parametri) e architetture diverse (inclusi modelli MoE sparsi).
• Studi di Ablazione: Rimuovere la localizzazione del momentum dell'attivazione o lo steering adattivo ha portato a cali significativi delle prestazioni, confermando la necessità di entrambi i componenti.
• Efficienza: AUSteer ha richiesto un overhead computazionale minore e una minore impronta di intervento rispetto ai baseline, con tempi di inferenza comparabili ai modelli vanilla.

5. Significato e Rivendicazioni

Il paper sostiene che il tradizionale paradigma di intervento a livello di blocco è fondamentalmente limitato dall'eterogeneità degli spazi di attivazione. Decomponendo gli interventi al livello di Unità Atomica (AU), AUSteer dimostra che uno steering selettivo e fine-grained è più efficace di interventi ampi e grossolani.

Il nucleo della significatività risiede nel principio di "guidare meno, ottenere di più" (steering less, achieving more). Gli autori dimostrano che:

• Non tutte le dimensioni in un blocco sono utili; molte sono neutre o dannose.
• Identificare e guidare solo le AU più discriminative (usando il momentum dell'attivazione) produce maggiore precisione.
• Lo scaling adattivo basato sull'input e sull'importanza dell'AU previene la distorsione dei segnali utili.

Il lavoro fornisce una giustificazione teorica del perché gli interventi mirati superino quelli globali e offre un framework pratico, privo di addestramento, che riduce significativamente l'impronta computazionale e di intervento necessaria per controllare i comportamenti degli LLM.