Sintesi Tecnica: Proiezione Casuale ad Alta Dimensionalità per il Controllo delle Attivazioni nei Modelli Linguistici

Definizione del Problema

Il controllo delle attivazioni (activation steering) è emerso come un metodo primario per controllare i Large Language Models (LLM) senza costosi processi di retraining. Gli attuali metodi allo stato dell'arte, come l'Activation Addition e la Directional Ablation, si affidano a vettori di Differenza tra le Medie (Difference-in-Means, DiM). Questi metodi stimano le direzioni di controllo calcolando la differenza lineare tra le medie delle attivazioni delle classi target e source nel residual stream originale.

Tuttavia, gli autori sostengono che questi metodi lineari siano fondamentalmente limitati. Sotto l'ipotesi della sovrapposizione (superposition hypothesis), le reti neurali codificano più feature di quante ne abbiano i neuroni, sovrapponendole nello spazio delle attivazioni. Di conseguenza, i segnali rilevanti per il comportamento potrebbero non essere catturati completamente da spostamenti medi lineari di primo ordine. Invece, i segnali discriminativi possono esistere in sottospazi di feature non lineari o come strutture statistiche di secondo ordine (ad esempio, differenze di varianza) che gli stimatori DiM lineari non riescono a recuperare. I tentativi esistenti di affrontare questo problema utilizzando gli Sparse Autoencoders (SAE) spesso ottengono prestazioni inferiori ai baseline lineari o richiedono addestramento, lasciando un vuoto per un approccio privo di addestramento (training-free) che possa accedere a questi segnali di ordine superiore.

Metodologia: HiDRA

Gli autori propongono HiDRA (High-Dimensional Random-projection for Activation steering), un framework training-free che modifica lo spazio in cui le direzioni di controllo vengono stimate e applicate.

Meccanismo Core

HiDRA opera elevando i vettori di attivazione in uno spazio non lineare ad alta dimensionalità prima di eseguire il controllo, per poi proiettare le attivazioni modificate nuovamente nel residual stream originale. La pipeline consiste in tre passaggi:

1. Elevazione (Proiezione): Dato un vettore di attivazione $x \in \mathbb{R}^d$ al layer $\ell$, HiDRA applica una proiezione casuale utilizzando una matrice Gaussiana $A \in \mathbb{R}^{m \times d}$ (dove $m \gg d$) seguita da una funzione di attivazione non lineare $\sigma$ (di default: LeakyReLU).
   $$x' = \sigma(Ax)$$
   Questo mappa i dati in uno spazio di feature ad alta dimensionalità $\mathcal{H}$.

2. Controllo nello Spazio Elevato: Il vettore di controllo $d^{(\ell)}$ viene calcolato come il vettore Differenza tra le Medie, ma calcolato all'interno dello spazio elevato ad alta dimensionalità utilizzando le attivazioni proiettate.
   $$d^{(\ell)} = \frac{1}{|D_{target}|} \sum_{t \in D_{target}} x'^{(\ell)}(t) - \frac{1}{|D_{source}|} \sum_{t \in D_{source}} x'^{(\ell)}(t)$$

3. Iniezione e Ricostruzione: Durante l'inferenza, il vettore di controllo viene aggiunto alle attivazioni proiettate con intensità $\alpha$. Il risultato viene poi proiettato nuovamente nello spazio originale utilizzando la pseudo-inversa della matrice di proiezione ($A^\dagger$) e l'inversa della funzione non lineare ($\sigma^{-1}$).
   $$x^{(\ell)}_{steered} = A^\dagger \sigma^{-1} \left( \sigma(Ax^{(\ell)}) + \alpha d^{(\ell)} \right)$$

Fondamento Teorico

Il paper fornisce una giustificazione teorica basata sul modello di sovrapposizione Gaussiana.

• Proposizione 3.1: Dimostra che se lo spazio delle feature può essere decomposto in un sottospazio lineare e un sottospazio residuo, il rapporto di Fisher (una misura del potere discriminativo) nello spazio delle feature è strettamente maggiore rispetto allo spazio lineare se esiste un segnale discriminativo residuo ($v_{res} \neq 0$).
• Teorema 3.5: Dimostra che sotto un modello di sovrapposizione Gaussiana, la norma della componente residua nello spazio elevato è inferiore a una soglia definita dai segnali discriminativi di secondo ordine (gap di varianza tra le classi). Ciò suggerisce che la proiezione casuale con non linearità permette agli stimatori lineari (come DiM) di catturare segnali che sono invisibili nello spazio lineare originale.

Contributi Chiave

1. Analisi Teorica: Gli autori dimostrano che, sotto l'ipotesi della sovrapposizione, esistono segnali discriminativi di secondo ordine nel sottospazio del comportamento. Dimostrano che il DiM nello spazio delle feature può provabilmente catturare questi segnali residui, che sono oltre la portata dei metodi standard di spostamento della media lineare.
2. Framework HiDRA: Introducono un metodo di controllo plug-in e training-free che si integra perfettamente con le pipeline esistenti. Non richiede il retraining del modello e utilizza una matrice di proiezione fissata e inizializzata casualmente.
3. Validazione Empirica: Esperimenti estesi su diverse famiglie di LLM (Gemma, Llama, Qwen) e task mostrano che HiDRA supera costantemente i controparti baseline preservando le capacità generali del modello.

Risultati Sperimentali

Gli autori hanno valutato HiDRA su tre distinti compiti di controllo:

1. Jailbreaking

• Setup: Controllo dei modelli per conformarsi a richieste dannose (utilizzando dataset come ADVBENCH e MALICIOUSINSTRUCT).
• Baseline: Confrontato con Mean-AcT (controllo standard DiM).
• Risultati: HiDRA ha ottenuto tassi di successo dell'attacco (ASR) più elevati in tutti i modelli testati (Gemma 2, Llama 3.2, Qwen 2.5). Ad esempio, su Gemma2-9B-IT, l'ASR è passato dall'84.00% (Mean-AcT) al 90.00% (HiDRA) nell'impostazione all-token. Fondamentalmente, le capacità di modellazione del linguaggio generale (misurate tramite TINYBENCHMARKS) sono rimaste comparabili ai baseline, indicando che non vi è stata una degradazione significativa dell'utilità (helpfulness).

2. Veridicità (Truthfulness)

• Setup: Controllo dei modelli per produrre risposte più veritiere e informative utilizzando il benchmark TRUTHFULQA.
• Risultati: HiDRA ha migliorato la metrica "true $\times$ informative" sia su Gemma-2-2B che su Llama-3-8B rispetto a Mean-AcT e all'assenza di controllo. Il metodo ha mantenuto le prestazioni sui benchmark generali, suggerendo che i guadagni in veridicità non sono stati ottenuti sacrificando la capacità generale.

3. QA a Scelta Multipla stile CAA

• Setup: Controllo della probabilità di specifici concetti comportamentali (ad esempio, "Sycophancy", "Hallucination") in un contesto a scelta multipla, confrontandolo con Contrastive Activation Addition (CAA) e Sparse Activation Steering (SAS).
• Risultati: HiDRA ha dimostrato un controllo superiore sui concetti target. Ha ottenuto i risultati migliori nella soppressione degli attributi negativi (minore probabilità del token) per tutti i sei concetti testati e nella promozione degli attributi positivi per cinque concetti su sei, superando sia CAA che SAS.

Studi di Ablazione

• Estrazione del Vettore: Gli autori hanno confrontato DiM con l'Analisi Discriminante Lineare (LDA) per l'estrazione del vettore. I risultati indicano che i guadagni di prestazione di HiDRA derivano principalmente dalla proiezione ad alta dimensionalità piuttosto che dal condizionamento della covarianza, poiché HiDRA con DiM ha superato LDA nello spazio originale.
• Nonlinearità: La scelta della mappa non lineare è importante. Sebbene le mappe polinomiali (Cube, Cubic) abbiano prodotto un alto ASR, esse hanno generato generazioni degenerate. Le varianti LeakyReLU e Skip-softplus sono risultate ottimali perché sono globalmente Lipschitziane, garantendo perturbazioni stabili quando si mappa nuovamente nel residual stream.

Significato e Rivendicazioni

Il paper sostiene che HiDRA offre un approccio provabilmente superiore al controllo delle attivazioni sfruttando la geometria delle proiezioni casuali ad alta dimensionalità.

• Oltre i Limiti Lineari: Affronta il limite dei metodi di controllo lineare catturando i segnali discriminativi che esistono nella struttura residua non lineare dello spazio delle attivazioni, specificamente quelli derivanti dalla sovrapposzione di feature latenti.
• Efficienza e Compatibilità: A differenza dei metodi basati su SAE, HiDRA è training-free e non richiede l'apprendimento di dizionari sparsi. Funziona come un "plug-in" che può essere combinato con qualsiasi pipeline di controllo esistente senza modificare l'architettura o i pesi del modello.
• Robustezza: Il metodo ottiene un controllo comportamentale più forte (ASR più alto, maggiore veridicità, controllo più fine dei concetti) senza il significativo overhead computazionale del retraining o la degradazione delle capacità spesso osservata in altri metodi di intervento.

Gli autori concludono che, sebbene HiDRA introduca un certo overhead computazionale durante l'inferenza dovuto ai passaggi di proiezione e ricostruzione, esso fornisce una via principiata ed efficiente in termini di campioni per sbloccare segnali di controllo di ordine superiore negli LLM.