CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits

Riepilogo Tecnico: CircuitSteer

Problematica

Il controllo del comportamento dei Large Language Models (LLM) tramite lo steering durante l'inferenza rimane una sfida critica per l'allineamento dell'IA. I metodi esistenti, come il Contrastive Activation Addition (CAA) e la Representation Engineering (RepE), si affidano tipicamente a interventi su un singolo livello fisso derivati da differenze di attivazione aggregate. Tali approcci affrontano due limitazioni primarie:

1. Conflazione Semantica: Applicano un singolo vettore di intervento su input semanticamente diversi, fallendo spesso nel catturare la natura distribuita dei concetti di alto livello.
2. Disallineamento Geometrico: I concetti semantici di alto livello sono distribuiti su più livelli ed evolvono progressivamente attraverso la rete. Gli interventi multi-livello privi di considerazione geometrica falliscono perché le feature che codificano lo stesso concetto a profondità diverse spesso presentano direzioni di decoder geometricamente disallineate. Combinare queste senza allineamento causa interferenza distruttiva, portando al collasso della fluidità (degradazione della qualità del testo) o a cambiamenti comportamentali instabili.

Gli attuali metodi basati su Sparse Autoencoder (SAE) migliorano l'interpretabilità scomponendo le attivazioni in feature monosemantiche, ma spesso assumono ancora che l'intervento a singolo livello sia sufficiente, ignorando la propagazione cross-layer dei segnali semantici.

Metodologia: CircuitSteer

CircuitSteer è un framework training-free che sfrutta gli SAE per identificare e manipolare circuiti semantici coerenti distribuiti su più livelli. Invece di selezionare le feature indipendentemente in ogni livello, costruisce un circuito di flusso di feature basato su due criteri congiunti:

1. Co-attivazione delle Feature: Identificazione di coppie di feature $(l, i)$ e $(l+1, j)$ che sono simultaneamente attive sugli stessi input, approssimando l'influenza causale.
2. Allineamento Geometrico: Assicurare che le direzioni di decoder di queste feature siano compatibili (alta similarità del coseno). Ciò evita l'interferenza distruttiva quando gli interventi vengono applicati attraverso i livelli.

Il metodo procede in tre fasi:

• Circuit Discovery (Scoperta del Circuito): Utilizzando l'analisi contrastiva tra prompt target ($D^+$) e prompt benigni ($D^-$), il metodo calcola un punteggio di specificità contrastiva per gli archi nel grafo del flusso di feature. Gli archi con punteggi di specificità elevati vengono mantenuti per isolare il sottocircuito responsabile del comportamento target.
• Vector Synthesis (Sintesi del Vettore): Per ogni livello coinvolto nel sottocircuito isolato, viene sintetizzato un vettore di steering denso mediando le direzioni di decoder di tutte le feature che partecipano agli archi del circuito. Questo decoppia l'entità dell'intervento dalla dimensione del circuito.
• Multi-Point Intervention (Intervento Multi-punto): Durante l'inferenza, questi vettori sintetizzati vengono applicati simultaneamente in tutti i livelli rilevanti con un coefficiente scalare $\lambda$. L'allineamento geometrico assicura che gli interventi rafforzino uno spostamento direzionale coerente attraverso la profondità, piuttosto che permettere ai livelli successivi di compensare le perturbazioni precedenti.

Il framework non richiede aggiornamenti dei pesi o ottimizzazione basata su gradienti; utilizza SAE pre-addestrati (es. Gemma-Scope, Llama-Scope) ed esegue operazioni algebriche sulle attivazioni del forward pass.

Contributi Chiave

• Framework CircuitSteer: Un nuovo metodo di steering multi-livello training-free che identifica circuiti SAE specifici per il comportamento tramite co-attivazione delle feature e allineamento geometrico delle direzioni di decoder.
• Necessità dell'Allineamento Geometrico: Dimostrazione empirica che l'allineamento geometrico delle direzioni di decoder è un prerequisito per uno steering multi-livello stabile. Le feature disallineate causano il collasso della fluidità, mentre le feature allineate ottengono una riduzione comportamentale costante con una perplexity vicina al baseline.
• Benchmarking Completo: Valutazione rispetto a otto baseline (inclusi CAA, RepE, ITI, LoReFT e metodi basati su SAE) su quattro dataset comportamentali (Tossicità, Emozione, Sicofanzia, Rifiuto) e due famiglie di modelli (Gemma-2-2B e Lamente-3.1-8B-Instruct).

Risultati

In tutti i modelli e dataset, CircuitSteer è l'unico metodo a produrre costantemente interventi che preservano la fluidità:

• Preservazione della Fluidità: I metodi concorrenti sacrificano la qualità del testo (alta perplexity) o non riescono a ottenere una riduzione comportamentale sufficiente. CircuitSteer mantiene la perplexity normalizzata vicina a 1.0 pur ottenendo una significativa riduzione comportamentale.
• Comportamenti Complessi: Su compiti difficili come la sicofanzia e il rifiuto, i metodi a singolo livello (es. CAA) spesso falliscono completamente o producono cambiamenti trascurabili. CircuitSteore riduce con successo la sicofanzia su Gemma-2-2B (dove altri metodi falliscono) e riduce i tassi di rifiuto dall'89% allo 0% su Llama-3.1-8B-Instruct.
• Robustezza: Il metodo scala efficacemente su modelli più grandi (Qwen3.5-27B) e diverse famiglie di SAE senza necessità di ritaratura degli iperparametri.
• Preservazione delle Capacità: Lo steering forte non degrada significativamente le capacità core; l'accuratezza su MMLU e GSM8K rimane ampiamente intatta.

Significato e Rivendicazioni

L'articolo sostiene che CircuitSteer dimostra che lo steering di circuiti multi-livello, reso possibile dall'imposizione dell'allineamento geometrico tra le feature selezionate, produce un controllo comportamentale strettamente più robusto ed efficace rispetto agli interventi statici a singolo punto.

Gli autori posizionano questo lavoro come un passo fondamentale verso un deployment più sicuro dei modelli linguistici, poiché:

1. Passa da interventi opachi sul residual stream a un controllo trasparente a livello di feature, dove il sottocircuito specifico per un comportamento può essere ispezionato e regolato.
2. Affronta i fallimenti fondamentali dello steering multi-livello privo di considerazione geometrica (interferenza distruttiva e collasso della fluidità).
3. Fornisce un meccanismo scalabile e training-free per il controllo comportamentale che rispetta la struttura computazionale distribuita degli LLM.

L'articolo conclude che allineare gli interventi alla geometria delle feature del modello stesso è essenziale per ottenere sia la robustezza che la trasparenza nell'allineamento dell'IA.