Measuring Semantic Abstractness of SAE Features via Nonlocality

Sintesi Tecnica: Misurare l'Astrazione Semantica delle Feature di SAE tramite la Non-località

Problema
Gli Sparse Autoencoder (SAE) sono diventati uno strumento primario per scoprire spiegazioni meccanicistiche dei comportamenti dei Large Language Model (LLM), come il ragionamento e il jailbreaking, isolando le feature causalmente efficaci. Tuttavia, rimane una lacuna critica nel distinguere tra feature semantiche genuinamente di alto livello e feature di superficie guidate dai token (ad esempio, specifici indizi lessicali o pattern di formattazione). Gli attuali metodi di selezione delle feature — che si affidano al filtraggio per parole chiave, dataset contrastivi o auto-interpretazioni generate da LLM — spesso non riescono a risolvere il livello di astrazione di una feature. Di conseguenza, il successo dello steering comportamentale tramite intervento non implica necessariamente una comprensione meccanicistica del calcolo sottostante; una feature potrebbe semplicemente aumentare la probabilità di emettere un token specifico (ad esempio, "Wait") piuttosto che rappresentare un concetto complesso come l'"incertezza". È necessario un metrico indipendente dagli LLM e privo di etichette (label-free) per quantificare la "complessità meccanicistica" o l'astrazione semantica delle feature di un SAE.

Metodologia: Non-località della Feature (FNL)
Gli autori introducono la Feature Nonlocality (FNL) come un testimone quantitativo della portata contestuale di una feature. Ispirandosi alla dualità olografica, la FNL tratta la sequenza di token del transformer come un' "evoluzione temporale" e misura la "posizione" dell'attivazione di una feature in questo spazio temporale.

Il metrico è definito come segue:

1. Influenza per Posizione: Per una specifica feature $a$ attivata alla posizione del token finale $T$ di un prompt $P$, gli autori calcolano la norma del gradiente al quadrato dell'attivazione della feature rispetto all'embedding di input in ogni posizione precedente $t$ ($1 \le t \le T$). Questo misura quanto l'attivazione della feature dipenda da specifici token di input.
   $$J_a(t, T, P) := \left\| \frac{\partial z_a(T, P)}{\partial x_t} \right\|_2^2$$
2. Distribuzione di Probabilità: Questi punteggi di influenza sono normalizzati per formare una distribuzione di probabilità $p_a^{(P)}(t)$ sulle posizioni del prefisso.
3. Calcolo dell'Entropia: La non-località $H(a, P)$ è definita come l'entropia di Shannon di questa distribuzione.
   $$H(a, P) := -\sum_{t=1}^T p_a^{(P)}(t) \log_2 p_a^{(P)}(t)$$
4. Aggregazione: Un punteggio FNL a livello di dataset $H(a, D)$ si ottiene mediando l'entropia su un insieme di eventi di attivazione.

Intuitivamente, una bassa FNL indica che l'attivazione di una feature è guidata da token locali e specifici (bassa entropia, influenza concentrata), mentre una alta Fла FNL indica che una feature integra informazioni in modo ampio attraverso la finestra di contesto (alta entropia, influenza diffusa).

Contributi Chiave

1. Definizione di FNL: Il paper propone la FNL come un metrico basato sul gradiente, label-free e indipendente dall'LLM, per caratterizzare la tipica portata contestuale di una feature di un SAE.
2. Validazione di Stabilità e Geometria: Gli autori dimostrano che i ranking FNL sono stabili attraverso diversi dataset (WikiText, GSM8K, Code-Python) e profondità del modello. Mostrano inoltre che la FNL correla con la geometria delle feature, dove le feature con vettori di decoder simili (funzioni di lato scrittura simili) condividono intervalli di non-località simili.
3. Correlazione con l'Astrazione Semantica: La FNL è validata rispetto a due misure proxy indipendenti dell'astrazione:
   • Suscettibilità all'Iniezione di Token: Le feature ad alta FNL mostrano una minore suscettibilità all'essere triggerate da iniezioni di token isolati (falsi positivi), distinguendole dalle feature guidate dai token.
   • Invarianza alla Parafrasi: Le feature ad alta FNL esibiscono una maggiore robustezza rispetto alle parafrasi che preservano il significato (meno falsi negativi) rispetto alle feature a bassa FNL.
4. Applicazioni a Valle:
   • Audit di Mitigazione del Jailbreak: Gli autori hanno rianalizzato le feature utilizzate per mitigare i jailbreak di tipo "wrapper". Hanno scoperto che le feature più efficaci avevano una FNL vicina allo zero, attivandosi quasi esclusivamente all'inizio della sequenza (indicatori posizionali) piuttosto che riconoscere l'intento dannoso. Ciò suggerisce che i meccanismi di mitigazione attuali si basano su artefatti superficiali piuttosto che sulla comprensione semantica.
   • Reasoning Steering: In un esperimento di prova di concetto su DeepSeek-R1-Distill-Llama-8B, lo steering delle feature ad alta FNL ha migliorato l'accuratezza su MATH-500 di 4.6 punti rispetto alla baseline non steerata, superando lo steering delle feature a bassa FNL e le baseline casuali.

Risultati

• Metriche di Correlazione: La FNL mostra una significativa correlazione negativa con il recupero dall'iniezione di token ($\rho \approx -0.46$) e una correlazione positiva con la robustezza alla parafrasi ($\rho \approx 0.27$).
• Potere Discriminante: La FNL distingue con successo le feature dipendenti dal contesto da quelle guidate dai token nel 73–84% delle coppie estratte casualmente (AUC 0.73–0.84).
• Risultati sul Jailbreak: Nell'audit di 25 feature di mitigazione del jailbreak, 21 sono state identificate come posizionali (0 FNL), e lo steering di queste feature posizionali è stato responsabile della maggior parte del miglioramento della difesa, mentre lo steering delle 4 feature sensibili al contenuto ha prodotto guadagni trascurabili.
• Performance di Steering: Lo steering ad alta FNL su DeepSeek-R1-Distill-Llama-8B ha raggiunto un'accuratezza su MATH-500 di 0.911 (avg@4), rispetto a 0.865 per la baseline non steerata. Tuttavia, gli autori notano che questo guadagno è specifico del modello; su altri modelli (Gemma-2-9B, Qwen3-8B), lo steering ad alta FNL non ha superato costantemente le baseline.

Significatività e Rivendicazioni
Il paper conclude che la FNL fornisce un testimone correlazionale, label-free e indipendente dall'LLM del livello di astrazione di una feature di un SAE. Non sostiene di essere un predittore perfetto dell'utilità dello steering in tutti i contesti, ma argomenta che offre uno strumento diagnostico necessario per distinguere tra trigger lessicali superficiali e veri calcoli di alto livello.

Gli autori sottolineano che, mentre l'utilità dello steering valida il controllo, la FNL aiuta a validare la comprensione rivelando se una feature rappresenta un concetto semantico complesso o un semplice indizio posizionale. Questa distinzione è cruciale per sviluppare spiegazioni meccanicistiche robuste dei comportamenti degli LLM e per progettare interventi di sicurezza più efficaci che prendano di mira il riconoscimento dell'intento reale piuttosto che gli artefatti superficiali. Il lavoro è presentato come un passo verso l'interpretabilità meccanicistica fine, con la cautela che i risultati dello steering siano una prova di concetto e non una garanzia generale che l'alta non-località predica l'utilità.