Sintesi Tecnica: Valutazione della Robustezza Avversaria delle Rappresentazioni di Concetti negli Autoencoder Sparsi

Definizione del Problema

Gli Autoencoder Sparsi (SAE) sono emersi come uno strumento primario per l'interpretabilità meccanicistica, mappando le attivazioni dense interne dei Large Language Models (LLM) in rappresentazioni concettuali sparse e interpretabili dall'uomo. Mentre le valutazioni esistenti degli SAE si concentrano sui compromessi tra ricostruzione e sparsità, l'interpretabilità umana e il disincanto dei tratti (feature disentanglement), esse trascurano ampiamente una dimensione critica: la robustezza alle perturbazioni dell'input.

Le valutazioni attuali spesso assumono input statici, coerenti e non perturbati. Tuttavia, in contesti avversari — dove un fornitore di spiegazioni e un consumatore possono avere obiettivi contrastanti — le rappresentazioni degli SAE potrebbero essere vulnerabili. Se un avversario può creare perturbazioni minime dell'input che manipolano le attivazioni degli SAE senza alterare significativamente il comportamento di base dell'LLM, la fedeltà dell'etichettatura dei concetti è compromessa. Ciò solleva preoccupazioni sulla affidabilità degli SAE per il monitoraggio dei modelli, la supervisione della sicurezza e altre applicazioni a valle che dipendono da rappresentazioni concettuali stabili.

Metodologia

Framework Teorico

Gli autori formalizzano la robustezza degli SAE come problemi di ottimizzazione nello spazio di input. Pongono una mappatura di "verità fondamentale" (ground-truth) $f_c$ dallo spazio di input $X$ allo spazio dei concetti semantici $C$. La robustezza è definita dalla preservazione dell'allineamento tra lo spazio latente sparso appreso $Z$ e $C$ sotto perturbazioni avversarie.

L'assunto centrale è che la mappatura di verità fondamentale sia bi-Lipschitziana, il che significa che piccoli cambiamenti nelle sequenze di token di input (misurati tramite la distanza di Levenshtein) corrispondono proporzionalmente a piccoli cambiamenti nei concetti semantici. Ciò consente di condurre la ricerca di esempi avversari direttamente nello spazio di input $X$ piuttosto che nell'ipotetico spazio dei concetti $C$.

Il framework di valutazione definisce la robustezza attraverso due obiettivi di ottimizzazione:

1. Non mirata (Untargeted): Massimizzare la distanza tra l'attivazione originale dell'SAE $z_1$ e l'attivazione perturbata $z'_1$, data una distanza di modifica dell'input limitata.
2. Mirata (Targeted): Minimizzare la distanza tra l'attivazione perturbata $z'_1$ e un'attivazione target $z_2$ (proveniente da un input semanticamente non correlato) mantenendo limitata la perturbazione dell'input.

Dimensioni di Valutazione

Gli autori propongono un framework strutturato che combina tre dimensioni binarie per definire otto distinti scenari avversari:

1. Obiettivo Semantico: Non mirato (alterare generalmente le attivazioni dell'SAE) vs. Mirato (indirizzare le attivazioni verso un input non correlato).
2. Obiettivo di Attivazione:
   • Livello di Popolazione: Manipolare l'insieme dei latenti attivati dai top-$k$, misurato tramite il rapporto di sovrapposenza dei concetti.
   • Livello Individuale: Attivare o disattivare una specifica feature dell'SAE, misurato tramite cambiamenti di rango binario.
3. Modalità di Perturbazione: Cambiamenti minimi dell'input, specificamente la sostituzione di un singolo token o l'aggiunta di un suffisso di un singolo token.

Algoritmo di Attacco

Per risolvere questi problemi di ottimizzazione, gli autori adattano l'algoritmo Greedy Coordinate Gradient (GCG), originariamente progettato per l'ottimizzazione dei prompt negli LLM. Poiché le metriche di distanza nello spazio latente sparso sono non differenziabili, il metodo impiega un approccio ibrido:

• Calcolo del Gradiente: I gradienti sono calcolati utilizzando funzioni di perdita differenziabili (ad es., similarità del coseno, log-likelihood) sullo spazio di rappresentazione continuo dell'SAE.
• Selezione dei Candidati: I candidati avversari vengono generati e valutati utilizzando le metriche di distanza originali non differenziabili (ad es., rapporto di sovrapposenza dei concetti, stato di attivazione binaria) nello spazio discreto dell'input.

Contributi Chiave

1. Identificazione di una Lacuna Critica: Il documento identifica la robustezza come una dimensione fondamentale, sebbene poco esplorata, nella valutazione degli SAE, sostenendo che le rappresentazioni concettuali devono essere stabili sotto perturbazioni dell'input per essere considerate affidabili.
2. Framework di Valutazione Completo: Gli autori introducono un framework teoricamente fondato che definisce la robustezza degli SAE attraverso obiettivi semantici e di attivazione, consentendo test sistematici delle vulnerabilità avversarie.
3. Metodologia di Attacco Generalizzata: Propongono un algoritmo di attacco a livello di input generalizzato, adattato da GCG, capace di generare input avversari che manipolano le interpretazioni degli SAE.
4. Evidenza Empirica di Fragilità: Esperimenti estesi su molteplici LLM open-source (Gemma2, Llama3), architetture SAE (JumpReLU, Top-K) e dataset dimostrano che le rappresentazioni concettuali degli SAE sono altamente fragili.

Risultati Sperimentali

Gli autori hanno valutato il loro framework su Gemma2-2B, Gemma2-9B e Llama3-8B con varie larghezze e livelli di SAE, utilizzando dataset tra cui AdvBench, AG News, SST2 e un dataset generato "Art & Science".

• Alti Tassi di Successo: Piccole perturbazioni avversarie (spesso la sostituzione di un singolo token) manipolano efficacemente le interpretazioni basate sui concetti.
  • Livello di Popolazione: Gli attacchi non mirati hanno ridotto con successo la sovrapposenza dei concetti tra l'input originale e quello perturbato a circa il 20–30%, mentre gli attacchi mirati hanno aumentato la sovrapposenza con un target non correlato al 50–60%.
  • Livello Individuale: Oltre il 60% dei latenti SAE selezionati erano manipolabili in contesti mirati. Negli scenari di disattivazione, i tassi di successo hanno raggiunto circa il 90%.
• Disaccoppiamento dalla Robustezza dell'LLM: Fondamentalmente, i probe lineari addestrati sugli stati nascosti dell'LLM di base hanno mantenuto un'alta accuratezza (>90%) nel rilevare concetti semantici (ad es., danno, sentimento, argomento) anche dopo le perturbazioni avversarie. Ciò indica che le rappresentazioni semantiche interne dell'LLM rimangono stabili, mentre la mappatura dell'SAE verso i concetti è il punto di fallimento.
• Vulnerabilità Non Avversaria: Anche le perturbazioni non avversarie, come la sostituzione di una parola con un sinonimo, hanno ridotto la sovrapposenza dei concetti di circa il 30%, suggerendo una fragilità intrinseca oltre agli attacchi malevoli.
• Trasferibilità: Gli attacchi si sono trasferiti tra diversi modelli (ad es., da Gemma2 a Llama3) mostrando una degradazione delle prestazioni ma rimanendo efficaci, indicando una vulnerabilità generale nell'interpretazione basata su SAE.

Significato e Rivendicazioni

Il documento conclude che le rappresentazioni concettuali degli SAE sono fragili e che, senza ulteriore denoising o post-processing, potrebbero essere inadatte ad applicazioni che richiedono alta affidabilità, come il monitoraggio dei modelli e la supervisione della sicurezza.

• Implicazioni per l'Interpretabilità: I risultati mettono in discussione l'assunto che i latenti SAE forniscano una visione stabile e monosemantica degli interni del modello. Se un avversario può facilmente alterare il "concetto" che un SAE riporta senza cambiare l'effettivo output o la comprensione semantica del modello, l'affidabilità di queste spiegazioni è compromessa.
• Direzioni Future: Gli autori sostengono che la robustezza debba essere una componente centrale dell'agenda di valutazione degli SAE. Suggeriscono che il lavoro futuro debba concentrarsi sullo sviluppo di metodi per denoisare le attivazioni degli SAE e isolare segnali affidabili. Inoltre, pongono che queste vulnerabilità probabilmente si estendono ad altri approcci ispirati agli SAE, come transcoders e crosscoders, evidenziando la necessità di obiettivi orientati alla robustezza nella ricerca sull'interpretabilità meccanicistica.

Il documento non afferma che gli SAE siano inutili, ma piuttosto che il loro attuale impiego in ambienti avversari o ad alto rischio è rischioso senza affrontare questi problemi di stabilità. Il framework proposto serve come strumento diagnostico per identificare e filtrare le interpretazioni non robuste.