Technische Samenvatting: Evaluatie van de Adversariële Robuustheid van Conceptrepresentaties in Sparse Autoencoders

Probleemstelling

Sparse Autoencoders (SAEs) zijn uitgegroeid tot een primaire tool voor mechanistische interpreteerbaarheid, waarbij ze de dichte interne activaties van Large Language Models (LLMs) mappen naar ijle (sparse), menselijk interpreteerbare conceptrepresentaties. Hoewel huidige evaluaties van SAEs zich richten op de afruil tussen reconstructie en ijlheid (sparsity), menselijke interpreteerbaarheid en feature-ontvlechting (disentanglement), negeren ze grotendeels een cruciale dimensie: robuustheid tegen input-perturbaties.

Huidige evaluaties gaan vaak uit van statische, coherente en ongestoorde inputs. Echter, in adversariële contexten — waar een uitleggende partij en een consument conflicterende doelen kunnen hebben — zouden SAE-representaties kwetsbaar kunnen zijn. Als een tegenstander minimale input-perturbaties kan creëren die de SAE-activaties manipuleren zonder het gedrag van het onderliggende LLM significant te veranderen, komt de getrouwheid (fidelity) van de conceptlabeling in gevaar. Dit roept zorgen op over de betrouwbaarheid van SAEs voor modelmonitoring, veiligheidstoezicht en downstream-toepassingen die afhankelijk zijn van stabiele conceptuele representaties.

Methodologie

Theoretisch Kader

De auteurs formaliseren de robuustheid van SAEs als optimalisatieproblemen in de inputruimte. Zij stellen een "ground-truth" conceptmapping $f_c$ voor van de inputruimte $X$ naar een semantische conceptruimte $C$. Robuustheid wordt gedefinieerd door het behoud van de uitlijning tussen de geleerde ijle latente ruimte $Z$ en $C$ onder adversariële perturbaties.

De kernaanname is dat de ground-truth mapping bi-Lipschits is, wat betekent dat kleine veranderingen in input-tokensequenties (gemeten via Levenshtein-afstand) proportioneel overeenkomen met kleine veranderingen in semantische concepten. Dit maakt het mogelijk om de zoektocht naar adversariële voorbeelden direct in de inputruimte $X$ te voeren, in plaats van in de hypothetische conceptruimte $C$.

Het evaluatiekader definieert robuustheid via twee optimalisatie-objectieven:

1. Untargeted (Niet-gericht): Maximaliseer de afstand tussen de originele SAE-activatie $z_1$ en de geperturbeerde activatie $z'_1$, gegeven een begrensde input-editafstand.
2. Targeted (Doelgericht): Minimaliseer de afstand tussen de geperturbeerde activatie $z'_1$ en een doel-activatie $z_2$ (afkomstig van een semantisch ongerelateerde input), terwijl de input-perturbatie begrensd blijft.

Evaluatiedimensies

De auteurs stellen een gestructureerd kader voor dat drie binaire dimensies combineert om acht verschillende adversariële scenario's te definiëren:

1. Semantisch Doel: Untargeted (het algemeen veranderen van SAE-activaties) versus Targeted (het sturen van activaties naar een specifieke, ongerelateerde input).
2. Activatie Doel:
   • Populatieniveau: Het manipuleren van de verzameling van de top-$k$ geactiveerde latents, gemeten aan de hand van de concept-overlapratio.
   • Individueel Niveau: Het activeren of deactiveren van een specifieke SAE-feature, gemeten aan de hand van binaire rangveranderingen.
3. Perturbatiemodus: Minimale inputveranderingen, specifiek het vervangen van een enkel token of het toevoegen van een single-token suffix.

Aanvalsalgoritme

Om deze optimalisatieproblemen op te lossen, passen de auteurs het Greedy Coordinate Gradient (GCG) algoritme aan, dat oorspronkelijk is ontworpen voor prompt-optimalisatie in LLMs. Omdat de afstand-metrieken in de ijle latente ruimte niet-differentieerbaar zijn, gebruiken zij een hybride aanpak:

• Gradiëntberekening: Gradiënten worden berekend met behulp van differentieerbare verliesfuncties (bijv. cosinus-gelijkenis, log-likelihood) over de continue SAE-representatieruimte.
• Kandidaatselectie: Adversariële kandidaten worden gegenereerd en geëvalueerd met behulp van de originele niet-differentieerbare afstand-metrieken (bijv. concept-overlapratio, binaire activatiestatus) in de discrete inputruimte.

Belangrijkste Bijdragen

1. Identificatie van een Cruciale Kloof: Het artikel identificeert robuustheid als een fundamentele, maar onderbelichte dimensie in de evaluatie van SAEs, en stelt dat conceptrepresentaties stabiel moeten zijn onder input-perturbaties om als betrouwbaar te worden beschouwd.
2. Omvattend Evaluatiekader: De auteurs introduceren een theoretisch gefundeerd kader dat de robuustheid van SAEs definieert over semantische en activatie-doelen, wat systematische tests van adversariële kwetsbaarheden mogelijk maakt.
3. Gegeneraliseerde Aanvals-methodologie: Ze stellen een algemeen bruikbaar input-niveau aanvalsalgoritme voor, aangepast van GCG, dat in staat is om inputs te genereren die de SAE-interpretaties manipuleren.
4. Empirisch Bewijs van Fragiliteit: Uit uitgebreide experimenten met diverse open-source LLMs (Gemma2, Llama3), SAE-architecturen (JumpReLU, Top-K) en datasets blijkt dat de conceptrepresentaties van SAEs zeer fragiel zijn.

Experimentele Resultaten

De auteurs evalueerden hun kader op Gemma2-2B, Gemma2-9B en Llama3-8B met verschillende SAE-breedtes en lagen, gebruikmakend van datasets zoals AdvBench, AG News, SST2 en een gegenereerde "Art & Science" dataset.

• Hoge Succespercentages: Minuscule adversariële perturbaties (vaak een enkele token-vervanging) manipuleren de conceptuele interpretaties effectief.
  • Populatieniveau: Untargeted aanvallen slaagden erin de concept-overlap tussen de originele en de geperturbeerde input te reduceren tot ~20–30%, terwijl targeted aanvallen de overlap met een ongerelateerde target vergrootten naar ~50–60%.
  • Individueel Niveau: Meer dan 60% van de geselecteerde SAE-latents was manipuleerbaar in targeted settings. In deactiveringsscenario's bereikten de succespercentages ongeveer 90%.
• Ontkoppeling van LLM-robuustheid: Cruciaal is dat lineaire probes, getraind op de verborgen toestanden van het basis-LLM, een hoge nauwkeurigheid (>90%) behielden bij het detecteren van semantische concepten (bijv. schade, sentiment, onderwerp), zelfs na de adversariële perturbaties. Dit geeft aan dat de semantische representaties van het LLM stabiel blijven, terwijl de mapping van de SAE naar concepten het punt van falen is.
• Niet-adversariële Kwetsbaarheid: Zelfs niet-adversariële perturbaties, zoals het vervangen van een woord door een synoniem, verminderden de concept-overlap met ongeveer 30%, wat wijst op een inherente fragiliteit die verder gaat dan kwaadwillige aanvallen.
• Transfereerbaarheid: Aanvallen werden overgedragen tussen verschillende modellen (bijv. van Gemma2 naar Llama3); hoewel de prestaties afnamen, bleven ze effectief, wat wijst op een algemene kwetsbaarheid in SAE-gebaseerde interpretatie.

Betekenis en Claims

Het paper concludeert dat de conceptrepresentaties van SAEs fragiel zijn en zonder verdere denoising of post-processing mogelijk ongeschikt zijn voor toepassingen die een hoge betrouwbaarheid vereisen, zoals modelmonitoring en veiligheidstoezicht.

• Implicaties voor Interpreteerbaarheid: De bevindingen dagen de aanname uit dat SAE-latents een stabiel, monosemantisch beeld geven van de interne werking van modellen. Als een tegenstander gemakkelijk de "concept" die een SAE rapporteert kan veranderen zonder de daadwerkelijke output of het semantische begrip van het model te veranderen, komt de betrouwbaarheid van deze verklaringen in het gedrang.
• Toekomstige Richtingen: De auteurs stellen dat robuustheid een kernonderdeel moet zijn van de SAE-evaluatieagenda. Ze suggereren dat toekomstig werk zich moet richten op het ontwikkelen van methoden om SAE-activaties te denoisen en betrouwbare signalen te isoleren. Bovendien menen zij dat deze kwetsbaarheden waarschijnlijk ook gelden voor andere SAE-geïnspireerde benaderingen, zoals transcoders en crosscoders, wat de noodzaak voor robuustheidsbewuste doelstellingen in mechanistische interpreteerbaarheidsresearch benadrukt.

Het paper beweert niet dat SAEs nutteloos zijn, maar stelt dat hun huidige inzet in adversariële of hoog-risico omgevingen riskant is zonder deze stabiliteitsproblemen aan te pakken. Het voorgestelde kader dient als een diagnostisch instrument om niet-robuuste interpretaties te identificeren en te filteren.