Towards Understanding the Robustness of Sparse Autoencoders

Titel: Towards Understanding the Robustness of Sparse Autoencoders

Auteurs: Ahson Saiyed, Sabrina Sadiekh, Chirag Agarwal (University of Virginia & Independent Researcher)

---

1. Het Probleem

Grote Taalmodellen (LLM's) blijven kwetsbaar voor jailbreak-aanvallen, waarbij zorgvuldig geconstrueerde invoer (zoals adversariele suffixen) wordt gebruikt om onveilig of beleidsschendend gedrag op te wekken. Veel geavanceerde aanvallen, zoals GCG (Greedy Coordinate Gradient) en BEAST, exploiteren de interne gradiëntstructuur van het model. Ze vinden optimale richtingen in de activeringsruimte om de output te manipuleren.

Hoewel Sparse Autoencoders (SAE) veel worden gebruikt voor mechanische interpretbaarheid (het ontleden van dichte activeringen in interpreteerbare, schaarse kenmerken), is hun impact op de veiligheid en robuustheid van LLM's tegenover deze aanvallen nog onvoldoende onderzocht. Bestaande verdedigingen (zoals ruisinjectie of finetuning) zijn vaak zwaar of verliezen bruikbaarheid. De vraag is: kan het invoegen van een SAE als "lichtgewicht" interventie de geometrie van de representatie zo veranderen dat adversariele optimalisatie wordt verstoord?

2. Methodologie

De auteurs voeren een gecontroleerde empirische studie uit waarbij ze voorgeladen SAE's in de residual streams van transformer-laagmodellen invoegen tijdens de inferentie.

• Interventie: Een SAE wordt geplaatst op een specifieke transformer-laag $\ell$. De residual activatie $h_\ell$ wordt getransformeerd via een encoder-decoder structuur: $\hat{h}_\ell = D(E(h_\ell))$.
  • De encoder $E$ projecteert de activatie naar een schaarse latente ruimte $z$ (met een $\ell_1$-straf voor schaarsheid).
  • De decoder $D$ reconstrueert de activatie.
• Belangrijke Eigenschappen:
  • Geen gewichtsverandering: De oorspronkelijke modelgewichten worden niet aangepast.
  • Gradiënten behouden: Het proces is volledig differentieerbaar. Gradiënten worden niet geblokkeerd, wat betekent dat witte-bak-aanvallers (white-box) hun optimalisatie direct door de SAE-laag kunnen laten lopen.
  • Doel: Isolatie van het representatieve effect van de schaarse projectie op de dynamiek van adversariele optimalisatie.
• Experimenteel Setup:
  • Modellen: Gemma-2, LLaMA-3, Mistral en Qwen2.5 (schaal van 2B tot 70B parameters).
  • Aanvallen:
    • Wit-bak: GCG (gradiëntgebaseerd) en BEAST (beam-search, niet-gradiënt).
    • Zwart-bak: Benchmarks zoals Salad-Data en SafeEval.
  • Variabelen: De auteurs testen verschillende sparsiteitsniveaus ($L_0$) en invoegdieptes (welke laag van het model).

3. Belangrijkste Bijdragen

1. Empirisch Bewijs voor Robuustheid: Het paper toont aan dat SAE-interventies de succeskans van jailbreak-aanvallen tot 5 keer kunnen reduceren ten opzichte van onbescheremde baselines.
2. Mechanistisch Inzicht: Het paper introduceert het concept van een "representational bottleneck" (representatieve knelpunt). De schaarse projectie verandert de geometrie van de optimalisatieruimte, waardoor het voor aanvallen moeilijker wordt om effectieve adversariele suffixen te vinden.
3. Ablatiestudies:
   • Er is een monotone dosis-respons relatie gevonden: hogere sparsiteit (lagere $L_0$) leidt tot betere robuustheid.
   • Er is een laagafhankelijke afweging (trade-off) tussen defensie en nut: tussenliggende lagen bieden de beste balans, terwijl vroege lagen de robuustheid maximaliseren maar de schone prestaties kunnen verstoren, en late lagen inefficiënt zijn.
4. Transferrubustheid: SAE's verminderen de cross-model transferability van aanvallen. Aanvallen die op een basismodel zijn geoptimaliseerd, werken veel minder goed op een SAE-versterkt model.

4. Resultaten

Effectiviteit (RQ1)

• Wit-bak (GCG & BEAST): SAE-versterkte modellen vertonen een aanzienlijk lagere Attack Success Rate (ASR).
  • Median ASR voor GCG daalt van 55,0% (baseline) naar 19,05% (SAE).
  • Median ASR voor BEAST daalt van 19,35% naar 9,7%.
  • Dit effect is statistisch significant, zelfs omdat de aanvalers volledige gradiënttoegang hebben (geen "gradiënt masking").

Transferability (RQ2)

• SAE's breken de overdraagbaarheid van adversariele suffixen.
  • Suffixen geoptimaliseerd op een baseline-model (BASE) transfereren slecht naar een SAE-model (SAE → BASE is laag, maar BASE → SAE is extreem laag).
  • Er is een asymmetrie: Aanvallen die specifiek op een SAE-model zijn getraind, transfereren beter naar basismodellen dan andersom. Dit suggereert dat SAE's de ruimte van "overdraagbare oplossingen" veranderen.

Parametrische Afhankelijkheid (RQ3)

• Sparsiteit ($L_0$): Er is een duidelijke trend: hoe schaarser de projectie (lagere $L_0$, minder actieve features), hoe lager de ASR. Bijvoorbeeld, bij Gemma-2 9B stijgt de ASR van 0,9% bij $L_0=11$ naar 21,2% bij $L_0=310$.
• Laagplaatsing:
  • Vroege lagen: Maximaliseren robuustheid maar kunnen de "schone" prestaties (No Suffix ASR) negatief beïnvloeden.
  • Tussenliggende lagen: Bieden de beste balans tussen veiligheid en bruikbaarheid.
  • Late lagen: Zijn grotendeels inefficiënt voor verdediging.

Optimalisatiedynamiek (RQ4)

• Gradiëntanalyse: Na invoegen van de SAE worden de gradiënten tijdens de GCG-optimalisatie sterker gecorreleerd tussen stappen (cosine similarity stijgt van 0,50 naar 0,80).
• Spectrale Analyse: De effectieve rang van de gradiënten neemt af, en de spectrale gap neemt toe. Dit betekent dat het gradiëntsignaal wordt geconcentreerd in minder dominante richtingen.
• Conclusie: De SAE creëert een "knelpunt" dat de optimalisatie vertraagt en de kans verkleint dat de aanval een effectieve richting vindt.

5. Betekenis en Conclusie

Dit paper toont aan dat tools die oorspronkelijk zijn ontwikkeld voor mechanische interpretbaarheid (SAE's), ook effectief kunnen fungeren als lichtgewicht verdedigingsmechanismen tegen adversariele aanvallen.

• Nieuwe Paradigma: In plaats van het model opnieuw te trainen of gradiënten te blokkeren, kan het manipuleren van de representatieruimte tijdens inferentie de geometrie van de aanval verstoren.
• Praktische Toepassing: Het biedt een route naar robuustere LLM's zonder de kosten van finetuning of het verlies van functionaliteit (mits de juiste laag en sparsiteit worden gekozen).
• Theoretisch Inzicht: Het bevestigt dat jailbreak-aanvallen afhankelijk zijn van een gedeelde, schaarse kenmerkruimte. Door deze ruimte te comprimeren via een SAE, wordt de "optimale weg" voor de aanval geblokkeerd of vervormd.

De code en data zijn beschikbaar gesteld via GitHub en HuggingFace, wat de reproduceerbaarheid en verdere onderzoeksmogelijkheden vergroot.