Towards Understanding the Robustness of Sparse Autoencoders

Titel: Towards Understanding the Robustness of Sparse Autoencoders (Verständnis der Robustheit von Sparse Autoencodern)

Autoren: Ahson Saiyed, Sabrina Sadiekh, Chirag Agarwal (University of Virginia & Independent Researcher)

---

1. Problemstellung

Große Sprachmodelle (LLMs) sind weiterhin anfällig für Jailbreak-Angriffe, insbesondere solche, die auf Optimierung basieren und die interne Gradientenstruktur des Modells ausnutzen.

• Herausforderung: State-of-the-Art-Angriffe wie GCG (Greedy Coordinate Gradient) und BEAST konstruieren adversarische Suffixe, die spezifische Richtungen in den internen Aktivierungen des Modells ausnutzen, um unsichere oder gegen Richtlinien verstoßende Ausgaben zu erzeugen.
• Lücken in der Forschung: Sparse Autoencoder (SAE) werden zwar häufig für die mechanistische Interpretierbarkeit verwendet, um dichte Aktivierungen in interpretierbare, sparse Merkmale zu zerlegen. Es ist jedoch unklar, wie sich die Einbettung dieser SAE-Strukturen in die Residualstreams von LLMs auf die adversarische Robustheit auswirkt. Bisherige Arbeiten deuten darauf hin, dass SAE-Features empfindlich auf Störungen reagieren können, aber der komplementäre Aspekt – ob SAE als Verteidigung gegen Jailbreaks dienen können – war noch nicht untersucht.

2. Methodik

Die Autoren führen eine kontrollierte empirische Studie durch, bei der vortrainierte Sparse Autoencoder (SAE) zur Laufzeit (Inference) in die Residualstreams von Transformer-Layern eingefügt werden.

• Interventionsansatz:

  • Ein vortrainierter SAE wird als Encoder-Decoder-Operator auf die Aktivierung $h_\ell$ einer bestimmten Layer $\ell$ angewendet: $\hat{h}_\ell = D(E(h_\ell))$.
  • Wichtig: Die Gewichte des ursprünglichen LLM werden nicht verändert, und Gradienten werden nicht blockiert. Das Modell bleibt vollständig differentierbar. Dies isoliert den reinen repräsentationalen Effekt der sparse Projektion.
  • Der SAE erzwingt einen „sparse Bottleneck", indem er die Aktivierungen in eine hochdimensionale, aber sparse Basis (typischerweise 16-fache Expansion) projiziert und rekonstruiert.

• Evaluierte Modelle:

  • Vier Modellfamilien: Gemma-2, LLaMA-3, Mistral und Qwen2.5.
  • Skalierung von 2B bis 70B Parametern.
  • Untersuchung verschiedener Einbettungstiefen (Layer-Platzierung) und Sparsity-Level ($L_0$).

• Bedrohungsmodell (Threat Model):

  • White-Box-Angriffe: GCG (gradientenbasiert) und BEAST (Beam-Search-basiert, nutzt Logits). Bei GCG werden die Gradienten durch den SAE-Layer zurückpropagiert, sodass der Angreifer direkt durch die sparse Repräsentation optimiert.
  • Black-Box-Angriffe: Nutzung von Jailbreak-Datensätzen (Salad-Data, Prompt Injections, SafeEval) ohne Zugriff auf Gradienten.

3. Wichtige Beiträge

1. Erste systematische Studie: Dies ist die erste Arbeit, die die Robustheit von LLMs untersucht, wenn SAE als Inference-Time-Intervention eingesetzt werden, ohne das Modell neu zu trainieren.
2. Mechanistische Erklärung: Die Arbeit liefert eine mechanistische Hypothese („Representational Bottleneck Hypothesis"), die erklärt, warum SAE Angriffe erschweren: Sie verformen die Optimierungsgeometrie, auf die Jailbreaks angewiesen sind.
3. Umfassende Abhängigkeitsanalyse: Die Studie analysiert detailliert den Einfluss von:
   • Der Sparsity (Anzahl der aktiven Features, $L_0$).
   • Der Einbettungstiefe (welche Layer im Transformer).
   • Der Transferierbarkeit von Angriffen zwischen verschiedenen Modellen und Konfigurationen.

4. Ergebnisse

A. Wirksamkeit (Reduktion der Jailbreak-Erfolgsrate)

• White-Box: SAE-augmentierte Modelle zeigen eine drastische Reduktion der Angriffs-Erfolgsrate (ASR).
  • GCG: Median-ASR sank von 55,0 % (Baseline) auf 19,05 % (SAE).
  • BEAST: Median-ASR sank von 19,35 % auf 9,7 %.
  • Dies entspricht einer Reduktion um das 5-fache im Vergleich zur ungeschützten Basislinie.
• Black-Box: Auch unter Black-Bedingungen zeigen SAE-Modelle konsistent niedrigere ASR-Werte, wobei die Stärke der Verbesserung vom Evaluierungs-Detektor abhängt.

B. Transferierbarkeit (Cross-Model Transfer)

• SAE-Insertion reduziert die Übertragbarkeit adversarischer Suffixe zwischen Modellen erheblich.
• Asymmetrie: Suffixe, die gegen Baseline-Modelle optimiert wurden, sind weniger effektiv gegen SAE-Modelle (ASR ~7,5 %), während Suffixe, die gegen SAE-Modelle optimiert wurden, immer noch eine gewisse Transferierbarkeit zu Baseline-Modellen behalten (ASR ~12,65 %).
• Dies deutet darauf hin, dass SAE die Geometrie der übertragbaren Lösungen verändert und nicht nur als einfacher Filter wirkt.

C. Parametrische Abhängigkeiten (Ablationsstudien)

1. Sparsity ($L_0$): Es besteht eine monotone Dosis-Wirkungs-Beziehung.
   • Höhere Sparsity (niedrigere $L_0$): Führt zu stärkerer Robustheit und niedrigerer ASR.
   • Geringere Sparsity (höhere $L_0$): Die Robustheit nimmt ab, und die Transferierbarkeit von Angriffen steigt wieder an.
2. Einbettungstiefe (Layer Placement):
   • Frühe bis mittlere Layer: Bieten die beste Balance zwischen Robustheit und Modellleistung (Utility).
   • Sehr frühe Layer: Maximieren zwar die Robustheit, können aber das saubere Verhalten des Modells (Clean Performance) stören.
   • Späte Layer: Die Verteidigungswirkung nimmt in den späteren Layern stark ab und ist oft ineffektiv.

D. Mechanistische Analysen (Optimierungsdynamik)

• Feature-Struktur: Adversarische Suffixe konvergieren auf einen gemeinsamen sparse Feature-Subspace. Die Jaccard-Ähnlichkeit zwischen Angriffen ist 4-mal höher als bei zufälligem Text.
• Gradienten-Dynamik: Durch die SAE-Insertion ändern sich die Gradienten während der Optimierung (GCG):
  • Die Kosinus-Ähnlichkeit zwischen aufeinanderfolgenden Gradientenschritten steigt signifikant (+60 %), was auf eine Optimierungs-Stagnation hindeutet.
  • Der effektive Rang der Gradientenmatrix sinkt, und der spektrale Gap vergrößert sich.
  • Fazit: Der SAE komprimiert das Gradientensignal in weniger dominante Richtungen, was es für gradientenbasierte Angreifer schwieriger macht, effektive Suffixe zu finden.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass Sparse Autoencoder, die ursprünglich für die Interpretierbarkeit entwickelt wurden, auch als leichte, repräsentationsbasierte Verteidigung gegen Optimierungsbasierte Jailbreaks dienen können.

• Kein Retraining nötig: Die Methode erfordert keine Änderung der Modellgewichte und keine Gradienten-Blockierung, was sie für den Einsatz in bestehenden Systemen attraktiv macht.
• Geometrische Veränderung: Die Robustheit entsteht nicht durch „Gradient Masking", sondern durch eine fundamentale Veränderung der Repräsentationsgeometrie, die den Suchraum für adversarische Angriffe einschränkt (Representational Bottleneck).
• Trade-off: Es gibt einen klaren Zielkonflikt zwischen der Tiefe der Einbettung und der Modellleistung, wobei mittlere Layer den optimalen Kompromiss bieten.

Zusammenfassend demonstriert das Paper, dass strukturierte sparse Projektionen ein vielversprechender Weg sind, um die adversarische Robustheit von LLMs ohne aufwändiges Fine-Tuning zu verbessern.