💬 NLP

Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders

Diese Arbeit zeigt auf, dass Konzeptrepräsentationen in Sparse Autoencodern gegenüber adversen Eingabestörungen äußerst fragil sind, was darauf hindeutet, dass sie sich ohne zusätzliche Entrauschung oder Nachbearbeitung derzeit nicht für eine zuverlässige Modellüberwachung und Aufsicht eignen.

Ursprüngliche Autoren: Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

Veröffentlicht 2026-01-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „zerbrechliche Übersetzer“

Stellen Sie sich vor, Sie haben einen riesigen, superintelligenten Roboter (ein Large Language Model), der eine geheime, komplexe Sprache spricht, die nur er selbst versteht. Um zu verstehen, was dieser Roboter denkt, haben Wissenschaftler einen speziellen „Übersetzer“ namens Sparse Autoencoder (SAE) gebaut.

Betrachten Sie den SAE als ein Wörterbuch, das den geheimen Code des Roboters in menschliche Konzepte übersetzt. Wenn der Roboter an „Katzen“ denkt, leuchtet eine bestimmte Glühbirne mit der Aufschrift „Katze“ auf. Wenn er an „Mathematik“ denkt, leuchtet eine andere Glühbirne mit der Aufschrift „Mathematik“.

Lange Zeit glaubten Forscher, dass diese Glühbirnen zuverlässig seien. Sie prüften, ob das Wörterbuch genau war (bedeutete „Katze“ wirklich Katze?) und ob die Lichter unterscheidbar waren (leuchtete „Katze“ jemals versehentlich auf, wenn „Hund“ erwähnt wurde?).

Diese Arbeit stellt eine neue, beängstigende Frage: Was passiert, wenn sich jemand in den Raum schleicht und dem Roboter ein winziges, fast unsichtbares Wort zuflüstert? Funktioniert der Übersetzer dann noch, oder wird er verwirrt und fängt an, die falschen Lampen leuchten zu lassen?

Das Experiment: Der „Flüster-Angriff“

Die Forscher beschlossen, die Robustheit dieser Übersetzer zu testen, indem sie versuchten, sie auszutricksen. Sie verwendeten eine Methode, die als „Flüster-Angriff“ (technisch bekannt als adversarielle Perturbation) bezeichnet wird.

Stellen Sie sich vor, Sie versuchen dem Roboter zu sagen: „Ich möchte einen Kuchen backen.“

Normales Szenario: Der Roboter versteht „Kuchen“, und der SAE lässt die Glühbirne „Backen“ aufleuchten.
Der Angriff: Die Forscher ändern nur ein einziges Wort im Satz. Vielleicht ändern sie „backen“ zu „backei“ oder fügen am Ende ein seltsames Wort wie „zorp“ hinzu.
- Input: „Ich möchte einen backei einen Kuchen.“

Das schockierende Ergebnis:
Obwohl der Satz für einen Menschen immer noch fast identisch klingt (und der Roboter immer noch weiß, dass es um das Backen geht), verliert der SAE-Übersetzer völlig den Verstand.

Die „Backen“-Glühbirne geht aus.
Die „Möbel“-Glühbirne geht an.
Die „Chemie“-Glühbirne geht an.

In den Experimenten der Arbeit fanden sie heraus, dass die Änderung von nur einem einzigen Wort (oder das Ersetzen eines Wortes durch ein Synonym) den Output des Übersetzers komplett durcheinanderbringen konnte. Sie konnten den Roboter dazu bringen, dass ein Satz über „schädliche Anweisungen“ wie etwas über „harmlose Kunst“ aussah, indem sie nur ein einziges Token austauschten.

Die vier Wege, wie sie versuchten, ihn zu brechen

Die Forscher testeten vier verschiedene Wege, um den Übersetcher zu brechen, ähnlich wie ein Mechaniker die Federung eines Autos testet:

Der „Totale Chaos“-Test (Ungezielt): Sie versuchten, den Übersetzer dazu zu bringen, irgendeine beliebige Gruppe von Glühbirnen leuchten zu lassen, nur um zu sehen, ob er kaputtgeht. Ergebnis: Er brach leicht.
Der „Vertauschungs“-Test (Gezielt): Sie versuchten, den Übersetzer dazu zu bringen, zu denken, ein Satz über „Sport“ handele eigentlich von „Geschäftswesen“. Ergebnis: Sie waren erfolgreich. Eine Wortänderung ließ die „Sport“-Lampen dunkel werden und die „Geschäftswesen“-Lampen leuchten.
Der „Gruppen“-Test (Population): Sie versuchten, die gesamte Gruppe der gleichzeitig leuchtenden Lampen zu verändern. Ergebnis: Sehr leicht zu manipulieren.
Der „Einzelne Glühbirnen“-Test (Individuell): Sie versuchten, nur eine spezifische Glühbirne an- oder auszuschalten. Ergebnis: Sie konnten die meisten Lampen ausschalten, aber einige „tote“ Lampen (die ohnehin nie leuchten) konnten nicht erzwungen werden.

Die wichtigste Entdeckung: Der Roboter ist in Ordnung, der Übersetzer nicht

Hier ist die Wendung, die diese Arbeit so wichtig macht:

Als die Forscher das eine Wort änderten, um den SAE auszutricksen, überprüften sie auch das Gehirn des Roboters (das zugrunde liegende Large Language Model).

Hat der Roboter seine Meinung geändert? Nein. Er verstand immer noch, dass es um das Backen ging.
Haben sich seine inneren Zustände geändert? Nein.
Hat der SAE-Übersetzer seine Meinung geändert? JA. Er drehte völlig durch.

Die Analogie:
Stellen Sie sich einen menschlichen Dolmetscher vor, der zwischen Ihnen und einem Sprecher steht.

Sie sagen: „Ich habe Hunger.“
Der Sprecher (der Roboter) versteht Sie perfekt.
Aber der Dolmetscher (der SAE) schreit plötzlich: „Er sagt, er will einen Bären bekämpfen!“

Das Problem ist nicht, dass der Sprecher verwirrt ist; das Problem ist, dass der Übersetzer zerbrechlich ist. Er kann durch winzige Änderungen getäuscht werden, die ein Mensch kaum bemerken würde.

Warum das wichtig ist (laut der Arbeit)

Die Autoren argumentieren, dass wir in Schwierigkeiten sind, wenn wir diese Übersetzer nutzen wollen, um KI zu überwachen (zum Beispiel, um sicherzustellen, dass die KI nichts Schlechtes sagt).

Wenn ein böswilliger Akteur ein Wort in einem Prompt ändern kann, um den „Sicherheitsmonitor“ (den SAE) glauben zu lassen, eine gefährliche Anfrage sei eine harmlose, versagt das Sicherheitssystem. Die Arbeit kommt zu dem Schluss, dass diese Übersetzer momentan zu zerbrechlich sind, um ohne vorherige Reparatur für Sicherheit oder Aufsicht vertraut werden zu können. Sie sind wie ein Glashaus: wunderschön anzusehen, aber ein kleiner Kieselstein kann das Ganze zertrümmern.

Zusammenfassung in einem Satz

Diese Arbeit zeigt, dass die Werkzeuge, mit denen wir in die Köpfe von KI „lesen“, unglaublich zerbrechlich sind; eine winzige, fast unsichtbare Änderung des Inputs kann den Übersetzer komplett täuschen, selbst wenn die KI selbst ihre Meinung überhaupt nicht geändert hat.

Technisches Resümee: Evaluierung der adversariellen Robustheit von Konzeptrepräsentationen in Sparse Autoencodern

Problemstellung

Sparse Autoencoder (SAEs) haben sich als primäres Werkzeug für die mechanistische Interpretierbarkeit etabliert, indem sie die dichten internen Aktivierungen von Large Language Models (LLMs) auf dünnbesetzte (sparse), menscheninterpretierbare Konzeptrepräsentationen abbilden. Während bestehende Evaluierungen von SAEs den Fokus auf Trade-offs zwischen Rekonstruktion und Sparsity, menschliche Interpretierbarkeit und Feature-Entflechtung legen, vernachlässigen sie weitgehend eine kritische Dimension: die Robustheit gegenüber Eingabe-Perturbationen.

Aktuelle Evaluierungen gehen oft von statischen, kohärenten und ungestörten Eingaben aus. In adversariellen Kontexten jedoch – in denen ein Erklärungsanbieter und ein Konsument möglicherweise gegensätzliche Ziele verfolgen – könnten SAE-Repräsentationen anfällig sein. Wenn ein Akteur in der Lage ist, minimale Eingabe-Perturbationen zu konstruieren, die die SAE-Aktivierungen manipulieren, ohne das Verhalten des zugrunde liegenden LLM signifikant zu verändern, wird die Treue der Konzept-Labeling kompromittiert. Dies wirft Bedenken hinsichtlich der Zuverlässigkeit von SAEs für die Modellüberwachung, Sicherheitsaufsicht und Downstream-Anwendungen auf, die von stabilen Konzept-basierten Repräsentationen abhängen.

Methodik

Theoretischer Rahmen

Die Autoren formalisieren die SAE-Robustheit als Optimierungsprobleme im Eingaberaum. Sie postulieren eine „Ground-Truth“-Konzeptabbildung $f_c$ vom Eingaberaum $X$ zum semantischen Konzeptraum $C$ . Robustheit wird durch die Bewahrung der Ausrichtung zwischen dem gelernten dünnbesetzten latenten Raum $Z$ und $C$ unter adversariellen Perturbationen definiert.

Die Kernannahme ist, dass die Ground-Truth-Abbildung bi-Lipschitz ist, was bedeutet, dass kleine Änderungen in den Eingabe-Token-Sequenzen (gemessen an der Levenshtein-Distanz) proportional zu kleinen Änderungen in den semantischen Konzepten führen. Dies ermöglicht die Suche nach adversariellen Beispielen direkt im Eingaberaum $X$ statt im hypothetischen Konzeptraum $C$ .

Das Evaluierungs-Framework definiert Robustheit durch zwei Optimierungsziele:

Untargeted (unbeabsichtigt): Maximierung der Distanz zwischen der ursprünglichen SAE-Aktivierung $z_1$ und der perturbierten Aktivierung $z'_1$ unter einer begrenzten Eingabe-Edit-Distanz.
Targeted (gezielt): Minimierung der Distanz zwischen der perturbierten Aktivierung $z'_1$ und einer Ziel-Aktivierung $z_2$ (aus einem semantisch unzusammenhängenden Input), während die Eingabe-Perturbation begrenzt bleibt.

Evaluierungsdimensionen

Die Autoren schlagen ein strukturiertes Framework vor, das drei binäre Dimensionen kombiniert, um acht distinkte adversarielle Szenarien zu definieren:

Semantisches Ziel: Untargeted (allgemeine Veränderung der SAE-Aktivierungen) vs. Targeted (Steuerung der Aktivierungen hin zu einem anderen, unzusammenhängenden Input).
Aktivierungsziel:
- Populationsebene: Manipulation der Menge der top- $k$ aktivierten Latents, gemessen am Konzept-Überlappungsverhältnis (concept overlap ratio).
- Individuelle Ebene: Aktivierung oder Deaktivierung eines spezifischen SAE-Features, gemessen an binären Rangänderungen.
Perturbationsmodus: Minimale Eingabeänderungen, spezifisch das Ersetzen eines einzelnen Tokens oder das Anhängen eines einzelnen Token-Suffixes.

Attack-Algorithmus

Um diese Optimierungsprobleme zu lösen, adaptieren die Autoren den Greedy Coordinate Gradient (GCG) Algorithmus, der ursprünglich für die Prompt-Optimierung in LLMs entwickelt wurde. Da die Distanzmetriken im dünnbesetzten latenten Raum nicht differenzierbar sind, verwendet die Methode einen hybriden Ansatz:

Gradientenberechnung: Gradienten werden unter Verwendung differenzierbarer Verlustfunktionen (z. B. Cosinus-Ähnlichkeit, Log-Likelihood) über den kontinuierlichen SAE-Repräsentationsraum berechnet.
Kandidatenselektion: Adversarielle Kandidaten werden generiert und unter Verwendung der ursprünglichen nicht-differenzierbaren Distanzmetriken (z. B. Konzept-Überlappungsverhältnis, binärer Aktivierungsstatus) im diskreten Eingaberaum evaluiert.

Zentrale Beiträge

Identifizierung einer kritischen Lücke: Die Arbeit identifiziert Robustheit als eine fundamentale, jedoch untererforschte Dimension in der SAE-Evaluierung und argumentiert, dass Konzeptrepräsentationen unter Eingabe-Perturbationen stabil sein müssen, um als zuverlässig zu gelten.
Umfassendes Evaluierungs-Framework: Die Autoren führen ein theoretisch fundiertes Framework ein, das SAE-Robustheit über semantische und Aktivierungsziele hinweg definiert und so systematische Tests auf adversarielle Schwachstellen ermöglicht.
Generalisierter Attack-Methodik: Sie schlagen einen generalisierten Eingabe-basierten Attack-Algorithmus vor, der von GCG adaptiert wurde und in der Lage ist, Eingaben zu generieren, die SAE-Interpretationen manipulieren.
Empirischer Beleg für Fragilität: Umfangreiche Experimente über mehrere Open-Source-LLMs (Gemma2, Llama3), SAE-Architekturen (JumpReLU, Top-K) und Datensätze hinweg zeigen, dass die Konzeptrepräsentationen von SAEs hochgradig fragil sind.

Experimentelle Ergebnisse

Die Autoren evaluierten ihr Framework auf Gemma2-2B, Gemma2-9B und Llama3-8B mit verschiedenen SAE-Breiten und Schichten, unter Verwendung von Datensätzen wie AdvBench, AG News, SST2 und einem generierten „Art & Science“-Datensatz.

Hohe Erfolgsraten: Winzige adversarielle Perturbationen (oft nur ein Token-Ersatz) manipulieren effektiv konzeptbasierte Interpretationen.
- Populationsebene: Untargeted Attacks reduzierten die Konzept-Überlappung zwischen dem Original- und dem perturbierten Input erfolgreich auf ~20–30 %, während Targeted Attacks die Überlappung mit einem unzusammenhängenden Ziel-Input auf ~50–60 % erhöhten.
- Individuelle Ebene: Über 60 % der ausgewählten SAE-Latents waren in gezielten Settings manipulierbar. In Deaktivierungsszenarien erreichten die Erfolgsraten etwa 90 %.
Entkopplung von der LLM-Robustheit: Entscheidend ist, dass lineare Probes, die auf den Hidden States des Basis-LLM trainiert wurden, selbst nach den adversariellen Perturbationen eine hohe Genauigkeit (>90 %) bei der Detektion semantischer Konzepte (z. B. Harm, Sentiment, Thema) beibehielten. Dies zeigt, dass die semantischen Repräsentationen des LLM stabil bleiben, während die Abbildung des SAE auf Konzepte der Punkt des Versagens ist.
Nicht-adversarielle Vulnerabilität: Selbst nicht-adversarielle Perturbationen, wie das Ersetzen eines Wortes durch ein Synonym, reduzierten die Konzept-Überlappung um etwa 30 %, was auf eine inhärente Fragilität hindeutet, die über bösartige Angriffe hinausgeht.
Transferierbarkeit: Angriffe transferierten über verschiedene Modelle hinweg (z. B. von Gemma2 zu Llama3); obwohl die Leistung dabei abnahm, blieben sie effektiv, was auf eine allgemeine Schwachstelle in der SAE-basierten Interpretation hindeutet.

Signifikanz und Ansprüche

Das Paper kommt zu dem Schluss, dass SAE-Konzeptrepräsentationen fragil sind und ohne weitere Entrauschung oder Post-Processing für Anwendungen, die eine hohe Zuverlässigkeit erfordern (wie Modellüberwachung und Sicherheitsaufsicht), ungeeignet sein könnten.

Implikationen für die Interpretierbarkeit: Die Ergebnisse stellen die Annahme infrage, dass SAE-Latents eine stabile, monosemantische Sicht auf die internen Prozesse des Modells bieten. Wenn ein Akteur die durch das SAE berichteten „Konzepte“ leicht verändern kann, ohne das tatsächliche Output oder das semantische Verständnis des Modells zu beeinflussen, ist die Vertrauenswürdigkeit dieser Erklärungen gefährdet.
Zukünftige Richtungen: Die Autoren argumentieren, dass Robustheit ein Kernbestandteil der SAE-Evaluierungsagenda sein muss. Sie schlagen vor, dass zukünftige Arbeiten sich auf Methoden zur Entrauschung von SAE-Aktivierungen konzentrieren sollten, um zuverlässige Signale zu isolieren. Zudem postulieren sie, dass diese Schwachstellen wahrscheinlich auch auf andere SAE-inspirierte Ansätze wie Transcoder und Crosscoder übertragbar sind, was die Notwendigkeit von robustheitsbewussten Zielen in der mechanistischen Interpretierbarkeitsforschung unterstreicht.

Das Paper behauptet nicht, dass SAEs nutzlos sind, sondern warnt davor, dass ihr aktueller Einsatz in adversariellen oder Hochrisiko-Umgebungen riskant ist, solange diese Stabilitätsprobleme nicht adressiert werden. Das vorgeschlagene Framework dient als diagnostisches Werkzeug, um nicht-robuste Interpretationen zu identifizieren und zu filtern.