💬 NLP

Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

Diese Arbeit stellt bisherige Erkenntnisse infrage, wonach Sparse Autoencoder (SAEs) beim Steuern von Large Language Models unterperformen, indem sie zeigt, dass SAEs, wenn Merkmale über eine supervidierte Pipeline ausgewählt und beschriftet werden, eine Steuerungsleistung erreichen können, die auf dem AxBench-Benchmark mit LoRA vergleichbar ist, während sie gleichzeitig kausale Merkmale identifizieren, selbst ohne die Notwendigkeit einer hohen Sparsität.

Ursprüngliche Autoren: Mikkel Godsk Jørgensen, Lars Kai Hansen

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mikkel Godsk Jørgensen, Lars Kai Hansen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein kaputten Kompass reparieren

Stellen Sie sich Large Language Models (LLMs) wie riesige, superintelligente Bibliotheken vor, die Geschichten schreiben, Matheaufgaben lösen und mit Ihnen chatten können. Im Inneren dieser Bibliotheken gibt es Millionen von winzigen „Schaltern“ (Neuronen), die aufleuchten, wenn das Modell über bestimmte Dinge nachdenkt.

Eine Zeit lang glaubten Wissenschaftler, sie könnten einen speziellen Satz von Schaltern namens Sparse Autoencoders (SAEs) finden. Sie glaubten, diese Schalter seien wie perfekt beschriftete Schubladen in einem Aktenschrank: eine Schublade für „Baseball“, eine für „Kochen“, eine für „Traurigkeit“. Wenn man die „Baseball“-Schublade finden und drücken würde, würde die Bibliothek anfangen, über Baseball zu sprechen.

Eine aktuelle Studie (Wu et al., 2025) testete diese Idee und sagte: „Eigentlich sind diese Schubladen chaotisch. Sie zu drücken, funktioniert nicht besonders gut. Es ist einfacher, die Bibliothek einfach höflich zu bitten (mittels eines Prompts), über Baseball zu sprechen.“

Dieses Paper sagt: „Warten Sie mal. Wir glauben, die vorherige Studie hat nicht nach den richtigen Schubladen gesucht oder wusste nicht, wie man sie richtig öffnet. Wenn wir eine bessere Methode verwenden, um diese Schubladen zu finden und zu beschriften, funktionieren sie fast so gut wie die besten existierenden Werkzeuge.“

Das Problem: Der chaotische Aktenschrank

Stellen Sie sich das Innere eines KI-Modells wie einen riesigen, chaotischen Raum vor, in dem Millionen von Menschen gleichzeitig schreien.

Die alte Sichtweise: Wissenschaftler versuchten, spezifische Personen (Features) zu finden, die immer nur über eine Sache sprachen (Monosemantik).
Die Realität: Die meisten Menschen im Raum sprechen gleichzeitig über viele verschiedene Dinge (Polysemantik). Eine Person könnte gleichzeitig über „Baseball“ und „Sommer“ schreien.
Die SAE-Lösung: Sparse Autoencoders sind wie ein magischer Filter, der versucht, diese vermischten Rufe in getrennte, eindeutige Themen zu sortieren.

Die vorherige Studie (Wu et al.) versuchte, diese Filter zu nutzen, stellte aber fest, dass sie schwach waren. Sie kamen zu dem Schluss, dass SAEs unbrauchbar für das „Steuern“ (Control/Steering) der KI seien.

Die neue Lösung: Ein besseres Beschriftungssystem

Die Autoren dieses Papers argumentieren, dass die vorherige Studie gescheitert ist, weil sie eine faule Art der Beschriftung der Filter verwendet haben. Sie verließen sich auf eine bereits existierende Liste (Neuronpedia), die wahrscheinlich von anderen KI-Modellen erraten wurde.

Die Innovation der Autoren:
Anstatt zu raten, bauten sie eine überwachte Pipeline (Supervised Pipeline).

Die Analogie: Stellen Sie sich vor, Sie haben eine Box mit unbeschrifteten Gewürzgläsern. Die alte Studie fragte einen Roboter, was in ihnen drin ist. Die neue Studie nimmt einen menschlichen Koch (unter Verwendung eines beschrifteten Datensatzes aus echtem Text), der die Gewürze probiert und genau aufschreibt, was sie sind.
Der Prozess: Sie nahmen eine riesige Sammlung echter Internetbeiträge (Stack Exchange) mit klaren Tags (wie „Biologie“, „Recht“, „Kochen“). Sie trainierten ein System, um die internen „Schalter“ der KI mit diesen realen Welt-Tags abzugleichen.

Die Ergebnisse: Die Schalter funktionieren tatsächlich!

Als sie ihre neuen, sorgfältig beschrifteten Schalter nutzten, um die KI zu steuern:

Sie funktionierten: Die KI begann erfolgreich über die Zielthemen (wie Baseball oder Physik) zu sprechen, indem man einfach diese spezifischen Schalter aktivierte.
Sie konkurrierten mit den Besten: Ihre Leistung war fast so gut wie die von LoRA (einem schweren, teuren Werkzeug, das verwendet wird, um die KI von Grund auf neu zu trainieren).
Sie schlugen die alte Studie: Sie schnitten viel besser ab als die in der Studie von Wu et al. berichteten Ergebnisse, was beweist, dass SAEs nicht kaputt sind; sie brauchten nur bessere Etiketten.

Zwei überraschende Entdeckungen

Das Paper fand zwei Dinge heraus, die der bisherigen Meinung widersprechen:

1. Man braucht keine „super-sparsen“ Schalter

Der alte Glaube: Wissenschaftler dachten, man bräuchte Schalter, die extrem selten sind (hohe Sparsity), damit sie gut funktionieren. Wie die Suche nach der Nadel im Heuhaufen.
Die neue Erkenntnis: Die Autoren fanden heraus, dass selbst Schalter, die etwas häufiger vorkommen (geringere Sparsity), hervorragend zum Steuern geeignet sind. Man braucht nicht die seltensten Nadeln; die etwas häufigeren erledigen den Job auch problemlos.

2. Der „kausale“ Test

Der alte Glaube: Nur weil ein Schalter aufleuchtet, wenn die KI über „Baseball“ spricht, bedeutet das nicht, dass der Schalter auch „Baseball“ verursacht. Es könnte auch nur ein Zufall sein.
Die neue Erkenntnis: Als sie den Schalter zwangen, „an“ zu bleiben, fing die KI tatsächlich an, über Baseball zu sprechen. Dies beweist, dass der Schalter nicht nur ein Beobachter ist, sondern ein Treiber.

Der Haken: Es ist immer noch schwieriger, als einfach nur zu fragen

Die Autoren sind ehrlich bezüglich der Einschränkungen.

Die Prompt-Baseline: Wenn man einfach schreibt „Schreibe ein Gedicht über Baseball“, macht die KI einen großartigen Job. Das liegt daran, dass die KI darauf trainiert wurde, Anweisungen zu befolgen.
Die SAE-Meth Methode: Die Verwendung von SAEs ist wie der Versuch, die KI zu kontrollieren, indem man manuell Schalter in ihrem Gehirn umlegt. Es ist ein Experiment der „kontrollierten Schädigung“. Es funktioniert, aber es ist schwieriger und weniger natürlich, als die KI einfach nur höflich zu bitten.

Zusammenfassung in einem Satz

Dieses Paper beweist, dass Sparse Autoencoders tatsächlich mächtige Werkzeuge zur Kontrolle des KI-Verhaltens sind, aber nur, wenn man sich die Zeit nimmt, ihre internen „Schalter“ sorgfältig unter Verwendung realer Daten zu beschriften, anstatt sich auf Vermutungen zu verlassen.

Technisches Resümee: Steuerung von LLMs mittels Sparse Autoencoders

Problemstellung
Sparse Autoencoders (SAEs) wurden als Werkzeug zur Interpretation von Large Language Models (LLMs) vorgeschlagen, um monosemantische Merkmale innerhalb des Residual Streams zu entdecken, basierend auf der Linear Representation Hypothesis und der Superposition Hypothesis. Während SAE-Merkmale theoretisch in der Lage sind, die Generierung eines Modells zu steuern (Steering), deuteten jüngere Benchmarks wie AxBench (Wu et al., 2025) darauf hin, dass SAEs im Vergleich zu einfachen Baselines wie Prompting signifikant schlechter abschneiden. Wu et al. (2025) schlussfolgerten, dass „selbst einfache Baselines die Leistung von Sparse Autoencodern übertreffen“ bei Steuerungsaufgaben. Zudem legte eine vorangegangene Arbeit (Wang et al., 2025) nahe, dass hohe Interpretierbarkeit und Steuerungsnutzen stark mit hoher Sparsität (niedrigem $\ell_0$ ) korrelieren – eine Bedingung, die oft bei Merkmalen erfüllt ist, die in Repositories wie Neuronpedia annotiert sind. Die Autoren dieser Arbeit argumentieren, dass die in Wu et al. (2025) berichtete schwache Leistung eher auf suboptimalen Labeling- und Selektionsstrategien beruht als auf einer inhärenten Limitierung von SAEs.

Methodik
Die Arbeit schlägt eine supervidierte Pipeline zur Kennzeichnung (Labeling) und Auswahl von SAE-Merkmalen vor, um die Steuerungsleistung zu verbessern, im Gegensatz zu bisherigen unsupervidierten oder LLM-basierten Labeling-Ansätzen.

Supervidierte Labeling-Pipeline:
- Datenquelle: Die Autoren nutzen Stack-Exchange-Datensätze (z. B. Academia, Biologie, Sport), bei denen benutzerdefinierte Tags als Ground-Truth-Multi-Labels dienen.
- Feature-Probes: Für jedes SAE-Merkmal wird eine lineare Probe konstruiert, indem die Aktivierungshäufigkeit des Merkmals über einen Datensatz berechnet wird. Eine binäre Vorhersage erfolgt basierend darauf, ob die Häufigkeit einen Schwellenwert $\tau$ überschreitet.
- Kalibrierter F1-Score: Um Merkmale mit Labels zu verknüpfen, berechnen die Autoren einen „kalibrierten F1-Score“ ( $F1^c$ ). Diese Metrik passt den Standard-F1-Score an, um die Label-Unterstützung (Häufigkeit) zu berücksichtigen und so Bias gegenüber seltenen oder häufigen Labels zu verhindern. Der optimale Schwellenwert $\tau$ wird gewählt, um diesen Score zu maximieren.
- Entstörung und Selektion: Um qualitativ hochwertige Übereinstimmungen zu gewährleisten, wendet die Pipeline drei Kriterien an:
  1. Label-Support-Schwellenwert: Filtert Labels mit weniger als 50 Vorkommen heraus, um die Varianz zu reduzieren.
  2. Output-Score-Proxy: Verwendet einen Schwellenwert ( $10^{-3}$ ) basierend auf dem Output-Score aus Arad et al. (2025), um nach Merkmalen mit inhärentem Steuerungs-Potenzial zu filtern.
  3. Top-K-Selektion: Behält die Top-50 Feature-Label-Paare pro Kategorie bei.
Steuerungsmechanismus:
- Die Autoren verwenden den Activation-Editing-Ansatz von Templeton et al. (2024). Während der Inferenz werden spezifische Merkmalsaktivierungen ( $z_f$ ) auf einen Wert $\alpha$ geklammert. Der Rekonstruktionsfehler bleibt erhalten, und der editierte latente Vektor wird durch den Decoder geleitet.
- Evaluierung: Die Methode wird auf AxBench evaluiert, das generierten Text hinsichtlich Fluenz, Befolgung von Instruktionen und Konzeptintegration bewertet. Die Autoren optimieren die Steuerungsstärke $\alpha$ individuell für jedes Feature-Label-Paar mittels Kreuzvalidierung, anstatt einen einzelnen globalen Wert zu verwenden.
Experimentelles Setup:
- Modelle: Experimente wurden mit Gemma 2 (9B) unter Verwendung von Gemma Scope SAEs (Breite 131k) durchgeführt, die in den Residual Stream an den Layern 17 und 32 eingesetzt wurden.
- Baselines: Die Vergleiche umfassen die „NP random“-Baseline (zufällig ausgewählte Merkmale mit Neuronpedia-Labels) sowie die Prompt-Steuerungs-Baseline aus Wu et al. (2025).

Kernergebnisse

Leistungsparität mit LoRA: Wenn Merkmale über die vorgeschlagene supervidierte Pipeline ausgewählt und gelabelt werden, erreichen SAEs bei der Steuerungsleistung auf dem AxBench-Benchmark ein Niveau, das nahezu mit den LoRA-Baselines (Low-Rank Adaptation) gleichzieht. Dies übertrifft die in Wu et al. (2025) berichteten Ergebnisse signifikant.
Kausale Validität: Die Pipeline wählt Merkmale aus, die überraschend kausal für ihre identifizierten Labels sind. Selbst wenn die Komponente des „Output-Scores“ (ein Proxy für die Steuerungsfähigkeit) aus dem Selektionsprozess entfernt wird, zeigen die durch das supervidierte Labeling ausgewählten Merkmale immer noch eine überlegene Steuerungsleistung im Vergleich zu zufälligen Neuronpedia-Selektionen.
Unabhängigkeit von der Sparsität: Im Gegensatz zu den Ergebnissen in Wang et al. (2025) stellen die Autoren fest, dass hohe Sparsität (niedriges $\ell_0$ ) nicht strikt entscheidend für eine erfolgreiche Steuerung ist. Sowohl Modelle mit niedriger als auch mit hoher Sparsität im Gemma Scope Modell waren effektiv für Steuerungsaufgaben.
Prompting-Baseline: Obwohl die vorgeschlagene SAE-Methode sich deutlich gegenüber früheren SAE-Versuchen verbessert hat, stellen die Autoren fest, dass einfaches Prompting eine starke Baseline bleibt, da LLMs explizit darauf trainiert sind, Instruktionen zu folgen.

Bedeutung und Behauptungen
Die Arbeit dient als teilweiser Widerspruch zu der Behauptung, dass SAEs für die Steuerung ineffektiv seien. Die Autoren argumentieren, dass die negativen Ergebnisse in Wu et al. (2025) nicht „gerechtfertigt“ waren, da sie sich auf bereits existierende, potenziell suboptimale Labels verließen und eine supervidierte Merkmalsselektion fehlte.

Die primäre Bedeutung liegt in der Demonstration, dass:

Labeling entscheidend ist: Die Methode des Labelings von SAE-Merkmalen ist kritisch. Ein supervidierter Ansatz unter Verwendung kalibrierter Metriken und Support-Schwellenwerte liefert Merkmale mit echtem kausalem Einfluss auf die Modellgenerierung.
Robustheit von SAEs: SAEs können mit parametereffizienten Fine-Tuning-Methoden (LoRA) bei der Steuerung konkurrieren, was ihren Nutzen als Interpretationswerkzeug validiert.
Kausale Ground Truth: In einem Forschungskontext bestätigt die erfolgreiche Steuerung eines Merkmals die „Ground Truth“ seines Labels und unterscheidet es von Artefakten der Datensatz-Idiosynkrasien (Polysemantizität), die eine korrelationsbasierte Interpretation irreführen könnten.

Die Autoren bewahren einen bescheidenen Ton und räumen ein, dass während SAEs mächtig für die Forschung und das Verständnis interner Modellprozesse sind, Prompting aufgrund der Natur des LLM-Trainings eine schwierige Baseline für praktische Anwendungen bleibt. Sie merken zudem an, dass das Steuern von Merkmalen eine „kontrollierte Beschädigung“ (controlled damage) des Modells beinhaltet, was es im Vergleich zu Standard-Fine-Tuning weniger geeignet für Produktionsumgebungen macht.