🤖 machine learning

Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders

Diese Arbeit zeigt, dass einzelne Sparse-Autoencoder-Features zwar oft eine mangelnde Reproduzierbarkeit über Trainings-Seeds hinweg aufweisen, sie kollektiv jedoch stabile, reproduzierbare niedrigdimensionale Subräume bilden, in denen stabile Features die funktionale Nützlichkeit antreiben und instabile Features lediglich Basis-Ambiguität anstatt Rauschen widerspiegeln.

Ursprüngliche Autoren: Gleb Gerasimov, Timofei Rusalev, Nikita Balagansky, Daniil Laptev, Vadim Kurochkin, Daniil Gavrilov

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gleb Gerasimov, Timofei Rusalev, Nikita Balagansky, Daniil Laptev, Vadim Kurochkin, Daniil Gavrilov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine riesige, komplexe Maschine (wie eine moderne KI) denkt. Um dies zu tun, verwenden Forscher ein Werkzeug namens Sparse Autoencoder (SAE). Betrachten Sie einen SAE als einen Übersetzer, der versucht, die internen Gedanken der KI in eine Liste von einfachen, für Menschen lesbaren „Merkmalen“ oder „Konzepten“ zu zerlegen (wie zum Beispiel „dieser Satz handelt von einer Katze“ oder „dieses Wort ist großgeschrieben“).

Es gibt jedoch ein Problem: Wenn Sie diesen Übersetzer zweimal mit leicht unterschiedlichen Ausgangsbedingungen ausführen (wie etwa durch das Würfeln, um den Startpunkt festzulegen), erhalten Sie oft eine andere Liste von Merkmalen. Einige Merkmale tauchen in beiden Listen auf, aber viele andere scheinen völlig zu verschwinden oder sich komplett zu verändern. Das macht es schwierig, der Übersetzung zu vertrauen.

Diese Arbeit untersucht, war Warum das passiert und was es bedeutet. Hier ist die Aufschlüsselung in einfachen Worten:

1. Die Entdeckung der „Zwei Arten von Merkmalen“

Die Forscher fanden heraus, dass die Merkmale, die die KI lernt, in zwei verschiedene Lager fallen, wie zwei verschiedene Arten von Schülern in einem Klassenzimmer:

Die „stabilen“ Schüler (Die Zuverlässigen):
- Was sie tun: Diese Merkmale tauchen in fast jeder Version des Übersetzers auf. Sie sind die Schwerarbeiter. Sie tragen die wichtigsten Informationen, die benötigt werden, um die Gedanken der KI zu verstehen und vorherzusagen, was als Nächstes kommt.
- Worüber sie sprechen: Sie erklären große Ideen, Grammatikregeln und bedeutungsvolle Phrasen (z. B. „dies ist eine Frage“, „dies ist ein Name“, „dies beschreibt ein Gefühl“).
- Analogie: Stellen Sie sich einen Nachrichtensprecher vor. Egal welchen Kamerawinkel man verwendet, der Nachrichtensprecher ist immer da und liefert die Hauptgeschichte.
Die „instabilen“ Schüler (Die Chamäleons):
- Was sie tun: Diese Merkmale sind launisch. Wenn Sie den Übersetzer erneut ausführen, verschwinden sie oft oder werden durch etwas anderes ersetzt. Sie tragen für sich allein nicht viel Gewicht.
- Worüber sie sprechen: Sie konzentrieren sich auf winzige, oberflächliche Details. Sie reagieren auf bestimmte Satzzeichen, seltsame Großschreibung oder kurze Buchstabenkombinationen (z. B. „Wörter, die mit einem ‚T‘ beginnen, gefolgt von einem Großbuchstaben“).
- Analogie: Stellen Sie sich einen Schüler vor, der nur dann die Hand hebt, wenn der Lehrer einen roten Hut trägt. Wenn der Lehrer einen blauen Hut trägt, bleibt der Schüler stumm. Er reagiert nicht auf die Lektion; er reagiert auf ein zufälliges Detail.

2. Die „Gruppenumarmungs“-Theorie (Subräume)

Sie könnten denken, dass die „instabilen“ Schüler einfach nur zufälliges Rauschen oder Fehler sind. Die Arbeit argumentiert, dass sie nicht nur Rauschen sind.

Das Ergebnis: Auch wenn einzelne instabile Merkmale ständig wechseln, neigen sie dazu, sich in einer bestimmten, kleineren „Gruppe“ oder einem Subraum zusammenzufinden.
Die Analogie: Stellen Sie sich eine Tanzfläche vor. Die „stabilen“ Merkmale sind die Haupttänzer, die die Choreografie ausführen. Die „instabilen“ Merkmale sind eine Gruppe von Menschen, die jedes Mal, wenn die Musik neu startet, ständig die Partner und die Bewegungen wechseln. Sie tanzen jedoch immer in derselbe Ecke des Raumes.
Was dies bedeutet: Die KI weiß, dass es eine spezifische „Ecke“ an Informationen gibt, die gelernt werden muss (wie ein bestimmtes Satzzeichenmuster), aber sie kann sich nicht darauf einigen, welcher spezifische Tänzer dieses Muster repräsentieren soll. Es ist eine Uneinigkeit über die Basis, nicht über die Existenz des Konzepts.

3. Der „Synthetische Beweis“

Um dies zu beweisen, bauten die Forscher ein künstliches, vereinfachtes KI-Modell (ein „Toy Model“), bei dem sie genau wussten, wie es funktioniert.

Sie erschufen eine Situation, in der die „Wahrheit“ eine niedrigdimensionale Gruppe war (eine kleine Ecke der Tanzfläche).
Ergebnis: Die KI lernte erfolgreich die Gruppe (die Ecke), tauschte aber jedes Mal, wenn sie neu startete, die einzelnen Tänzer (Merkmale) aus. Dies bestätigte, dass die Instabilität ein natürliches Ergebnis der Art und Weise ist, wie die KI versucht, geteilte Informationen zu organisieren, und nicht bloß ein Bug ist.

4. Die Lösung: Der „Das Beste aus beiden Welten“-Pool

Das Papier bietet einen cleveren Weg, die Instabilität zu beheben, ohne die Qualität der Übersetzung zu verlieren.

Die Methode: Anstatt einen einzelnen Übersetzer zu trainieren und auf das Beste zu hoffen, trainierten sie viele Übersetzer mit unterschiedlichen Seeds. Dann nahmen sie die „stabilen“ Merkmale aus all diesen Versuchen und kombinierten sie zu einem einzigen Master-Wörterbuch.
Das Ergebnis: Dieses neue Master-Wörterbuch war viel stabiler (es änderte sich zwischen den Durchläufen nicht so stark) und war genauso gut darin, die Gedanken der KI zu erklären, wie die ursprünglichen, instabilen Wörterbücher.
Die Erkenntnis: Man muss sich nicht zwischen einem stabilen Wörterbuch und einem guten Wörterbuch entscheiden. Indem man die zuverlässigen Merkmale aus vielen verschiedenen Trainingsläufen zusammenführt, erhält man beides.

Zusammenfassung

Instabile Merkmale sind nicht einfach kaputt; sie sind reale, aber fragile Muster, bei denen die KI Schwierigkeiten hat, sie auf ein einziges Label festzulegen.
Stabile Merkmale sind die Kern-, bedeutungsvollen Konzepte.
Die Instabilität entsteht dadurch, dass die KI viele Möglichkeiten hat, dieselbe kleine Gruppe von Mustern zu beschreiben, was zu einer „Basis-Ambiguität“ führt (einer Uneinigkeit über das Label, nicht über das Konzept).
Die Lösung: Kombinieren Sie die besten, zuverlässigsten Merkmale aus vielen verschiedenen Trainingsläufen, um einen stärkeren, konsistenteren Übersetzer zu bauen.

Technisches Resümee: Instabile Merkmale, reproduzierbare Unterräume

Problemstellung

Sparse Autoencoder (SAEs) sind ein primäres Werkzeug für die mechanistische Interpretierbarkeit mit dem Ziel, die Aktivierungen neuronaler Netze in dünnbesetzte (sparse), menschlich interpretierbare Merkmale zu zerlegen. Eine kritische Einschränkung ist jedoch die Seed-Abhängigkeit: SAEs, die auf identischen Daten und Hyperparametern, aber mit unterschiedlichen Zufallssamen (Seeds) trainiert wurden, lernen oft substanziell unterschiedliche Merkmalssets. Dies wirft eine grundlegende Frage auf: Wenn ein spezifisches Merkmal in einem neuen Trainingslauf nicht wieder auftaucht, ist die zugrunde liegende Richtung dann im neuen Wörterbuch abwesend, oder hat der SAE einfach eine andere Basis für denselben Bereich des Aktivierungsraums gelernt? Die Unterscheidung zwischen diesen Möglichkeiten ist entscheidend, da automatisierte Interpretationsmethoden plausiblen Erklärungen selbst in nicht-kanonischen oder zufälligen Settings zuordnen können, was bedeutet, dass ein „interpretierbar aussehendes“ Merkmal kein reproduzierbare Einheit der Analyse sein muss.

Methodik

Die Autoren untersuchen dieses Problem durch Merkmalsstabilität, definiert als die Wahrscheinlichkeit, dass ein Merkmal in einem unabhängig trainierten SAE unter einer Kosinus-Ähnlichkeits-Matching-Regel wiederauftaucht.

Stabilitätsschätzung: Die Autoren trainieren $N+1$ SAEs auf identischen Daten mit unterschiedlichen Seeds. Ein Durchlauf dient als Anker. Für jedes Anker-Merkmal zählen sie, wie viele andere Durchläufe ein Merkmal enthalten, das eine Kosinus-Ähnlichkeit $\ge \theta$ (Standard $\theta=0,7$ ) aufweist. Dies ergibt eine empirische Wiederauftretenswahrscheinlichkeit $\hat{p}_i$ für jedes Merkmal.
Klassifizierung: Merkmale werden als stabil ( $\hat{p} \ge 1-\epsilon$ ) oder instabil ( $\hat{p} \le \epsilon$ ) kategorisiert, wobei $\epsilon=0,05$ .
Vergleichende Analyse: Stabile und instabile Merkmale werden über mehrere Dimensionen hinweg verglichen:
- Funktionale Auswirkung: Gemessen an der Rekonstruktionsqualität (Erklärte Varianz) und dem Downstream Next-Token-Loss unter Activation Patching.
- Aktivierungsstatistiken: Häufigkeit und Magnitude der Aktivierung.
- Token-Struktur: Token-Entropie (Diversität der Token, die das Merkmal triggern).
- Automatische Interpretation: Analyse der durch SAEBench generierten Erklärungen.
Geometrische Analyse: Die Autoren analysieren die Geometrie des Decoder-Raums, berechnen den effektiven Rang der von stabilen vs. instabilen Merkmalen aufgespannten Unterräume und testen die Cross-Seed-Reproduzierbarkeit dieser Unterräume mittels Singularwertzerlegung (SVD) und logistischer Regressionsklassifikatoren.
Synthetische Validierung: Ein kontrolliertes Low-Rank-Synthetikmodell wird konstruiert, in dem Ground-Truth-Merkmale in einem gemeinsamen Low-Rank-Unterraum existieren. SAEs werden auf diesen Daten trainiert, um zu verifizieren, ob Basis-Ambiguität innerhalb eines gemeinsamen Unterraums die beobachteten Instabilitätsmuster reproduzieren kann.
Feature-Pooling: Um zu testen, ob die Stabilität verbessert werden kann, ohne die Rekonstruktionsqualität zu opfern, konstruieren die Autoren neue SAEs durch das Zusammenführen (Pooling) einzigartiger Merkmale aus mehreren unabhängigen Durchläufen, wobei jene mit den höchsten Wiederauftretenswahrscheinlichkeiten ausgewählt werden.

Kernergebnisse

1. Funktionale Asymmetrie

Es besteht eine ausgeprägte funktionale Asymmetrie zwischen stabilen und instabilen Merkmalen:

Stabile Merkmale: Tragen den Großteil des rekonstruktions- und prädiktionsrelevanten Signals. Sie weisen höhere Aktivierungshäufigkeiten, schwerere High-Magnitude-Tails und eine höhere Token-Entropie (Abdeckung breiterer lexikalischer und konzeptioneller Muster) auf.
Instabile Merkmale: Haben einen schwachen marginalen Einfluss. Das Maskieren einer großen Anzahl instabiler Merkmale verursacht nur eine geringfügige Verschlechterung der Rekonstruktionsqualität und des Next-Token-Loss, während das Maskieren deutlich weniger stabiler Merkmale eine substanzielle Verschlechterung bewirkt. Sie werden von niederfrequenten Oberflächenform-Triggern (z. B. Interpunktion, spezifische Substrings, Großschreibungsmuster) dominiert und haben eine geringere Token-Entropie.

2. Geometrische Struktur: Reproduzierbare Unterräume

Obwohl die spezifischen instabilen Merkmale über Seeds hinweg nicht reproduzierbar sind, handelt es sich bei ihnen nicht um reines Rauschen.

Low-Rank-Konzentration: Instabile Merkmale konzentrieren sich in vergleichsweise niedrigdimensionalen Unterräumen gegenüber stabilen Merkmalen (Reduktion des effektiven Rangs um ca. 20–27 %).
Unterraum-Reproduzierbarkeit: Obwohl die spezifischen Basisvektoren (einzelne Merkmale) über Seeds hinweg variieren, sind die von ihnen aufgespannten Unterräume hochgradig reproduzierbar. Ein Klassifikator, der darauf trainiert wurde, instabile Merkmale in einem Seed zu unterscheiden, überträgt sich effektiv auf andere Seeds, und die obersten singulären Unterräume eines Seeds approximieren die anderen genau.
Synthetische Bestätigung: Das synthetische Low-Rank-Modell bestätigt diesen Mechanismus: Low-Rank-Ground-Truth-Merkmale werden auf der Ebene des Unterraums wiederhergestellt, scheitern jedoch an der Ausrichtung als einzelne Latente über Seeds hinweg aufgrund von Basis-Ambiguität innerhalb des gemeinsamen Bereichs.

3. Konstruktion stabiler SAEs

Durch das Zusammenführen (Pooling) einzigartiger Merkmale aus mehreren unabhängigen Durchläufen und der Auswahl derer mit den höchsten Wiederauftretenswahrscheinlichkeiten konstruieren die Autoren „seed-robuste“ SAEs.

Diese konstruierten SAEs erreichen nach kurzer Feinabstimmung eine nahezu ursprüngliche Erklärte Varianz (EV).
Entscheidend ist, dass dieser Ansatz zeigt, dass Stabilität und Rekonstruktionsqualität in diesem Konstruktionssetting nicht miteinander konkurrieren müssen; hohe Stabilität geht mit hoher EV einher.
Diese gepoolten SAEs bleiben im Vergleich zu Standard-TopK-SAEs auf SAEBench-Interpretierbarkeitsmetriken wettbewerbsfähig.

4. Robustheit und Baselines

Trainingsskala: Eine Erhöhung der Trainings-Tokens reduziert die Instabilität zunächst, nähert sich jedoch einem nicht-nullen Plateau (~8 % instabile Merkmale), was darauf hindeutet, dass Instabilität nicht bloß ein Resultat von Untertraining ist.
Random-Modelle: Wenn SAEs auf Aktivierungen eines zufällig initialisierten Transformers trainiert werden (eine „Dead-Salmon“-Baseline), bricht der stabile Anteil zusammen und Instabilität dominiert. Dies bestätigt, dass die stabilen Merkmale in trainierten Modellen echte Strukturen widerspiegeln und nicht bloß Artefakte des SAE-Ziels sind.
SAE-Varianten: Verschiedene Sparsitätsmechanismen (TopK, BatchTopK, JumpReLU, Vanilla) zeigen unterschiedliche Grade an Stabilität, aber die bimodale Verteilung von stabilen/instabilen Merkmalen bleibt über die meisten Varianten hinweg bestehen.

Bedeutung und Ansprüche

Das Paper argumentiert, dass instabile Merkmale in SAEs nicht bloß fehlgeschlagene oder verrauschte Latente sind. Stattdessen spiegeln sie eine reproduzierbare niedrigdimensionale Struktur innerhalb des Aktivierungsraums wider, die Standard-SAEs aufgrund von Basis-Ambiguität über verschiedene Seeds hinweg unterschiedlich auflösen.

Implikationen für die Interpretierbarkeit: Die Existenz instabiler Merkmale legt nahe, dass ein einzelnes SAE-Wörterbuch eine wichtige Cross-Seed-Struktur verschleiern kann. Diese Struktur ist jedoch rekonstruierbar.
Methodischer Beitrag: Die Autoren schlagen vor, dass das Pooling von High-Probability-Merkmalen über Durchläufe hinweg eine praktikable Strategie ist, um stabilere SAEs zu konstruieren, ohne die Rekonstruktionsqualität oder die Downstream-Interpretierbarkeit zu opfern.
Theoretische Erkenntnis: Die Arbeit klärt, dass Seed-Abhängigkeit oft unterschiedliche Basis-Wahlen innerhalb eines gemeinsamen Bereichs des Aktivierungsraums widerspiegelt, statt das Fehlen einer gemeinsamen Struktur. Diese Unterscheidung ist entscheidend für das Verständnis der Grenzen der Merkmals-Interpretierbarkeit und des Potenzials, identifizierbare Einzelmerkmale innerhalb reproduzierbarer Unterräume wiederherzustellen.

Die Autoren bleiben bescheiden und merken an, dass ihre Low-Rank-Analyse zwar Evidenz für einen spezifischen Mechanismus der Seed-Abhängigkeit liefert, aber nicht beweist, dass jedes instabile Merkmal in realen Large Language Models ausschließlich durch diesen Mechanismus erzeugt wird. Zudem ist das Fehlen eines Stabilitäts-EV-Trade-offs spezifisch für die Methode der Feature-Pool-Konstruktion und keine notwendige Eigenschaft eines einzelnen SAE-Trainingsziels.