🤖 machine learning

On the Relationship Between Activation Outliers and Feature Death in Sparse Autoencoders

Diese Arbeit identifiziert Ausreißer auf Dimensionsebene als die primäre Ursache für das Absterben von Features in Sparse Autoencodern, zeigt auf, dass eine hohe Ausreißer-Schwere die Prä-Aktivierungen dauerhaft in negative Werte verschiebt, und schlägt die Mittelwertzentrierung als effektive Lösung vor, um dieses Problem über verschiedene Modelle hinweg zu eliminieren.

Ursprüngliche Autoren: Elana Simon, Etowah Adams, James Zou

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Elana Simon, Etowah Adams, James Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die „Geister“-Merkmale

Stellen Sie sich vor, Sie bauen eine riesige Bibliothek voller Bücher (ein Wörterbuch), um die Welt zu beschreiben. Sie stellen einen Bibliothekar (das KI-Modell) ein, der jeden Satz, den Sie ihm geben, in diese Bücher einsortiert. Das Ziel ist es, dass jedes Buch eine einzige, klare Idee enthält.

In vielen Fällen sind jedoch 70 % Ihrer Bücher komplett leer. Niemand öffnet sie jemals. Der Bibliothekar ignoriert sie völlig. In der Arbeit werden diese als „tote Merkmale“ (dead features) bezeichnet.

Die Autoren fanden heraus, dass dies nicht daran liegt, dass der Bibliothekar faul ist oder seinen Job schlecht macht. Es liegt daran, dass die Bücher so in die Regale gestellt wurden, dass sie unerreichbar waren, noch bevor der Bibliothekar überhaupt mit der Arbeit begann.

Der Übeltäter: Der „schwere Rucksack“

Die Arbeit identifiziert ein spezifisches Problem namens „Aktivierungs-Ausreißer“ (Activation Outliers).

Stellen Sie sich die Daten, die die KI verarbeitet, als eine Menschenmenge vor, die durch einen Flur läuft.

Normaler Flur: Jeder geht in einem normalen Tempo. Der Bibliothekar kann leicht interessante Personen herauspicken, um sie in bestimmte Bücher einzusortieren.
Der Ausreißer-Flur: Eine Person in der Menge trägt einen riesigen, 500 Pfund schweren Rucksack. Diese Person ist so schwer, dass sie die gesamte Menge leicht in ihre Richtung zieht, egal wer sonst noch da ist.

In technischen Begriffen ist dieser „Rucksack“ eine spezifische Dimension in den Daten, die einen riesigen Durchschnittswert (einen „Mittelwert“) im Vergleich zu ihrer üblichen Varianz aufweist. Die Schwere dieses Rucksacks wird in der Arbeit als $\gamma$ (Gamma) bezeichnet.

Warum die Bücher „sterben“

Die Autoren fanden heraus, dass dieser „Rsucksack“ den Sortierprozess direkt zu Beginn (bei der Initialisierung) ruiniert, noch bevor überhaupt ein Lernen stattfindet.

Die „Anti-Rucksack“-Bücher: Einige Bücher sind darauf ausgelegt, Menschen aufzufangen, die gegen den Fluss des schweren Rucksacks laufen. Da der Rucksack so schwer ist, werden diese Menschen so weit nach hinten gedrückt, dass sie den Schreibtisch des Bibliothekars nie erreichen. Diese Bücher sind „tot durch ReLU“ (dead-by-ReLU) (sie sind permanent negativ und bekommen nie die Chance, sich zu öffnen).
Die „Rucksack“-Bücher: Einige Bücher sind darauf ausgelegt, Menschen aufzufangen, die mit dem Rucksack laufen. Da der Rucksack so schwer ist, sind diese Menschen immer ganz vorne in der Schlange. Sie werden jedes Mal ausgewählt und verdrängen alle anderen.
Der „Wettbewerbs“-Tod: In einigen Bibliotheken wählt der Bibliothekar nur die obersten 10 Personen aus. Wenn der Rucksack 99 % der Menge gleich aussehen lässt, werden nur die obersten 1 % ausgewählt. Der Rest der Bücher bekommt nie die Chance, genutzt zu werden. Diese sind „tot durch TopK“ (dead-by-TopK).

Das Ergebnis: Das Schicksal der Bücher wird in dem Moment entschieden, in dem die Bibliothek eröffnet wird. Wenn der Rucksack schwer genug ist, sind 70 % der Bücher dazu verdammt, für immer leer zu bleiben, egal wie sehr sich der Bibliothekar beim Lernen anstrengt.

Die „Lösung“: Den Rucksack ablegen

Die Autoren testeten eine einfache Lösung: Mittelwertzentrierung (Mean-Centering).

Dies ist vergleichbar mit der Aufforderung an die Person mit dem schweren Rucksack, den Rucksack abzulegen, bevor sie den Flur betritt.

Vorher: Die Menge wird durch den Rucksack mitgezogen. Der Bibliothekar kann die einzelnen Personen nicht klar erkennen.
Nachher: Der Rucksack ist weg. Die Menge ist ausgeglichen. Jetzt kann der Bibliothekar jede Person klar sehen.

Was passierte, als sie das taten?

Bei Modellen, bei denen der „Rucksack“ schwer war (wie AlphaFold3 oder Proteinfunktionsmodelle), sank die Anzahl der toten Bücher von 70 % auf nahezu 0 %.
Die Bücher, die überlebten, waren besser. Sie enthielten klarere, spezifischere Ideen (mehr „monosemantisch“).
In einem Experiment fand eine Bibliothek mit Mittelwertzentrierung und 2.000 Büchern mehr nützliche Ideen als eine Bibliothek mit 8.000 Büchern, die keine Mittelwertzentrierung verwendete.

Warum Training allein nicht funktioniert

Sie denken vielleicht: „Kann der Bibliothekar den Rucksack nicht einfach im Laufe der Zeit ignorieren lernen?“

Die Autoren sagen: Nein, nicht in einer angemessenen Zeitspanne.

Um das Problem zu lösen, muss der Bibliothekar langsam eine „Bias“ (eine mentale Anpassung) lernen, um das Gewicht des Rucksacks auszugleichen.
Wenn der Rucksack riesig ist (hohes $\gamma$ ), dauert diese Anpassung Millionen von Schritten. Der Bibliothekar bleibt stecken, und die Bücher bleiben für die gesamte Lebensdauer des Projekts tot.
Andere Tricks, die Menschen verwenden (wie „AuxK“), helfen ein wenig, können aber die Ursache nicht beheben. Sie sind wie der Versuch, ein liegengebliebenes Auto mit einem Ventilator anzuschieben; es hilft ein klein wenig, aber man muss stattdessen den Motor reparieren (den Rucksack entfernen).

Wie man erkennt, ob man diese Lösung braucht

Die Arbeit liefert ein einfaches Diagnosewerkzeug namens $\gamma$ (Gamma).

Es misst das Verhältnis des „Gewichts des Rucksacks“ zum normalen „Wackeln“ der Menge.
Niedriges Gamma: Der Rucksack ist leicht. Sie müssen nichts Besonderes tun.
Hohes Gamma: Der Rucksack ist schwer. Sie müssen ihn ablegen (Mittelwertzentrierung verwenden), bevor Sie mit dem Training beginnen, sonst verschwenden Sie Ihre Ressourcen auf leere Bücher.

Zusammenfassung

Das Problem: Einige KI-Modelle haben „schwere Rucksäcke“ (Ausreißer) in ihren Daten, die bestimmte Merkmale bereits vor Beginn des Trainings außer Reichweite schieben.
Die Folge: Ein Großteil des „Wörterbuchs“ der KI wird unbrauchbar (tote Merkmale), was Platz verschwendet und die KI schwerer verständlich macht.
Die Lösung: Ziehen Sie einfach den Durchschnittswert der Daten ab (nehmen Sie den Rucksack ab), bevor Sie mit dem Training beginnen. Dies nennt man Mittelwertzentrierung (Mean-Centering).
Der Nutzen: Es erweckt die toten Merkmale zum Leben, macht die KI mit weniger Ressourcen intelligenter und funktioniert konsistent über Sprach-, Visions- und Biologiemodelle hinweg.

Die Arbeit kommt zu dem Schluss, dass dieser einfache Vorverarbeitungsschritt für viele moderne KI-Modelle nicht nur ein „Nice-to-have“ ist – er ist essenziell, damit das Modell korrekt funktioniert.

Technisches Resümee: Über den Zusammenhang zwischen Aktivierungs-Ausreißern und Feature-Tod in Sparse Autoencodern

1. Problemstellung

Sparse Autoencoder (SAEs) sind darauf ausgelegt, die Aktivierungen neuronaler Netze in interpretierbare, spärliche Merkmale (Features) zu zerlegen, um das Phänomen der Superposition (bei dem Netzwerke mehr Konzepte als Dimensionen kodieren, indem sie Richtungen überlappen) rückgängig zu machen. Ein kritischer Ausfallmodus ist jedoch der sogenannte Feature-Tod (feature death), bei dem gelernte Wörterbuch-Merkmale auf keinem Input mehr aktivieren. Dies verschwendet die Kapazität des Wörterbuchs und zwingt überlebende Merkmale dazu, zu kompensieren, was Superposition potenziell wieder einführt.

Die Arbeit identifiziert eine signifikante Inkonsistenz in der SAE-Leistung: Identische SAE-Konfigurationen liefern bei Modellen wie GPT-2 nahezu null tote Features, bei Modellen wie AlphaFold3 jedoch über 70 % tote Features. Bestehende Revival-Techniken (z. B. AuxK, Ghost Gradients, Resampling) behandeln den Feature-Tod als ein Problem der Trainingsdynamik und versuchen, Gradientensignale in feststeckende Features zu injizieren. Diese Methoden scheitern jedoch daran, die Todesraten in den schwersten Fällen zu lösen, was darauf hindeutet, dass die Ursache nicht in der Trainingsdynamik, sondern im Initialisierungszustand der Aktivierungen liegt.

2. Methodik und theoretischer Rahmen

2.1 Dimensionale Aktivierungs-Ausreißer

Die Autoren schlagen vor, dass dimensionale Aktivierungs-Ausreißer (dimension-level activation outliers) die primäre Ursache für den Feature-Tod sind. Im Gegensatz zu Token-Ausreißern (Spitzenwerte in spezifischen Inputs) handelt es sich hierbei um Dimensionen, in denen die mittlere Aktivierungsamplitude ( $\mu$ ) groß im Verhältnis zur Standardabweichung pro Token ( $\sigma$ ) ist. Dies erzeugt einen nahezu konstanten Offset über alle Inputs hinweg.

Die Autoren formalisieren die Ausreißer-Schwere (outlier severity) als das Verhältnis:
$\gamma = \frac{\|\mu\|}{\|\sigma\|}$
wobei $\mu$ der mittlere Aktivierungsvektor und $\sigma$ der Standardabweichung pro Token ist.

2.2 Geometrischer Mechanismus des Todes

Bei der Initialisierung (mit Null-Biases) ist die Prä-Aktivierung für Feature $i$ : $z_i = w_i \cdot x$ . Die Zerlegung des Inputs $x$ in Mittelwert und Variation ( $x = \mu + (x - \mu)$ ) führt zu der Prä-Aktivierung:
$z_i = \underbrace{w_i \cdot \mu}_{\text{konstanter Shift}} + \underbrace{w_i \cdot (x - \mu)}_{\text{input-abhängiges Signal}}$

Wenn $\gamma$ hoch ist, dominiert der konstante Shift das Signal. Dies führt zu zwei distinkten Ausfallmodi bei der Initialisierung:

Dead-by-ReLU: Features mit Gewichten, die anti-aligned zu $\mu$ sind ( $w_i \cdot \mu \ll 0$ ), erhalten permanent negative Prä-Aktivierungen. Da die ReLU-Funktion für negative Werte Null ausgibt, feuern diese Features nie und erhalten keinen Gradienten.
Dead-by-TopK: In TopK-SAEs können Features mit moderaten positiven Shifts zwar die ReLU passieren, verlieren aber den Wettbewerb gegen Features mit großen positiven Shifts. Nur die $k$ Features, die am stärksten mit $\mu$ ausgerichtet sind, gewinnen die TopK-Auswahl, wodurch der Rest stirbt.

2.3 Analytische Ableitung

Die Arbeit leitet geschlossene Ausdrücke für die Wahrscheinlichkeit des Feature-Todes basierend ausschließlich auf $\gamma$ ab:

Dead-by-ReLU: $P(\text{dead}) = \Phi\left(\frac{-C}{\gamma}\right)$ , wobei $\Phi$ die Standardnormalverteilung (CDF) ist und $C$ von der Anzahl der Evaluierungs-Samples abhängt.
Dead-by-TopK: $P(\text{dead}) \approx \Phi\left(\frac{t_k - C}{\gamma}\right)$ , wobei $t_k$ das Quantil ist, das dem TopK-Schwellenwert entspricht.

Diese Formeln sagen voraus, dass mit steigendem $\gamma$ die Todesrate monoton steigt und bei extremer Schwere 50 % für ReLU bzw. $1 - k/n$ für TopK erreicht.

2.4 Experimenteller Aufbau

Die Autoren validieren diese Behauptungen über 454 Modell-Layer-Kombinationen, die Sprach-, Vision-, Protein- und Genommodelle umfassen. Sie:

Berechnen $\gamma$ auf realen Aktivierungen (unter Verwendung von Per-Token LayerNorm).
Trainieren SAEs mit und ohne Hilfsverlustfunktionen (AuxK).
Führen synthetische Experimente durch, bei denen $\gamma$ kontrolliert wird, um Kausalität zu isolieren.
Testen Mean-Centering (Subtraktion von $\mu$ von den Inputs oder Initialisierung des Bias auf $\mu$ ) als Minderungsstrategie.

3. Zentrale Beiträge

Diagnose der Ausreißer-Schwere ( $\gamma$ ): Die Autoren leiten $\gamma$ aus ersten Prinzipien ab und zeigen, dass es die Anzahl der beim Start toten Features analytisch bestimmt. Dieses Diagnosewerkzeug korreliert stark mit beobachteten Todesraten über diverse Modelle hinweg (Spearman $\rho = 0,89$ für TopK, $\rho = 0,82$ für ReLU), ohne dass ein Fitting erforderlich ist.
Geometrische Ursache des Todes: Die Arbeit etabliert, dass der Feature-Tod in Modellen mit hohem $\gamma$ ein geometrisches Initialisierungsproblem ist und kein Problem der Trainingsdynamik. Der Aktivierungsmittelwert erzeugt input-unabhängige Prä-Aktivierungs-Shifts, die das Schicksal der Features bereits vor dem Training vorbestimmen.
Analyse der Recovery-Dynamik: Die Autoren charakterisieren zwei unterschiedliche Revivals-Pfade:
- Fast: Dead-by-TopK Features werden lebendig, während konkurrierende Features während des Trainings schrumpfen.
- Slow: Dead-by-ReLU Features werden nur lebendig, wenn der SAE-Bias langsam lernt, den Mittelwert-Offset $\mu$ zu absorbieren. Dieser Prozess ist bei hohem $\gamma$ prohibitiv langsam, was erklärt, warum das Training allein oft nicht ausreicht, um Features zu retten.
Validierung via Mean-Centering: Die Arbeit zeigt, dass die Initialisierung des SAE-Bias auf den Mittelwert der Aktivierung (effektives Mean-Centering) den durch Ausreißer induzierten Tod bei der Initialisierung eliminiert. Dies bestätigt den geometrischen Mechanismus und liefert eine fundierte Begründung dafür, wann diese Vorverarbeitung notwendig ist.

4. Ergebnisse

Korrelation: $\gamma$ sagt die anfänglichen Todesraten über 454 Modell-Layer-Kombinationen hinweg präzise voraus. Synthetische Experimente bestätigen eine perfekte Rangkorrelation ( $\rho = 1,0$ ) zwischen steigendem $\gamma$ und steigenden Todesraten.
Einschränkungen des Trainings: In Szenarien mit hohem $\gamma$ (z. B. $\gamma \ge 30$ ) scheitert das Standardtraining auch nach 2 Millionen Schritten an der Wiederbelebung der Features. Der Lernprozess des Bias ist der Flaschenhals; Features mit permanent negativen Prä-Aktivierungen bleiben tot, da der Bias den großen Offset nicht schnell genug lernen kann.
AuxK-Limitierungen: AuxK beschleunigt die Erholung von Dead-by-TopK Features durch Bereitstellung von Gradientensignalen, beschleunigt aber nicht den für die Dead-by-ReLU-Erholung notwendigen Bias-Lernprozess. Folglich hilft AuxK bei moderatem $\gamma$ , kann aber den Tod bei hohem $\gamma$ nicht lösen.
Effektivität von Mean-Centering:
- Auf synthetischen Daten ( $\gamma = 40$ ) reduziert Mean-Centering die toten Features auf nahezu Null und senkt den Rekonstruktionsfehler um eine Größenordnung.
- Bei realen Modellen (z. B. ESM3, AlphaFold3) reduziert Mean-Centering den anfänglichen Tod von $> 80\,\%$ auf nahezu Null.
- Feature-Qualität: Mean-zentrierte SAEs produzieren monosemantischere Features. Auf ESM3 stellt ein mean-zentriertes SAE mit 2.048 Features mehr biologische Konzepte (100) wieder her als ein Baseline-SAE mit 8.192 Features (73).
Restlicher Tod: Mean-Centering eliminiert nicht jeglichen Tod. In extremen Low-Rank-Layern (z. B. Evo1), in denen die Varianz in sehr wenigen Richtungen konzentriert ist, sterben Features dennoch aufgrund des TopK-Wettbewerbs. Die Autoren schlagen PCA-Whitening oder Active Subspace Initialization als Abhilfemaßnahmen für diese spezifischen Fälle vor.

5. Bedeutung und Behauptungen

Das Paper beansprucht, eine fundierte Basis für das Verständnis und die Milderung des Feature-Tods in SAEs zu liefern, indem es das Paradigma von "Behebung der Trainingsdynamik" zu "Korrektur der Initialisierungsgeometrie" verschiebt.

Praktische Anleitung: Die Autoren schlagen einen einfachen Diagnose-Workflow vor: Berechne $\gamma$ für einen Layer. Wenn $\gamma$ hoch ist, ist Mean-Centering (Initialisierung des Bias auf den Mittelwert der Aktivierung) notwendig, um den Feature-Tod zu verhindern. Wenn $\gamma$ niedrig ist, reicht das Standardtraining aus.
Effizienz: Mean-Centering eliminiert die Notwendigkeit für rechenintensive Revival-Techniken (wie AuxK) in hohen $\gamma$ -Regimen und ermöglicht es kleineren Dictionaries, dieselbe oder eine bessere Interpretierbarkeit als größere, unzentrierte zu erreichen.
Theoretische Einsicht: Die Arbeit verdeutlicht, dass die Variabilität der SAE-Leistung über verschiedene Domänen hinweg (Sprache vs. Biologie) durch die Aktivierungsgeometrie der Quellmodelle getrieben wird und nicht durch die SAE-Architektur selbst.

Das Paper kommt zu dem Schluss, dass für die meisten Modelle die Initialisierung des SAE-Bias auf den geometrischen Median der Aktivierungen ein kostenneutraler, hochwirksamer Schritt ist, der sicherstellt, dass die effektive Wörterbuchgröße der intendierten Größe entspricht, was eine zuverlässigere mechanistische Interpretierbarkeit über verschiedene Modellfamilien hinweg ermöglicht.