🤖 machine learning

Size Doesn't Matter: Cosine-Scored Sparse Autoencoders

Dieses Paper argumentiert, dass das Ersetzen des standardmäßigen Skalarprodukt-Scorings in Sparse Autoencodern durch eine gelernte Mischung aus Kosinusähnlichkeit und Magnitude verhindert, dass Tokens mit hoher Norm die Merkmalsselektion dominieren, wodurch die Entdeckung menschlich interpretierbarer Konzepte auf normalisierten Repräsentationen ermöglicht wird.

Ursprüngliche Autoren: Silen Naihin, Lev Stambler

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Silen Naihin, Lev Stambler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Lautstärken“-Fehler

Stellen Sie sich vor, Sie versuchen, ein Gespräch in einem überfüllten Raum zu verstehen. Sie haben ein Team von 65.000 winzigen Detektiven (genannt Features), die zuhören. Jeder Detektiv ist darauf trainiert, eine bestimmte Idee zu erkennen, wie zum Beispiel „Politik“, „Programmierung“ oder „Traurigkeit“.

Die Standardmethode, nach der diese Detektive arbeiten (unter Verwendung des Skalarprodukts), lässt sie sich auf zwei Dinge konzentrieren:

Was gesagt wird: Passt das Thema zu ihrer Spezialität?
Wie laut der Sprecher ist: Schreit der Sprecher oder flüstert er?

Das Problem ist, dass in modernen KI-Modellen das „Volumen“ eines Wortes (seine mathematische Größe oder sein Normwert) extrem stark variiert. Einige Wörter sind von Natur aus riesig, andere winzig klein.

Da die Standard-Detektive auf das Volumen achten, bringt ein lautes Wort (wie ein seltenes, komplexes Token) jeden Detektiven dazu, gleichzeitig „Ich habe es gefunden!“ zu schreien, selbst wenn das Thema gar nicht passt. Es ist, als würde ein Feueralarm losgehen, weil jemand einen schweren Kasten fallen gelassen hat, und nicht, weil es tatsächlich brennt.

Das KI-Modell selbst kümmert sich eigentlich gar nicht um das Volumen; ihm geht es nur um die Richtung des Gesprächs (die Bedeutung). Aber die Standard-Detektive verschwenden ihre Zeit damit, über das Volumen zu schreien, und lassen dadurch keinen Platz, um tatsächlich auf die Bedeutung zu hören.

Die Lösung: Der „Kosinus“-Detektiv

Die Autoren schlagen einen neuen Typ von Detektiv vor, der das Volumen ignoriert und nur auf die Richtung (den Winkel) der Wörter hört. Dies nennen sie Kosinus-Scoring.

Man kann es sich so vorstellen:

Standard-Detektiv: „Ich bin aufgeregt, weil der Sprecher laut ist UND über Katzen spricht!“
Kosinus-Detektiv: „Ich bin nur deshalb aufgeregt, weil er über Katzen spricht. Es ist mir egal, ob er flüstert oder schreit.“

Um dies umsetzbar zu machen, haben die Autoren ein flexibles System geschaffen, bei dem der Detektiv genau lernen kann, wie sehr er auf das Volumen achten soll. Sie gaben den Detektiven einen „Lautstärkeregler“ (einen Parameter namens $a$ ).

Wenn $a=1$ , achten sie auf das Volumen (der alte Weg).
Wenn $a=0$ , ignorieren sie das Volumen komplett (reiner Kosinus).

Was passierte, als sie es ausprobierten?

Die Autoren trainierten diese neuen Detektiven auf einem massiven Sprachmodell (Qwen3-8B) und verglichen sie mit den alten. Hier ist, was sie herausfanden:

1. Der „Lautstärkeregler“ wurde heruntergedreht
Obwohl die Detektiven die Erlaubnis hatten, weiterhin auf das Volumen zu achten, drehte der Trainingsprozess den Lautstärkeregler automatisch auf fast Null. Das System lernte, dass die Richtung entscheidend ist und das Volumen nur Rauschen darstellt. Kein einziger Detektiv entschied sich jemals dafür, mehr als 50 % der Aufmerksamkeit auf das Volumen zu richten.

2. Besser darin, echte Ideen zu finden
Bei Tests darüber, ob die Detektiven menschliche Konzepte (wie „Programmierung“ oder „Geografie“) identifizieren konnten, waren die neuen Kosinus-Detektive um 14,9 % besser als die alten.

Der alte Weg: Viele der Detektive waren „Volumen-Detektoren“. Sie feuerten einfach immer dann, wenn ein Wort laut war, unabhängig davon, was das Wort bedeutete. Sie verschwendeten ihre Kapazitäten.
Der neue Weg: Da sie aufhörten, über das Volumen zu schreien, hatten sie Platz, um tatsächliche Konzepte zu finden. Sie füllten das „Wörterbuch“ mit nützlichen Ideen statt mit bloßem Lärm.

3. Die „High-Norm“-Falle
Die Autoren fanden heraus, dass das alte System schlecht darin war, mit „lauten“ Wörtern (High-Norm-Token) umzugehen. Wenn ein lautes Wort eintraf, rekonstruierte das alte System den Satz mit einem Volumen, das 9,5-mal größer war als die Realität, was das Verständnis des Modells effektiv zerstörte. Das neue System handhabte diese lauten Wörter perfekt und hielt das Volumen realistisch.

4. Es liegt nicht nur an „mehr Daten“
Die Autoren bewiesen, dass dies nicht einfach daran lag, dass das neue System größer war oder länger trainiert wurde. Selbst wenn sie dem alten System dreimal so viele Detektive gaben, scheiterte es immer noch daran, gute Konzepte zu finden, weil seine „Scoring-Regel“ fehlerhaft war. Das Problem war die Geometrie der Art und Weise, wie sie zuhörten, nicht ihre Kapazität.

Das Fazit

Die Arbeit argumentt, dass für KI-Modelle, die eine bestimmte Art der Normalisierung verwenden (genannt RMSNorm), die Standardmethode der Merkmalserkennung fehlerhaft ist, da sie Lautstärke mit Bedeutung verwechselt.

Durch den Wechsel zu einem Kosinus-Score (der die Ausrichtung statt der Magnitude misst), erhalten wir ein Verzeichnis von Merkmalen, das:

Mit der Rekonstruktionsqualität des Modells übereinstimmt (es zerstört das Modell nicht).
Viel häufiger menschlich erkennbare Konzepte findet.
Aufhört, Platz mit „Volumen-Detektoren“ zu verschwenden.

Die Autoren kommen zu dem Schluss, dass für alle KI-Modelle, die diese normalisierten Repräsentationen nutzen, das Kosinus-Scoring die Standardeinstellung sein sollte, da es das Erlernen des Wörterbuchs mit dem ausrichtet, was das Modell tatsächlich „liest“.

Technisches Resümee: Größe spielt keine Rolle: Kosinus-basierte Sparse Autoencoder

1. Problemstellung

Sparse Autoencoder (SAEs) sind Standardwerkzeuge für die mechanistische Interpretierbarkeit und darauf ausgelegt, Modellaktivierungen in ein Wörterbuch aus menscheninterpretierbaren Merkmalen zu zerlegen. Standardmäßige SAEs detektieren Merkmale über einen Skalarprodukt-Score, $\langle w_i, x \rangle$ , der sowohl mit der Richtungsähnlichkeit des Inputs $x$ als auch mit dessen Magnitude $\|x\|$ skaliert.

Diese Scoring-Geometrie ist fundamental unpassend für moderne Transformer-Architekturen, die Pre-Sublayer-Normalisierung (speziell RMSNorm) verwenden. In diesen Modellen liest die Subschicht die normalisierte Aktivierung $x/\|x\|$ und verwirft damit effektiv die Magnituden-Information vor der Berechnung. Der SAE-Encoder, der jedoch am Residual-Stream ansetzt, beobachtet dennoch die volle Magnitude. Folglich vermischt der Skalarprodukt-Score die inhaltliche Ausrichtung mit der Token-Norm.

Unter BatchTopK-Selektion (dem Standard-Sparsitätsmechanismus) erzeugt diese Diskrepanz einen pathologischen Selektionsdruck: High-Norm-Token blähen die Pre-Aktivierungen für alle Merkmale gleichzeitig auf, unabhängig von deren tatsächlicher Richtungsähnlichkeit. Diese Token beanspruchen unverhältnismäßig viele Wörterbuch-Slots, was dazu führt, dass der SAE „Norm-Detektoren“ lernt (Merkmale, die basierend auf der Token-Magnitude feuern) anstatt „Inhalts-Detektoren“. Dies führt zu einem Wörterbuch, das von Merkmalen dominiert wird, die eine Quantität kodieren, die das Modell selbst ignoriert, was die Zuverlässigkeit von Sparse Probing, Feature Steering und Circuit-Analysen untergräbt.

2. Methodik

Die Autoren schlagen vor, den Standard-Skalarprodukt-Encoder-Score durch einen gelernten Exponenten-Kosinus-Score zu ersetzen. Der neue Pre-Aktivierungs-Score $s_i(x)$ ist definiert als:

$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$

Wobei:

$x_c = x - b_{dec}$ der auf den Decoder-Bias zentrierte Input ist.
$w_i$ unit-normalisierte Encoder-Zeilen sind.
$a$ ein lernbarer Exponent ist, der die Abhängigkeit von der Input-Magnitude steuert.
$b$ ein lernbarer Skalierungsparameter ist.
Der Term $e^b \|x_c\|^a$ zwischen reinem Kosinus-Similarity ( $a=0$ ) und Skalarprodukt ( $a=1$ ) interpoliert.

Das Paper untersucht zwei Parameter-Regime:

Globales $a$ : Ein einzelner Skalar-Exponent, der für alle Merkmale geteilt wird.
Pro-Feature $a_i$ : Eine Erweiterung, bei der jedes Merkmal seinen eigenen Exponenten lernt ( $a_i = a_{base} + \delta_i$ ), was Heterogenität in der Norm-Abhängigkeit ermöglicht.

Wichtige Design-Entscheidungen:

Unit-Normalisierung: Die Encoder-Zeilen werden bei jedem Forward-Pass unit-normalisiert, um sicherzustellen, dass der Score bei $a=0$ eine echte Kosinus-Ähnlichkeit darstellt.
Initialisierung: $a$ wird auf 0 (reiner Kosinus) und $b$ auf $\log \sqrt{d_{model}}$ initialisiert.
Stabilität: Um „Winner-take-all“-Kaskaden zu verhindern, bei denen Merkmale mit leicht höheren Anfangsgradienten ihre Exponenten vergrößern, um High-Norm-Token zu dominieren, verwendet die Per-Feature-Variante eine Base+Delta-Parametrisierung ( $a_i = a_{base} + \delta_i$ ). Dies verankert die globale Skalierung, während individuelle Feature-Offsets möglich bleiben.

3. Zentrale Beiträge

Architektur

Das Paper führt Kosinus-basierte SAEs ein, einen Austausch für den Standard-Encoder, der die implizite Annahme entfernt, dass Magnitude ein nützliches Signal für die Merkmalsdetektion ist. Durch die Erlaubnis des Optimierers, den Exponenten $a$ für die Norm-Abhängigkeit zu lernen, kann die Architektur das Skalarprodukt wiederherstellen, falls die Magnitude tatsächlich nützlich ist, standardmäßig aber auf eine reine Richtungs-Scoring-Methode setzt.

Empirische Ergebnisse

Experimente auf Qwen3-8B (Layer 18, 500 Mio. Tokens) und Gemma-2-2B zeigen, dass Kosinus-basierte SAEs:

Gleichwertige Rekonstruktion: Den Anteil der erklärten Varianz (FVE) und die Bewahrung des Modellverhaltens (KL/CE-Scores) erreichen statistisch ununterscheidbare Werte im Vergleich zu Standard-SAEs.
Signifikante Interpretierbarkeits-Gewinne: Bei gleicher Rekonstruktionsgüte verbessert die Per-Feature-Kosinus-Variante die Sparse-Probing Top-1 Genauigkeit um +14,9 % über acht SAEBench-Datensätze hinweg.
Feature-Entdeckung: Die Verbesserung resultiert nicht aus einer besseren Kodierung bereits vorhandener Merkmale, sondern aus der Entdeckung neuer, interpretierbarer Merkmale. Standard-SAEs scheitern daran, diese Merkmale zu lernen, da ihre Wörterbuch-Slots durch Norm-Detektoren besetzt werden.
Gelernte Geometrie: Das Training treibt den gelernten Exponenten $a$ konsistent gegen Null. Im globalen Regime liegt $a \approx 0,26$ ; im Per-Feature-Regime liegt der Mittelwert $a_i \approx 0,08$ . Kein Merkmal nähert sich dem Skalarprodukt-Limit ( $a=1$ ), was bestätigt, dass die Richtung und nicht die Magnitude das nützliche Signal ist.

Identifikation des Mechanismus

Das Paper isoliert die Ursache für das Versagen der Standard-SAEs: Forward-Pass TopK-Selektion unter Norm-Inflation.

Gradienten-Reweighting versagt: Versuche, die Gradientengrößen über Norm-Quartile hinweg zu egalisieren (via Loss-Reweighting), schließen nur 1,9–6,8 % der Performance-Lücke. Dies bestätigt, dass das Problem in der Selektions-Geometrie liegt (welche Merkmale im TopK-Wettbewerb gewinnen), nicht im Backward-Pass-Gradientenfluss.
Norm-konditionierte Merkmale: Standard-SAEs weisen den Großteil ihrer Kapazität Merkmalen zu, die massiv auf High-Norm-Tokens feuern (86 % der Aktivierungen im obersten Quartil). Diese Merkmale kodieren Magnitude, nicht Inhalt.
Rekonstruktions-Pathologie: Bei High-Norm-Tokens rekonstruieren Standard-SAEs mit einer Output-Norm, die 9,5-mal größer ist als die Input-Norm, während Kosinus-SAEs ein Verhältnis von 1:1 beibehalten, was dem tatsächlichen Readout des Modells entspricht.

4. Bedeutung und Behauptungen

Das Paper argumentiert, dass Kosinus-Scoring der Standard für das Dictionary Learning auf normalisierten Repräsentationen sein sollte. Der identifizierte Fehlerfall – bei dem Skalarprodukt-SAEs systematisch Inhalts-Merkmale zugunsten von Norm-Detektoren unterschätzen – betrifft wahrscheinlich jeden SAE, der auf Post-RMSNorm-Positionen trainiert wird.

Praktische Auswirkungen: Die vorgeschlagene Änderung ist eine minimale architektonische Modifikation (Hinzufügen von ein oder zwei Skalar-Parametern), die ohne Rekonstruktionskosten interpretierbarere Wörterbücher liefert.
Geltungsbereich und Limitationen:
- Der Vorteil ist bei RMSNorm am ausgeprägtesten. Bei LayerNorm-Modellen (z. B. Pythia, Falcon) nimmt der Nutzen in tiefen Schichten ab oder verschwindet, was darauf hindeutet, dass LayerNorms Subtraktion des Mittelwerts eine mit der Magnitude korrelierte Struktur bewahrt, die das Skalarprodukt nutzen kann.
- Sentiment ist die einzige Aufgabe, bei der das Standard-SAE die Kosinus-Variante übertrifft, was konsistent mit der Hypothese ist, dass Magnitude in der Sentiment-Analyse ein aufgabenspezifisches Signal trägt.
- Die Ergebnisse sind über Schichten und Modelle hinweg robust, aber nicht universell; das Ausmaß des Gewinns skaliert mit der Modell-Dimension und der Tiefe.

Die Autoren kommen zu dem Schluss, dass das Prinzip „Größe spielt keine Rolle“ gilt: Für normalisierte Repräsentationen ist die Magnitude der Aktivierung Rauschen für die Merkmalsdetektion, und die Geometrie des Encoder-Scores muss dies widerspiegeln, um bedeutsame, menschenerkennbare Konzepte zu extrahieren.