💬 NLP

Disentangling MLP Neuron Weights in Vocabulary Space

Die Arbeit stellt ROTATE vor, eine datenfreie Methode, die durch Optimierung der Gewichtsrotationen zur Maximierung der Kurtosis im Vokabularraum monosemantische, interpretierbare „Vocabulary Channels" in MLP-Neuronen von Sprachmodellen identifiziert und dabei aktivierungsbasierte Baselines deutlich übertrifft.

Ursprüngliche Autoren: Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva

Veröffentlicht 2026-04-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein großes Sprachmodell (wie ein KI-Chatbot) ist eine riesige, dunkle Fabrik. In dieser Fabrik arbeiten Millionen von winzigen Arbeitern, die wir Neuronen nennen. Jeder dieser Arbeiter hat einen Stapel mit Anweisungen (seine Gewichte), die festlegen, wie er auf bestimmte Wörter reagiert und was er als Nächstes sagt.

Das Problem: Diese Anweisungen sind wie ein riesiger, verschmierter Klecks aus Tinte. Man sieht zwar, dass etwas passiert, aber man kann nicht genau sagen, welcher Arbeiter genau was macht. Oft tun sie alles auf einmal: Ein Arbeiter denkt an „Hunde", „Laufen" und „Regen" gleichzeitig. Das nennt man Polysemantik (Vieldeutigkeit).

Die Forscher aus diesem Papier haben eine neue Methode namens ROTATE entwickelt, um diesen Klecks zu entwirren. Hier ist die Erklärung in einfachen Bildern:

1. Das Problem: Der verschmierte Klecks

Stell dir vor, du hast einen Mixer, der in sich selbst verschiedene Zutaten vermischt hat. Wenn du den Mixer anschaust, siehst du nur einen braunen Brei. Du weißt nicht, wo das Mehl ist, wo die Eier und wo der Zucker. In der KI-Forschung versuchen wir normalerweise, den Mixer anzuschalten (Daten durchlaufen zu lassen), um zu sehen, was passiert. Das ist aber langsam und teuer.

2. Die Lösung: ROTATE (Der magische Drehstuhl)

ROTATE ist wie ein magischer Drehstuhl, auf den man den Mixer setzen kann. Man muss den Mixer nicht anschalten. Stattdessen dreht man den Klecks (die Gewichte) einfach im Raum herum, bis man eine besondere Eigenschaft findet.

Die Forscher haben eine geniale Beobachtung gemacht:

Wenn ein Arbeiter (Neuron) wirklich nur eine Sache macht (z. B. nur über „Hunde" spricht), dann ist die Verteilung seiner Anweisungen sehr spitz und scharf. Es gibt ein paar ganz klare, wichtige Wörter und hunderte unwichtige.
Wenn er aber alles durcheinander wirft, ist die Verteilung flach und langweilig (wie ein flacher Hügel).

ROTATE dreht den Klecks so lange, bis er diese spitzen, scharfen Spitzen findet. In der Statistik nennt man das Kurtosis (eine Art Maß für „Spitzheit").

3. Das Ergebnis: Die „Wort-Kanäle"

Sobald ROTATE den Klecks so gedreht hat, dass er die schärfsten Spitzen zeigt, zerfällt der braune Brei plötzlich in klare, getrennte Kanäle.

Der alte Weg: Wir sahen nur einen Arbeiter, der „Hunde, Laufen, Regen" dachte.
Der neue Weg (ROTATE): Wir sehen jetzt drei getrennte Arbeiter:
1. Ein Arbeiter, der sich nur um Hunde kümmert.
2. Ein Arbeiter, der sich nur um Laufen kümmert.
3. Ein Arbeiter, der sich nur um Regen kümmert.

Diese neuen, sauberen Arbeiter nennen die Forscher Vocabulary Channels (Wort-Kanäle). Sie sind wie einzelne, klare Rohre, durch die nur eine Art von Information fließt.

4. Warum ist das cool? (Die Vorteile)

Kein Testen nötig: ROTATE braucht keine Daten, um zu funktionieren. Es schaut sich nur die Baupläne (die Gewichte) an. Das ist wie ein Architekt, der ein Haus verstehen kann, ohne es betreten zu müssen.
Präzise Kontrolle: Wenn man einen dieser neuen Kanäle (z. B. den für „Hunde") ausschaltet, passiert nur, dass die KI keine Hunde mehr erwähnt. Der Rest (Laufen, Regen) funktioniert weiter. Das ist wie wenn man in einem Auto nur die Scheinwerfer ausmacht, aber der Motor weiterläuft.
Bessere Erklärungen: Wenn man fragt: „Was macht dieser Arbeiter?", kann ROTATE eine viel genauere Antwort geben als alte Methoden. Statt „Er macht alles ein bisschen" sagt es: „Er ist der Spezialist für negative Gefühle" oder „Er ist der Spezialist für Zeitangaben".

Zusammenfassung in einem Satz

ROTATE ist wie ein Entwirrer-Gerät für KI-Gehirne, das den chaotischen Klecks aus Anweisungen so dreht, dass wir plötzlich sehen können, welche einzelnen, klaren Gedanken (wie „Hunde" oder „Regen") in jedem kleinen Teil des Gehirns stecken, ohne dass wir das Gehirn jemals wirklich „anmachen" müssen.

Das macht es viel einfacher zu verstehen, wie diese riesigen KI-Modelle eigentlich funktionieren und wie man sie sicherer und besser steuern kann.

Titel: Disentangling MLP Neuron Weights in Vocabulary Space

Methode: ROTATE (Rotation-Optimized Token Alignment in weighT spacE)
Autoren: Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva (Tel Aviv University)

1. Problemstellung

Die mechanistische Interpretierbarkeit von Sprachmodellen (LMs) steht vor der Herausforderung, die in den Gewichten der Modelle kodierten Informationen zu entschlüsseln. Ein zentrales Hindernis ist die Polysemantik: Neuronen in den MLP-Schichten (Multi-Layer Perceptrons) sind oft nicht monosemantisch, d.h. ein einzelnes Neuron kodiert mehrere verflochtene Konzepte gleichzeitig.

Bisherige Ansätze zur Interpretation stützen sich oft auf:

Aktivationsbasierte Methoden: Diese erfordern Forward-Passes durch das Modell mit großen Datenmengen (z. B. Sparse Autoencoder, SAEs), was rechenintensiv ist und Verzerrungen durch die gewählten Eingabedaten einführen kann.
Gewichtsanalyse: Die direkte Analyse der Gewichte ist schwierig, da die Gewichte selbst oft eine Überlagerung (Superposition) mehrerer Konzepte darstellen.

Das Ziel dieser Arbeit ist es, eine datenfreie Methode zu entwickeln, die MLP-Neuronen direkt im Gewichtsraum in ihre monosemantischen, interpretierbaren Bestandteile zerlegt, ohne Forward-Passes oder Trainingsdaten zu benötigen.

2. Methodik: ROTATE

ROTATE basiert auf der statistischen Beobachtung, dass Neuronen, die ein kohärentes, monosemantisches Konzept kodieren, eine hohe Kurtosis (Kurtosis) aufweisen, wenn ihre Gewichte in den Vokabularraum des Modells projiziert werden.

Kernkonzept: Kurtosis im Vokabularraum

Ein Neuronengewicht $w$ wird auf die Embedding-Matrix $U$ projiziert ($z = wU$), um Logits über das Vokabular zu erhalten.
Eine hohe Kurtosis bedeutet, dass die Verteilung der Logits stark spitz ist und schwere Schwänze hat. Das Neuron wirkt also stark auf eine sehr kleine, spezifische Menge von Tokens und hat auf den Rest kaum Einfluss.
Im Gegensatz dazu repräsentiert eine Gauß-Verteilung (niedrige Kurtosis) eine polysemantische oder zufällige Ausrichtung.

Der Algorithmus

ROTATE lernt Rotationsmatrizen $\{R_i\}$ , um den ursprünglichen Gewichtvektor $w$ in neue Richtungen $v_i = R_i w$ zu transformieren, die die Kurtosis im Vokabularraum maximieren.

Optimierungsziel:
Es wird eine Verlustfunktion $L$ minimiert, die zwei Terme kombiniert:
- Kurtosis-Verlust ( $L_{kurt}$ ): Maximiert die Kurtosis der projizierten Logits, um monosemantische Richtungen zu finden.
- Regularisierungsverlust ( $L_{reg}$ ): Bestraft die Abweichung (Cosinus-Distanz) zwischen dem rotierten Vektor $v$ und dem ursprünglichen Gewicht $w$ , um sicherzustellen, dass die gefundenen Kanäle treu zum Neuron bleiben.
  $L = -\lambda \cdot \log(1 + \text{Kurt}(z)) + (1 - \frac{w \cdot v}{\|w\|\|v\|})$
Iterative Maskierung:
Da ein Neuron oft mehrere Konzepte kodiert, wird die Optimierung iterativ durchgeführt. Nach jeder Iteration werden die Tokens, die am stärksten zur Kurtosis des gefundenen Kanals beitragen, maskiert. Dies zwingt den Algorithmus in der nächsten Iteration, neue, orthogonale Richtungen zu finden, anstatt dieselbe dominante Richtung erneut zu entdecken.
Implementierung:
Die Rotationen werden durch Householder-Reflexionen parametrisiert, was die Orthogonalität der Transformation garantiert. Der Prozess läuft vollständig im Gewichtsraum ab und benötigt keine Aktivierungsdaten.

Die resultierenden Vektoren werden als „Vocabulary Channels" (Wortkanäle) bezeichnet.

3. Schlüsselergebnisse und Evaluation

Die Methode wurde an den Modellen Gemma-2-2B-it und Llama-3.1-8B-Instruct evaluiert und mit State-of-the-Art-Sparse-Autoencoder-Baselines (Gemma Scope, Llama Scope) verglichen.

A. Treue (Faithfulness)

Input-Seite: ROTATE-Kanäle sagen die Aktivierungsmuster des Neurons genauer vorher als SAE-basierte Features. Wenn ein Kanal beschrieben wird, aktiviert das Modell das Neuron signifikant stärker auf Eingaben, die zu dieser Beschreibung passen, als auf neutrale Eingaben.
Output-Seite: Durch das „Ablaten" (Entfernen) eines einzelnen Kanals aus den Gewichten wird spezifisch das entsprechende Konzept unterdrückt, während andere Funktionen des Neurons intakt bleiben. Dies beweist die kausale Trennung der Kanäle.

B. Vollständigkeit (Completeness)

ROTATE deckt einen größeren Teil des Aktivierungsspektrums eines Neurons ab. Ein LLM-Richter konnte in über 50% der Fälle (im Vergleich zu ~36-49% bei SAEs) den korrekten ROTATE-Kanal einem Aktivierungsbeispiel zuordnen.
Dies zeigt, dass die gewichtsbasierte Zerlegung die meisten relevanten Verhaltensweisen des Neurons erfasst.

C. Verbesserte Neuronenbeschreibungen

Durch die Aggregation der Beschreibungen aller gefundenen Kanäle eines Neurons entstehen umfassende natürliche Sprachbeschreibungen.
Diese Beschreibungen schneiden in direkten Vergleichen („Head-to-Head") mit bestehenden Methoden (wie MaxAct++ und MaxAct+VocabProj) um das 2- bis 3-fache besser ab (gemessen an der Win-Rate eines LLM-Judges).
ROTATE erfasst auch Konzepte, die bei moderaten Aktivierungsstärken auftreten, während rein aktivierungsbasierte Methoden oft nur extreme Spitzen abdecken.

4. Beiträge und Bedeutung

Neue Entdeckung: Die Arbeit zeigt, dass eine hohe Kurtosis in der Vokabularprojektion ein zuverlässiges Signal für monosemantische Richtungen im Gewichtsraum ist.
ROTATE-Methode: Einführung einer datenfreien, skalierbaren Methode zur Zerlegung von MLP-Gewichten, die keine Forward-Passes benötigt und somit unabhängig von Trainingsdaten-Distributionen ist.
Überlegenheit gegenüber SAEs: ROTATE übertrifft Sparse Autoencoder in Bezug auf Treue und Vollständigkeit der Interpretation, was darauf hindeutet, dass die relevanten Strukturen direkt in den Gewichten vorhanden und nicht nur in den Aktivierungen sichtbar sind.
Praktische Anwendung: Die Methode ermöglicht feinere, kausal fundierte Beschreibungen von Neuronen und bietet eine neue Bausteineinheit für die mechanistische Interpretierbarkeit und das Entdecken von Schaltkreisen in großen Sprachmodellen.

Fazit

ROTATE stellt einen Paradigmenwechsel dar, indem es die Interpretierbarkeit von Sprachmodellen von der Analyse von Aktivierungen (die datenabhängig und rechenintensiv sind) auf die direkte Analyse und Zerlegung der Gewichte verlagert. Durch die Maximierung der Kurtosis im Vokabularraum gelingt es, polysemantische Neuronen in ihre monosemantischen „Vocabulary Channels" zu entwirren, was zu präziseren und vollständigeren Einblicken in die Funktionsweise von LLMs führt.