💬 NLP

Constructing Interpretable Features from Compositional Neuron Groups

Dieser Artikel schlägt die Verwendung der semi-nichtnegativen Matrixfaktorisierung (SNMF) vor, um MLP-Aktivierungen in sparse, interpretierbare Merkmale zu zerlegen, die aus gemeinsam aktivierten Neuronen bestehen, und zeigt, dass dieser Ansatz bei der kausalen Steuerung sparse Autoencoder und überwachte Baselines übertrifft, während er eine hierarchische Struktur von Konzeptrepräsentationen in großen Sprachmodellen offenbart.

Ursprüngliche Autoren: Or Shafran, Atticus Geiger, Mor Geva

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Or Shafran, Atticus Geiger, Mor Geva

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie ein riesiges, komplexes Orchester vor. Lange Zeit haben Wissenschaftler, die versuchen zu verstehen, wie dieses Orchester funktioniert, sich auf einzelne Musiker (Neuronen) konzentriert. Sie dachten: „Wenn ich herausfinden kann, was ein Violinist tut, werde ich die Musik verstehen."

Das Papier argumentiert jedoch, dass dieser Ansatz fehlerhaft ist. Tatsächlich spielen Musiker oft in Gruppen zusammen, um bestimmte Klänge zu erzeugen. Ein einzelner Violinist könnte in einem Lied eine traurige Note spielen und in einem anderen eine fröhliche Note. Die „Bedeutung" liegt nicht im Violinisten allein; sie liegt in der Kombination der Musiker, die gleichzeitig spielen.

Hier ist die Geschichte des Papiers, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Das „Wörterbuch" war zu chaotisch

Zuvor versuchten Forscher, diese musikalischen Gruppen mit einem Werkzeug namens Sparse Autoencoder (SAE) zu finden. Man kann sich einen SAE als einen sehr ehrgeizigen Bibliothekar vorstellen, der versucht, eine chaotische Bibliothek zu organisieren. Er versucht, von Grund auf neue „Regale" (Merkmale) zu erfinden, um die Bücher (Daten) zu sortieren.

Das Problem? Der Bibliothekar erstellt manchmal Regale, die für Menschen keinen Sinn ergeben, oder die Bücher auf den Regalen gehören dort gar nicht hin. Als Forscher versuchten, diese Regale zu verwenden, um das Orchester zu steuern (es ein bestimmtes Lied spielen zu lassen), versagte das System des Bibliothekars oft. Es war, als würde man versuchen, ein Schiff mit einer Karte zu steuern, die von Grund auf gezeichnet wurde, ohne auf den Ozean zu schauen.

2. Die Lösung: Der „kompositionelle" Ansatz

Die Autoren schlagen eine neue Methode namens SNMF (Semi-Nonnegative Matrix Factorization) vor.

Anstatt neue Regale zu erfinden, betrachtet SNMF die Partitur des Orchesters (die interne Mathematik des Modells) und fragt: „Welche Musiker spielen gerade zusammen?"

Die Analogie: Stellen Sie sich vor, das Orchester spielt ein Lied über „Regen". SNMF erfindet keinen neuen „Regen"-Knopf. Stattdessen bemerkt es, dass Flöte, Cello und Pauke gleichzeitig laut spielen. Es gruppiert sie zusammen und sagt: „Dieses spezifische Trio ist das Merkmal 'Regen'."
Der entscheidende Unterschied: Da SNMF seine Gruppen direkt aus den Musikern bildet, die tatsächlich spielen, weiß es genau, welche Noten (Eingaben) diese Gruppe ausgelöst haben. Es ist wie eine direkte Leitung zum Dirigenten mit der Aussage: „Wenn Sie diese drei Instrumente sehen, wissen Sie, dass es regnet."

3. Die Ergebnisse: Bessere Steuerung und klarere Bedeutung

Die Forscher testeten diese neue Methode an mehreren berühmten KI-Modellen (wie Llama 3.1 und Gemma 2). Sie verglichen sie mit der alten „Bibliothekar"-Methode (SAE) und einer sehr strengen, überwachten Methode (bei der Menschen dem Computer genau sagen, wonach er suchen soll).

Der „Steuerungs"-Test: Sie versuchten, die KI zu „steuern", damit sie über bestimmte Themen spricht (wie „Polizei" oder „Geschichte"). SNMF war dabei viel besser. Es konnte die Ausgabe der KI effektiver auf das gewünschte Thema lenken als die alten Methoden, während es gleichzeitig dafür sorgte, dass die Sätze grammatikalisch korrekt und flüssig blieben.
Der „Erkennungs"-Test: Sie prüften, ob die KI erkennen konnte, wenn über ein Thema gesprochen wurde. SNMF schnitt beim Aufspüren dieser Konzepte genauso gut ab wie die besten bestehenden Methoden.

4. Die große Entdeckung: Die „Lego"-Struktur

Der faszinierendste Teil des Papiers ist das, was sie über den Aufbau dieser Gruppen herausfanden.

Sie entdeckten, dass die KI komplexe Ideen durch das Stapeln einfacherer Ideen aufbaut, wie Lego-Steine.

Die Analogie: Stellen Sie sich vor, Sie haben eine Gruppe von Neuronen, die „Tag" repräsentiert. Dann haben Sie eine etwas andere Gruppe, die „Wochentag" repräsentiert. Die „Wochentag"-Gruppe ist einfach die „Tag"-Gruppe plus ein paar zusätzliche Neuronen, die sagen: „Nein, nicht Samstag oder Sonntag."
Die Hierarchie: Durch rekursive (wiederholte) Anwendung ihrer Methode sahen sie eine Baumstruktur.
- Untere Ebene: Spezifische Neuronen für „Montag", „Dienstag" usw.
- Mittlere Ebene: Eine Gruppe für „Wochentage" (Kombination von Mo-Fr).
- Obere Ebene: Eine Gruppe für „Wochentage" (Kombination von Wochentagen und Wochenenden).

Dies zeigt, dass die KI nicht nur zufällige Neuronen hat; sie verfügt über eine hierarchische Architektur. Sie verwendet dieselben grundlegenden „Bausteine" (Neuronen) wieder, um komplexere Ideen zu schaffen. Zum Beispiel werden die Kernneuronen für „Tag" für „Montag", „Dienstag" und „Wochenende" wiederverwendet, wobei nur ein paar zusätzliche Neuronen hinzugefügt werden, um sie zu unterscheiden.

Zusammenfassung

Das Papier behauptet, dass wir durch den Blick auf Gruppen von Neuronen, die zusammenarbeiten (statt auf Einzelne) und die Verwendung eines mathematischen Werkzeugs, das respektiert, wie das Modell tatsächlich berechnet, Folgendes erreichen können:

Konzepte finden, die für Menschen leicht verständlich sind.
Die Ausgabe der KI viel effektiver steuern als zuvor.
Erkennen, dass die KI komplexe Ideen durch die Kombination einfacherer, wiederverwendbarer Teile aufbaut, ähnlich wie beim Bauen eines Hauses mit Ziegeln.

Die Autoren kommen zu dem Schluss, dass diese Methode eine einfache, effektive Möglichkeit ist, zu „sezieren", wie KI-Modelle denken, und offenbart, dass sie logisch und hierarchisch organisiert sind, was wir nun sehen und nutzen können.

Technische Zusammenfassung: Konstruktion interpretierbarer Merkmale aus kompositorischen Neuronengruppen

Problemstellung
Eine zentrale Herausforderung der mechanistischen Interpretierbarkeit besteht darin, die geeigneten Analyseeinheiten innerhalb von Large Language Models (LLMs) zu identifizieren, die Modelloutputs kausal erklären. Während frühe Forschungen sich auf einzelne Neuronen konzentrierten, deuten Evidenzen darauf hin, dass Neuronen oft mehrere Konzepte kodieren (Polysemantik), was einen Wechsel hin zur Analyse von Richtungen im Aktivierungsraum motiviert. Aktuelle unüberwachte Ansätze verlassen sich auf Sparse Autoencoder (SAEs), die auf Aktivierungen des Residual-Streams trainiert werden, um Merkmalsrichtungen von Grund auf zu erlernen. SAEs stoßen jedoch auf erhebliche Grenzen: Sie haben oft Schwierigkeiten bei kausalen Evaluierungen (Steuerung), mangelt es an intrinsischer Interpretierbarkeit, da ihre erlernten Merkmale nicht explizit mit den internen Berechnungen des Modells verknüpft sind, und ihre Merkmale sind nicht auf den Repräsentationsraum des Modells beschränkt. Es besteht ein Bedarf nach einer Methode, die unüberwacht interpretierbare Merkmale entdeckt und dabei einen direkten kausalen Bezug zu den Mechanismen des Modells aufrechterhält.

Methodik
Die Autoren schlagen vor, Multi-Layer-Perceptron (MLP)-Aktivierungen direkt mittels Semi-Nonnegative Matrix Factorization (SNMF) zu zerlegen. Im Gegensatz zu SAEs, die neue Richtungen erlernen, repräsentiert diese Methode Merkmale als sparse lineare Kombinationen bereits existierender, gemeinsam aktivierter Neuronen innerhalb des MLP.

Formulierung: Gegeben eine Matrix $A \in \mathbb{R}^{d_a \times n}$ von MLP-Aktivierungen (wobei $d_a$ die innere Dimension und $n$ die Anzahl der Token ist), zerlegt die Methode $A$ in zwei Matrizen:
- $Z \in \mathbb{R}^{d_a \times k}$ : Eine Matrix mit $k$ MLP-Merkmalen, wobei jede Spalte eine sparse lineare Kombination von Neuronen definiert.
- $Y \in \mathbb{R}^{k \times n}_{\geq 0}$ : Eine nicht-negative Koeffizientenmatrix, die Eingaben auf Merkmale abbildet.
  Die Zerlegung folgt $A \approx ZY$ .
Mechanismus der Interpretierbarkeit:
- Sparsität: Die Spalten von $Z$ werden durch einen harten Winner-take-all-Operator so eingeschränkt, dass jedes Merkmal nur eine kleine Teilmenge von Neuronen aktiviert.
- Kausale Verankerung: Die nicht-negative Matrix $Y$ kodiert explizit, welche Token zur Erzeugung eines Merkmals beigetragen haben, was eine direkte Zuweisung textueller Konzeptlabels basierend auf stark aktivierenden Kontexten ermöglicht.
- Abbildung auf den Residual-Stream: Jeder Merkmalsvektor $z_i$ im Aktivierungsraum wird über die MLP-Ausgangsgewichte ( $W_V$ ) auf den Residual-Stream abgebildet, wodurch ein Residual-Stream-Merkmal $f_i = W_V z_i$ definiert wird. Dies stellt sicher, dass Merkmale in den tatsächlichen Berechnungspfaden des Modells verankert sind.
Optimierung: Die Methode verwendet multiplikative Updates (Ding et al., 2010), um die Frobenius-Norm zwischen $A$ und $ZY$ zu minimieren, wobei die Sparsität auf $Z$ erzwungen wird.

Hauptbeiträge

SNMF für MLP-Zerlegung: Der Artikel stellt eine unüberwachte Methode vor, um MLP-Aktivierungen in interpretierbare Merkmale zu zerlegen, die durch Gruppen gemeinsam aktivierter Neuronen definiert sind, anstatt willkürliche Richtungen von Grund auf zu erlernen.
Überlegene kausale Steuerung: Die Autoren zeigen, dass SNMF-abgeleitete Merkmale State-of-the-Art-SAEs (GemmaScope, Llamascope) und eine starke überwachte Baseline (Difference-in-Means) bei kausalen Steuerungsaufgaben übertreffen, während sie bei der Konzepterkennung vergleichbar abschneiden.
Aufdeckung hierarchischer Komposition: Durch rekursive SNMF zeigen die Autoren, dass MLP-Merkmale kompositorisch sind. Fein abgestufte Konzepte (z. B. spezifische Wochentage) entstehen durch die Kombination gemeinsamer „Kern"-Neuronen mit exklusiven Neuronen. Dies offenbart eine hierarchische Struktur, bei der breitere Konzepte (z. B. „Wochentag") aus spezifischeren Unterkonzepten zusammengesetzt sind, was das Phänomen der „Merkmalsaufspaltung", das häufig bei SAEs beobachtet wird, effektiv umkehrt.
Neuronen-Wiederverwendung: Die Analyse bestätigt, dass semantisch verwandte Merkmale einen Kernsatz von Neuronen teilen, wobei exklusive Neuronen die Förderung oder Unterdrückung spezifischer Unterkonzepte steuern.

Ergebnisse
Experimente wurden an Llama 3.1-8B, Gemma 2-2B und GPT-2 Small durchgeführt.

Konzepterkennung: SNMF-Merkmale erzielten positive Erkennungswerte für die Mehrheit der Merkmale (>75%), was darauf hindeutet, dass sie bei konzeptbezogenen Eingaben aktiviert werden und bei neutralen Eingaben inaktiv bleiben. Die Leistung war vergleichbar mit oder übertraf die von SAEs, die auf MLP-Ausgaben trainiert wurden.
Konzeptsteuerung: Bei kausalen Steuerungsevaluierungen (Messung der Fähigkeit, die Modellgenerierung hin zu einem Konzept zu steuern und dabei die Flüssigkeit zu erhalten), übertraf SNMF SAEs konsistent über alle Schichten hinweg. Sie entsprach oder übertraf häufig auch die Leistung der überwachten Difference-in-Means-Baseline.
Hierarchische Analyse: Die rekursive Anwendung von SNMF fusionierte erfolgreich fein abgestufte Merkmale (z. B. „Montag", „Dienstag") zu höherwertigen Konzepten (z. B. „Wochentag", „Wochenende"). Kausale Interventionen bestätigten, dass die Verstärkung von „Kern"-Neuronen alle verwandten Token förderte, während die Verstärkung von „exklusiven" Neuronen spezifische Token förderte und andere unterdrückte.

Bedeutung und Behauptungen
Der Artikel behauptet, dass SNMF ein einfaches und effektives Werkzeug zur Identifizierung interpretierbarer Merkmale in LLMs bietet. Durch die direkte Zerlegung von MLP-Aktivierungen verknüpft die Methode Merkmale mit den spezifischen Modellkomponenten, die für ihre Bildung verantwortlich sind. Die Ergebnisse deuten darauf hin, dass das MLP über additive Updates operiert, die aus interpretierbaren Neuronensets zusammengesetzt sind. Diese Arbeit positioniert SNMF als eine viable Alternative zu SAEs, die bessere kausale Leistung und intrinsische Interpretierbarkeit ohne Supervision bietet. Darüber hinaus liefert die Entdeckung der hierarchischen Neuronenkomposition einen neuen Blickwinkel darauf, wie LLMs komplexe Konzepte aus wiederverwendbaren neuronalen Bausteinen konstruieren, wodurch die funktionale Rolle von Neuronen über die Kodierung einzelner Konzepte hinaus erweitert wird.

Die Autoren erkennen Einschränkungen an, darunter den aktuellen Fokus auf Merkmalsanzahlen $k < 500$ und die Abhängigkeit von LLMs als Richter für die Evaluierung, obwohl sie eine starke Übereinstimmung mit menschlichen Urteilen berichten. Sie schlagen vor, dass zukünftige Arbeiten die Skalierung auf größere $k$ -Werte untersuchen und projizierten Gradientenabstieg für die Optimierung nutzen könnten.