💬 NLP

Cross-Layer Discrete Concept Discovery for Interpreting Language Models

Ursprüngliche Autoren: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (wie die KI hinter diesem Gespräch) als eine riesige, mehrstöckige Fabrik vor. Rohmaterialien (Wörter) gelangen im Erdgeschoss hinein, werden verarbeitet und bewegen sich nach oben in das oberste Stockwerk, wo das Endprodukt (eine Antwort oder eine Entscheidung) erstellt wird.

Lange Zeit haben Wissenschaftler, die versuchen zu verstehen, wie diese Fabrik funktioniert, nur jeweils ein einzelnes Stockwerk betrachtet. Sie haben in einen Raum im 3. Stockwerk geschaut und gesagt: „Ah, diese Maschine macht etwas!“ Aber sie haben ein entscheidendes Detail übersehen: Die Fabrik besitzt ein spezielles Förderbandsystem (den sogenannten „Residual Stream“), das Gegenstände vom untersten Stockwerk bis ganz nach oben transportiert und dabei die Gegenstände mit neuen Objekten vermischt.

Aufgrund dieses Förderbands sieht man, wenn man nur ein einzelnes Stockwerk betrachtet, ein chaotisches Durcheinander aus duplizierten und vermischten Teilen. Man kann nicht erkennen, welcher Teil von wo kam und was er eigentlich bedeutet.

Das Problem: Das „unscharfe Foto“

Frühere Methoden versuchten, dieses Chaos zu bereinigen, behandelten die Information jedoch wie eine glatte, kontinuierliche Flüssigkeit (wie Wasser). Sie versuchten, Muster im Wasser zu finden, aber da das Wasser so flüssig ist, spalteten sich die Muster immer wieder auf und vermischten sich. Es war wie der Versuch, spezifische Zutaten in einem Smoothie zu identifizieren, indem man nur auf die Flüssigkeit schaut; man weiß, dass sie da ist, aber man kann Erdbeere nicht so leicht von Banane trennen.

Die Lösung: Das „CLVQ-VAE“-Fabrik-Upgrade

Die Autoren dieser Arbeit haben ein neues Werkzeug namens CLVQ-VAE entwickelt. Betrachten Sie dies als eine intelligente Sortiermaschine, die zwischen zwei Stockwerken der Fabrik sitzt.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Der adaptive Encoder (Das intelligente Förderband): Anstatt einfach nur die Rohmaterialien vom unteren Stockwerk zu greifen, passt diese Maschine sie sanft an. Es ist wie ein Koch, der eine rohe Zutat nimmt und ihr eine winzige, präzise Korrektur gibt, um sie für den nächsten Schritt bereit zu machen, ohne ihr grundlegendes Wesen zu verändern.
Der diskrete Bottleneck (Die Stempelmaschine): Dies ist der wichtigste Teil. Anstatt die Information als verschwommene Flüssigkeit fließen zu lassen, zwingt diese Maschine die Information dazu, auf einen endlichen Satz von vordefinierten Stempeln (dem sogenannten „Codebook“) „gestempelt“ zu werden.
- Stellen Sie sich vor, Sie haben eine Kiste mit 1.000 spezifischen LEGO-Steinen.
- Wenn die Maschine eine komplexe Idee sieht, versucht sie nicht, eine neue Form aus Knete zu bauen. Stattdessen sagt sie: „Diese Idee ähnelt am ehesten Stein Nr. 42.“
- Dies verwandelt ein unordentliches, kontinuierliches Verschwimmen in ein klares, diskretes Etikett. Es zwingt die KI zu sagen: „Ich verwende den ‚Wut‘-Stein“ oder „Ich verwende den ‚Sport‘-Stein“, anstatt eine vage Mischung aus beidem zu sein.
Der Decoder (Der Rekonstrukteur): Die Maschine versucht dann, das „oberste Stockwerk“ der Fabrik unter Verwendung nur dieser spezifischen LEGO-Steine wieder aufzubauen. Wenn die Maschine das oberste Stockwerk erfolgreich nur mit dem „Wut“-Stein wieder aufbauen kann, dann wissen wir mit Sicherheit, dass „Wut“ ein entscheidendes Konzept für die Entscheidung der KI war.

Warum dies besser ist (Die Ergebnisse)

Die Autoren testeten diese neue Maschine gegenüber alten Methoden (wie dem bloßen Betrachten eines einzelnen Stockwerks oder dem „Flüssigkeits“-Ansatz) bei drei verschiedenen Aufgaben: Filmrezensionen, Erkennung toxischer Kommentare und Sortierung von Nachrichtenartikeln.

Hier ist, was sie herausfanden:

Der „Entfernungstest“ (Treue/Faithfulness): Als die Forscher die spezifischen „LEGO-Steine“ (Konzepte), die die Maschine gefunden hatte, aus dem Gehirn der KI entfernten, brach die Leistung der KI ein. In einigen Fällen verschlechterte sich die Leistung der KI um 93 %. Dies beweist, dass die Maschine die tatsächlichen Gründe fand, warum die KI Entscheidungen traf, und nicht nur zufälliges Rauschen.
Der „Richter-Test“ (LLM-Evaluierung): Sie baten andere KI-Modelle, als Richter zu fungieren und die Konzepte, die die neue Maschine gefunden hatte, mit denen der alten zu vergleichen. Die Konzepte der neuen Maschine wurden 66,7 % der Zeit als besser eingestuft. Die Richter empfanden diese Konzepte als sinnvoller und kohärenter.
Der „Menschliche Test“ (Interpretierbarkeit): Sie zeigten Freiwilligen Wortwolken (Visualisierungen der Konzepte).
- Wenn sie mit den Konzepten der neuen Maschine konfrontiert wurden, konnten Menschen in 78 % der Fälle erraten, was die KI dachte.
- Wenn sie mit den Konzepten der alten Methode konfrontiert wurden, konnten Menschen nur in 54 % der Fälle korrekt raten.
- Darüber hinaus stimmten verschiedene Menschen viel stärker untereinander überein, wenn sie die Ergebnisse der neuen Maschine betrachteten, was bedeutet, dass die Konzepte klarer und weniger verwirrend waren.

Das Geheimrezept

Das Paper hebt einige „Tricks“ hervor, die diesen Erfolg ermöglichten:

Temperature Sampling: Anstatt immer nur den einen „besten“ Stein zu wählen, wählt die Maschine manchmal aus den fünf am nächsten liegenden Steinen aus. Dies ist wie das Geben einer kleinen Portion Zufälligkeit an die Maschine, damit sie verschiedene Optionen erkunden kann, was verhindert, dass sie immer wieder dieselben wenigen Steine verwendet.
Sphärisch vs. Flach: Sie fanden heraus, dass die Organisation der Steine basierend auf der Richtung, in die sie zeigen (sphärisch), anstatt nur nach ihrer Entfernung (flach), Menschen half, die Konzepte besser zu verstehen, selbst wenn die „flache“ Methode etwas besser darin war, die Rohzahlen der KI vorherzusagen.

Zusammenfassung

Kurz gesagt führt dieses Paper einen Weg ein, um die unordentlichen, überlappenden Gedanken einer großen KI in eine saubere, organisierte Liste von distinkten „Konzepten“ (wie LEGO-Steine) zu übersetzen. Durch die Anwendung dieses Verfahrens über mehrere Schichten der KI hinweg können wir klar sehen, was die KI denkt und warum sie ihre Entscheidungen trifft, was die „Black Box“ der KI für Menschen viel transparenter und verständlicher macht.

Technisches Resümee: Cross-Layer Discrete Concept Discovery zur Interpretation von Sprachmodellen

Problemstellung

Die Interpretation großer Sprachmodelle (LLMs) wird durch die Natur der Transformer-Residual-Streams erschwert, welche Merkmale über benachbarte Schichten hinweg linear vermischen und duplizieren. Methoden der Analyse auf Einzel-Schicht-Ebene scheitern oft daran, diese Cross-Layer-Struktur zu erfassen, wodurch computationale Muster übersehen werden, die erst bei der gemeinsamen Betrachtung mehrerer Schichten sichtbar werden. Während jüngere Cross-Layer-Ansätze wie Sparse Autoencoder (SAEs) die Schichtvermischung adressieren, operieren diese in kontinuierlichen Räumen. In diesen Räumen „spalten“ sich Konzepte über viele Neuronen auf, ohne klare Grenzen zu ziehen, was das Setzen willkürlicher Schwellenwerte oder die Kombination mehrerer Vektoren erforderlich macht, um Aktivierungen zu isolieren. Diese Diskrepanz zur menschlichen Argumentation, die auf diskreten Kategorien basiert, schränkt die Interpretierbarkeit solcher Methoden ein.

Methodik

Die Autoren schlagen CLVQ-VAE (Cross-Layer Vector Quantized-Variational Autoencoder) vor, ein Framework, das darauf ausgelegt ist, diskrete, interpretierbare Konzepte zu entdecken, indem es Repräsentationen von einer niedrigeren Schicht ( $l$ ) auf eine höhere Schicht ( $h$ ) durch einen diskreten Vektorquantisierungs-Bottleneck abbildet. Das Framework besteht aus drei Kernkomponenten:

Adaptiver Residual-Encoder: Um semantische Informationen zu bewahren und gleichzeitig eine Codebook-Neuzuweisung zu ermöglichen, wendet diese Komponente einen lernbaren Interpolationsmechanismus auf die Eingabe-Embeddings der Schicht $l$ an. Sie verwendet einen Mischkoeffizienten $\alpha$ (beschränkt auf $[0, 0.5]$ ), um das ursprüngliche Embedding mit einer linear transformierten Version auszubalancieren, wodurch die Zerstörung linguistischer Merkmale verhindert wird, während gezielte Verfeinerungen für die Cross-Layer-Rekonstruktion ermöglicht werden.
Vektorquantisierer: Dieser fungiert als diskreter Bottleneck, der kontinuierliche Encoder-Outputs auf einen einzelnen Codebook-Vektor aus einem gelernten Satz $E = \{e_j\}_{j=1}^K$ $E = {e_{j}}_{j = 1}^{K}$ abbildet. Um eine stabile Trainingsphase und eine effektive Codebook-Ausnutzung zu gewährleisten, verwenden die Autoren:
- Initialisierung: K-Means (Euklidisch oder Sphärisch) oder Zufallsinitialisierung.
- Stochastische Stichprobenentnahme (Sampling): Anstatt einer deterministischen Auswahl sampelt das Modell aus den Top- $k$ nächstgelegenen Codebook-Vektoren unter Verwendung einer temperaturgesteuerten Wahrscheinlichkeitsverteilung. Dies fördert eine gleichmäßige Codebook-Ausnutzung und Konzeptdiversität.
- EMA-Updates: Die Codebook-Vektoren werden mittels exponentieller gleitender Mittelwerte (EMA) von Zuweisungszahlen und akkumulierten Vektoren aktualisiert, anstatt durch direkten Backpropagation, was für Stabilität sorgt.
Transformer-Decoder: Ein bidirektionaler Transformer-Decoder rekonstruiert die Zielaktivierungen der Schicht $h$ unter Verwendung der quantisierten Codebook-Vektoren. Er nutzt Cross-Attention-Mechanismen, um Informationen aus den unquantisierten Encoder-Outputs zu nutzen, wodurch Details der Niedrig-Level-Rekonstruktion ausgelagert werden, sodass das Codebook sich auf distinkte, High-Level-Konzepte konzentrieren kann.

Das Modell wird über eine kombinierte Verlustfunktion trainiert: eine Rekonstruktionsverlustfunktion (Mean Squared Error zwischen dem Decoder-Output und der Zielrepräsentation der höheren Schicht) und eine Commitment-Loss-Funktion (die den Encoder-Outputs nahelegt, sich an Codebook-Vektoren zu binden).

Zentrale Beiträge

Diskrete Cross-Layer-Abbildung: Im Gegensatz zu Standard-VQ-VAEs, die dieselbe Schicht rekonstruieren, agiert CLVQ-VAE als Transcoder, der redundante Residual-Stream-Merkmale aus niedrigeren Schichten in kompakte, interpretierbare Konzeptvektoren in höheren Schichten kollabiert.
Stochastischer Sampling-Mechanismus: Die Einführung der Top- $k$ -temperaturgesteuerten Stichprobenentnahme in Kombination mit EMA-Codebook-Updates ermöglicht eine kontrollierte Exploration des diskreten latenten Raums, wodurch die Codebook-Diversität aufrechterhalten und ein Kollaps verhindert wird.
Umfassende Evaluierung: Das Framework wird über Encoder-basierte Modelle (RoBERA, BERT) und Decoder-only Modelle (LLaMA-2-7B, Qwen2.5-3B-Instruct) auf drei Datensätzen (ERASER-Movie, Jigsaw, AGNews) evaluiert.

Ergebnisse

Die Arbeit evaluiert CLVQ-VAE im Vergleich zu Clustering, Single-Layer VQ-VAE und SAE-Baselines über drei Achsen:

Treue (Konzept-Ablation): Das Entfernen identifizierter Konzepte aus den Satzrepräsentationen verschlechtert die Modellgenauigkeit signifikant. CLVQ-VAE erreichte die niedrigste perturbierte Genauigkeit in 5 von 12 Settings, wobei die Entfernung von Konzepten zu Genauigkeitsabfällen von bis zu 93,2 % führte (auf RoBERTa/ERASER-Movie). Es übertraf SAEs konsistent, die inkonsistente oder vernachlässigbare Abfälle zeigten, insbesondere bei Decoder-Modellen.
Semantische Kohärenz (LLM-as-a-Judge): Ein Ensemble von LLMs rangierte CLVQ-VAE-Konzepte in 66,7 % der Vergleiche auf Platz eins, mit einer mittleren Bewertung von 1,890, womit es Single-Layer VQ-VAE, SAE und Clustering übertraf.
Menschliche Interpretierbarkeit: In einer Humanstudie konnten Annotatoren Modellvorhersagen aus CLVQ-VAE-Visualisierungen mit einer Genauigkeit von 78,2 % rekonstruieren, verglichen mit 54,1 % bei Clustering. Annotatoren berichteten zudem von höherem Vertrauen (8,44 vs. 5,98) und erreichten eine „fast perfekte“ Inter-Annotator-Übereinstimmung ( $\kappa = 0,864$ ) mit CLVQ-VAE-Visualisierungen.

Zusätzlich stellten die Autoren einen Trade-off bei den Initialisierungsstrategien fest: Eine K-Means-Initialisierung neigte dazu, eine höhere funktionale Treue (bessere Perturbationsergebnisse) zu liefern, während Spherical K-means Konzepte mit höherer semantischer Kohärenz und menschlicher Ausrichtung erzeugte.

Bedeutung

Das Paper behauptet, dass CLVQ-VAE einen robusten Rahmen bietet, um opake Modellmechanismen in treue, interpretierbare Konzepte zu übersetzen. Durch die Integration von diskreter Repräsentationslernung mit Cross-Layer-Analyse adressiert der Ansatz die Einschränkungen kontinuierlicher SAEs (Konzept-Splitting) und Single-Layer-Analysen (fehlende Cross-Layer-Struktur). Die Ergebnisse validieren, dass die entdeckten Konzepte nicht nur funktional entscheidend für Modellvorhersagen sind, sondern auch mit dem menschlichen Verständnis übereinstimmen, was einen Weg zu transparenteren und rechenschaftspflichtigeren Sprachmodellen eröffnet. Die Autoren merken an, dass die Methode zwar effektiv ist, jedoch erheblichen Speicher für die Extraktion von Aktivierungen und ein separates Training für verschiedene Schichtkombinationen erfordert.