💬 NLP

Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms

Dieses Paper führt eine Methode zur unüberwachten Merkmalsentdeckung auf Verteilungsebene ein, die LLM-Fortsetzungen durch die gemeinsame Optimierung von semantischer Kohärenz und mechanistischer Attributionssignatur clustert und dadurch vielfältige Fortsetzungsmodi sowie handlungsrelevante interne Mechanismen offenlegt, die bei einseitigen, zielgerichteten Analysen oft übersehen werden.

Ursprüngliche Autoren: Hyunjin Cho, Youngji Roh, Jaehyung Kim

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hyunjin Cho, Youngji Roh, Jaehyung Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Ein-Antwort-Falle“

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht zu verstehen, wie eine magische Box (ein Large Language Model) funktioniert. Normalerweise, wenn Sie die Box eine Frage stellen, gibt sie Ihnen eine einzige Antwort. Um herauszufinden, wie die Box funktioniert, schauen Sie sich vielleicht nur für diese eine spezifische Antwort die Zahnräder und Federn im Inneren an.

Die Arbeit argumentiert, dass dies eine Falle ist. Wenn Sie sich nur eine einzige Antwort ansehen, übersehen Sie möglicherweise, dass die Box viele verschiedene „Modi“ des Denkens besitzt. Manchmal können zwei Antworten sehr ähnlich klingen (gleiche Bedeutung), aber mit völlig unterschiedlichen internen Zahnrädern gebaut worden sein. Andere Male können zwei Antworten völlig unterschiedlich kunken, aber mit exakt denselben Zahnrädern erstellt worden sein.

Die Autoren nennen dies die „Fehlausrichtung zwischen semantischem und mechanistischem Raum“ (Misalignment between semantic and mechanistic spaces). Es ist wie zwei Häuser, die von außen identisch aussehen (gleiche Farbe, gleiche Fenster), aber im Inneren völlig unterschiedliche Rohrsysteme haben. Oder zwei Häuser, die völlig unterschiedlich aussehen (eines ein Schloss, das andere eine Hütte), aber dieselben Rohre teilen.

Die Lösung: Ein neuer Weg, Antworten zu gruppieren

Anstatt sich auf eine einzige spezifische Antwort zu konzentrieren, schlagen die Autoren eine neue Methode vor, um alle möglichen Antworten, die die Box zu einer einzigen Frage geben könnte, gleichzeitig zu betrachten. Sie nennen dies „Distribution-Level Unsupervised Feature Discovery“.

So funktioniert ihre Methode, unterteilt in drei einfache Schritte:

1. Der „Proben der Menge“-Schritt

Anstatt die Box nach einer Antwort zu fragen, bitten sie sie um hunderte verschiedene Antworten auf dieselbe Frage.

Analogie: Stellen Sie sich vor, Sie fragen einen Koch: „Wie macht man Suppe?“ Anstatt nur eines Rezepts erhalten Sie 500 verschiedene Variationen. Einige sind scharf, einige sind cremig, einige verwenden Huhn, einige Tofu.

2. Der „Doppelansicht“-Schritt

Für jedes einzelne Suppenrezept erstellt das Team zwei verschiedene „Ausweise“:

Der semantische Ausweis (Was es sagt): Dieser beschreibt die Bedeutung der Suppe. Ist sie scharf? Ist es eine Tomatensuppe?
Der mechanistische Ausweis (Wie sie gemacht wird): Dieser beschreibt die internen Zahnräder, die das Modell verwendet hat, um sie zu erstellen. Welche spezifischen Neuronen haben gefeuert? Welche internen „Schalter“ wurden umgelegt?
Analogie: Für jede Suppe schreiben Sie das Geschmacksprofil (Semantik) und die Liste der Küchengeräte (Mechanik) auf, die verwendet wurden. Sie stellen fest, dass zwei Suppen gleich schmecken können (semantischer Match), aber eine mit einem Mixer und die andere mit einem Mörser und Pistill gemacht wurde (mechanistischer Mismatch).

3. Der „Intelligente Sortier“-Schritt

Nun haben sie einen riesigen Stapel Suppenrezepte, von denen jedes zwei Ausweise besitzt. Sie verwenden eine spezielle mathematische Sortiermaschine (genannt Rate-Distortion Clustering), um die Rezepte zu gruppieren.

Das Ziel: Sie wollen Gruppen finden, in denen die Suppen sowohl im Geschmack als auch in der Zubereitung ähnlich sind.
Der Kompromiss: Die Maschine hat einen „Regler“ (genannt $\beta$ $β$ ), der steuert, wie streng das Sortieren ist.
- Lose Einstellung: Es werden Gruppen gebildet, die einfach nur allgemein „suppenartig“ sind.
- Strenge Einstellung: Es werden winzige Gruppen wie „Scharfe Tomatensuppe mit Mixer“ vs. „Scharfe Tomatensuppe mit Mörser und Pistill“ unterschieden.
Das Ergebnis: Sie finden verborgene „Denkmodi“, die ein Mensch, der nur eine einzige Antwort betrachtet, niemals sehen würde.

Warum das wichtig ist: Der „Steuerungs“-Test

Die Arbeit sagt nicht nur: „Schau mal, wir haben Gruppen gefunden.“ Sie beweisen, dass diese Gruppen real sind, indem sie einen „Steuerungs“-Test (Steering Test) durchführen.

Der Test: Sie nehmen eine Gruppe von Suppen, die die Maschine als „Scharfe Tomate mit Mixer“ identifiziert hat. Dann versuchen sie, die magische Box dazu zu bringen, mehr Suppen genau wie diese zu produzieren, indem sie den „Mixer“-Schalter im Inneren der Maschine hochdrehen.
Das Ergebnis: Wenn sie den Schalter hochdrehen, beginnt die Box tatsächlich, mehr „Scharfe Tomaten“-Suppen zu machen.
Der Vergleich: Als sie versuchten, dies nur über den „Geschmack“ (Semantik) oder durch das bloße Auswählen einer zufälligen Suppe zu tun, funktionierte die Steuerung nicht so gut.
Analogie: Es ist, als würde man erkennen, dass man nicht nur sagen muss „Ich will Kuchen“, um eine bestimmte Art von Kuchen zu bekommen; man muss auch genau wissen, welche Mixer- und Ofeneinstellungen diese spezifische Textur erzeugen. Die Autoren haben die „Mixer-Einstellungen“ für verschiedene Arten des Denkens gefunden.

Die wichtigste Erkenntnis

Die Arbeit führt ein Werkzeug ein, das uns hilft, KI-Modelle zu auditieren, indem es die gesamte Landschaft möglicher Antworten betrachtet, nicht nur eine einzige.

Alter Weg: Wähle eine Antwort, finde die Zahnräder, die sie gemacht haben. (Wie das Studium eines einzelnen Autos, um zu verstehen, wie alle Autos funktionieren).
Neuer Weg: Betrachte alle Autos, die die Fabrik bauen könnte, gruppiere sie danach, wie sie gebaut sind und wie sie aussehen, und finde die verborgenen Muster.

Dies hilft Forschern zu verstehen, dass ein KI-Modell nicht nur ein einziger Logikpfad ist, sondern eine komplexe Landschaft mit vielen verschiedenen „Pfaden“ (Mechanismen), die zu ähnlichen oder unterschiedlichen Ergebnissen führen können. Indem wir diese Pfade kartieren, können wir besser verstehen, wie diese Modelle denken, sie prüfen und kontrollieren.

Technisches Resümee: Unüberwachte Merkmalsentdeckung durch die Ausrichtung von Semantik und Mechanismen

Problemstellung

Da große Sprachmodelle (LLMs) zunehmend in hochsensiblen Bereichen eingesetzt werden, wächst der Bedarf, nicht nur die Ausgaben eines Modells, sondern auch die internen Berechnungen zu auditieren, die diese erzeugen. Während die mechanistische Interpretierbarkeit Werkzeuge zur Erklärung spezifischer Verhaltensweisen bietet, ist der dominante Ansatz, die Schaltkreis-Analyse (Circuit Analysis), typischerweise zielorientiert (target-conditioned). Das bedeutet, dass Analysten ein einzelnes Prompt und eine gewählte Zielvollendung (Target Completion) spezifizieren müssen, um den kausalen Schaltkreis zu identifizieren.

Dieses zielorientierte Setup weist zwei kritische Einschränkungen auf:

Generalisierbarkeit: Es ist unklar, ob ein für eine spezifische Vollendung identifizierter Mechanismus auf semantisch ähnliche Paraphrasen generalisiert oder ob er eine spröde Abhängigkeit von einer spezifischen Oberflächenform widerspiegelt.
Verborgene Heterogenität: Selbst für ein festes Ziel kann eine Einzelziel-Analyse die Heterogenität in der internen Berechnung verschleiern. Semantisch ähnliche Ausgaben können sich auf unterschiedliche interne Aktivierungsmuster stützen, die eine Einzelziel-Analyse nicht erfassen kann.

Derzeitige Verhaltensevaluierungen sind auf Input-Output-Korrelationen beschränkt, während bestehende mechanistische Methoden oft die manuelle Spezifikation von Zielen erfordern, wodurch die vielfältigen „Fortsetzung-Modi“ (Continuation Modes), die ein Modell für ein einzelnes Prompt produzieren kann, potenziell übersehen werden.

Methodik

Die Autoren schlagen ein Framework für die unüberwachte Merkmalsentdeckung auf Verteilungsebene vor. Anstatt eine einzelne Zielvorgabe zu analysieren, clustert die Methode die Stichproben-Verteilung der Fortsetzungen eines Modells durch die gemeinsame Ausrichtung von semantischem Inhalt und sequenzweiser mechanistischer Attribution.

Das Framework operiert in drei Stufen:

1. Stichprobenentnahme der Fortsetzungen (Continuation Sampling)

Gegeben sei ein Eingangs-Präfix $x$ , das Modell sampelt $N$ distinkte Fortsetzungen $y^{(n)}$ mittels Nucleus Sampling. Jede Fortsetzung wird einer Längen-normalisierten Wahrscheinlichkeit $P_n$ zugewiesen, welche ihre Wahrscheinlichkeit unter der Verteilung des Modells repräsentiert. Diese Wahrscheinlichkeiten werden verwendet, um die Beiträge jeder Fortsetzung während des Clusterings zu gewichten.

2. Duale Repräsentation

Jede gesampelte Fortsetzung wird durch zwei komplementäre Ansichten dargestellt:

Semantisches Embedding ( $e_n$ ): Erfasst die linguistische Bedeutung der Fortsetzung im Kontext, typischerweise abgeleitet von einem vortrainierten Embedding-Modell (z. B. EmbeddingGemma).
Mechanistisches Embedding ( $a_n$ ): Erfasst, wie Präfix-Merkmale die Logits der Fortsetzung beeinflussen. Dies wird mithilfe von Transcodern (Sparse Autoencoder, die MLP-Schichten approximieren) berechnet, um die MLP-Berechnungen in interpretierbare, spärliche Merkmale zu zerlegen. Der Attributionsvektor $a_n$ aggregiert die direkte lineare Attribution von Präfix-Merkmalen auf die gedemuteten Logits über die gesamte Spannweite der Fortsetzung.

3. Gemeinsames Clustering via Rate-Distortion

Die Kerninnovation besteht darin, die Entdeckung latenter Strukturen als Rate-Distortion-Optimierungsproblem zu formulieren. Das Ziel ist es, ein Clustering zu finden, das die Verzerrung (Rekonstruktionsfehler) in sowohl semantischen als auch mechanistischen Ansichten minimiert, während gleichzeitig die Rate (Entropie der Cluster-Zuweisungen) minimiert wird.

Die Zielfunktion lautet:
$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$
Wobei:

$H(C)$ die Entropie der Cluster-Prior-Verteilung ist (Rate).
$D(e)$ und $D(a)$ die Wahrscheinlichkeits-gewichteten Verzerrungen im semantischen (L2) bzw. im Attributions-Raum (L1) darstellen.
$\beta$ den Trade-off zwischen Kompression (weniger Cluster) und Treue (geringe Verzerrung) steuert.
$\gamma$ das Gewicht zwischen den semantischen und mechanistischen Ansichten ausbalanciert ( $\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$ ).

Adaptive Operationen: Im Gegensatz zu K-Means, welches $K$ a priori festlegt, verwendet dieses Framework Split- und Junk-Operationen, um die Anzahl der Cluster adaptiv anzupassen:

Split: Teilt einen heterogenen Cluster auf, wenn die Reduktion der Verzerrung die Kosten der Erhöhung der Entropie (Rate) überwiegt.
Junk: Entfernt spureneffektive Cluster, die eher Rauschen als kohärente Modi erfassen, falls die Neuzuweisung ihrer Mitglieder das Gesamtziel optimiert.

Zentrale Beiträge

Analyse auf Verteilungsebene: Die Arbeit führt das erste Framework ein, das die Fortsetzungs-Verteilung eines Modells unter Verwendung sowohl der semantischen Struktur als auch der sequenzweisen mechanistischen Attribution clustert und damit über die Einzelziel-Analyse hinausgeht.
Gemeinsame Optimierung: Es wird demonstriert, dass die gemeinsame Optimierung von semantischer Kohärenz und mechanistischer Konsistenz Fortsetzungs-Modi offenbart, die durch Single-View-Baselines (nur semantisch oder nur Attribution via K-means) übersehen werden.
Kausale Validierung via Steering: Die Autoren liefern interventionelle Evidenz dafür, dass die entdeckten Cluster-Signaturen mit operativen mechanistischen Faktoren korrespondieren. Durch das Steuern (Steering) entlang der Cluster-abgeleiteten Richtungen (unter Verwendung von Medoiden) zeigen sie konsistente, gerichtete Verschiebungen in der Präferenz des Modells für Fortsetzungen innerhalb dieses Clusters.
Granularitätskontrolle: Das Framework ermöglicht es Nutzern, die Granularität der entdeckten Modi durch das Annealing des $\beta$ -Parameters zu steuern, wodurch hierarchische Strukturen sichtbar werden, in denen feinere Cluster die mechanistischen Signaturen ihrer gröberen Cluster erben.

Experimentelle Ergebnisse

Die Methode wurde auf AmbigQA (unter Verwendung von Qwen3-8B) und MMLU evaluiert, mit zusätzlichen Experimenten auf Gemma3 und Reasoning-Aufgaben (GSM8K, MATH500).

Clustering-Leistung: In Rate-matchen erzielte das vorgeschlagene Rate-Distortion (RD) Clustering die niedrigste gemischte Verzerrung ( $D_\gamma$ ) in 94 % der Fälle im Vergleich zu K-means-Baselines (KM-S für rein semantisch, KM-A für rein attributionell). KM-S bewahrte die semantische Kohärenz, scheiterte aber an der mechanistischen Konsistenz, während KM-A den umgekehrten Fehler aufwies.
Granularitätsanalyse: Die Variation von $\beta$ offenbarte eine hierarchische Struktur. Beispielsweise teilte sich ein grober Cluster, der durch einen „Formatierungsstil“ definiert war (z. B. Solo-Künstler vs. Band), in feinere Cluster auf, die auf spezifische Inhaltsdetails basierten (z. B. Auflistung von Bandmitgliedern vs. Genre-Beschreibungen), während $\beta$ erhöht wurde.
Steering-Validierung: Steering-Experimente bestätigten kausale Zusammenhänge. Die durch RD abgeleiteten Medoid-Richtungen erzeugten starke, monotone Korrelationen zwischen der Steering-Stärke ( $\epsilon$ ) und den Änderungen der Target-Cluster-Logits. Im Gegensatz dazu zeigten semantische Baselines (KM-Sem) eine nahezu Null-Korrelation, und Single-Continuation-Baselines waren schwächer und weniger konsistent.
Reasoning-Aufgaben: In Reasoning-Benchmarks identifizierte die Methode erfolgreich, dass spezifische vorherige Reasoning-Schritte spezifische Target-Step-Cluster kausal beeinflussen, wobei die stärksten Effekte zwischen frühen Quell-Schritten und späteren Targets beobachtet wurden.

Bedeutung und Ansprüche

Das Paper behauptet, dass dieser Ansatz die konventionelle Schaltkreis-Analyse und die Verhaltensevaluierung ergänzt, indem er ein skalierbares Audit der Mechanismen bereitstellt, die der Fortsetzungs-Verteilung eines Modells zugrunde liegen.

Komplementarität: Es reduziert die Abhängigkeit von handverlesenen Zielen und bringt mechanistische Hypothesen hervor, die durch Cluster-Level-Steering gestützt werden. Nutzer können zuerst Cluster entdecken und dann die spezifischen Schaltkreise verfolgen, die mit einem ausgewählten Cluster assoziiert sind.
Operative Mechanismen: Die entdeckten Modi sind nicht bloß deskriptiv; sie entsprechen operativen mechanistischen Faktoren, die manipuliert werden können, um das Verhalten des Modells auf vorhersagbare Weise zu verschieben.
Limitierungen: Die Autoren räumen Einschränkungen hinsichtlich des Rechenaufwands (aufgrund der notwendigen Backward-Passes für die Attribution) und des Fehlens eines prinzipierten Frameworks zur Zuweisung menschlich interpretierbarer Labels für Cluster ein. Sie merken an, dass die Validierung unter Intervention keine Einzigartigkeit der identifizierten Merkmale garantiert und weitere kontrafaktische Inspektionen erfordert.

Zusammenfassend schlägt die Arbeit einen Wechsel von der Analyse isolierter Input-Output-Paare hin zur Analyse der Verteilung von Fortsetzungen vor und bietet damit eine robustere Linse zum Verständnis der heterogenen internen Berechnungen großer Sprachmodelle.