🤖 machine learning

Semantic Optimal Transport for Sparse Autoencoder Feature Matching and Circuit Compression

Dieser Beitrag stellt ein einheitliches distributionales Framework vor, das auf der Wasserstein-Distanz basiert und Sparse-Autoencoder-Features als aktivierungsgewichtete Verteilungen repräsentiert, um eine robuste semantische Abgleichung über Schichten hinweg sowie eine automatische Kompression von Feature-Schaltkreisen in interpretierbare Supernodes zu ermöglichen.

Ursprüngliche Autoren: Tue M. Cao, Nguyen Do, My T. Thai

Veröffentlicht 2026-05-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tue M. Cao, Nguyen Do, My T. Thai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die „Gehirn"-Entschlüsselung der KI

Stellen Sie sich ein Large Language Model (wie die KI, mit der Sie chatten) als eine riesige, mehrstöckige Bibliothek vor. In dieser Bibliothek werden Informationen nicht in ordentlichen Büchern gespeichert; sie sind über Millionen winziger, leuchtender Staubteilchen verteilt, die Features genannt werden. Diese Features sind die Bausteine der Gedanken der KI.

Um zu verstehen, wie die KI denkt, verwenden Forscher ein Werkzeug namens Sparse Autoencoder (SAE). Stellen Sie sich den SAE als ein hochleistungsfähiges Mikroskop vor, das uns diese Staubteilchen sehen lässt. Allerdings machen zwei große Probleme dies schwierig:

Das Problem „Gleiche Idee, anderes Stockwerk": Derselbe Begriff (wie „Gerechtigkeit" oder „Zahlen addieren") könnte auf dem 1. Stock der Bibliothek durch ein Staubteilchen repräsentiert werden und auf dem 50. Stock durch ein völlig anders aussehendes Staubteilchen. Aktuelle Werkzeuge haben Schwierigkeiten zu erkennen, dass diese beiden dieselbe Idee sind, weil sie in ihren jeweiligen Räumen unterschiedlich aussehen.
Das Problem „Zu viele Räume": Wenn wir einen bestimmten Gedanken (eine „Schaltung") nachverfolgen, landen wir oft in einem verworrenen Netz aus Hunderten von Staubteilchen. Es ist für einen Menschen unmöglich, jedes einzelne davon zu lesen. Wir müssen sie zu „Supernodes" gruppieren (wie alle „Küchen"-Artikel zusammenfassen), aber derzeit erfordert dies, dass ein Mensch jedes einzelne Element manuell beschriftet, was nicht skalierbar ist.

Der alte Weg: Vergleich statischer Schnappschüsse

Früher versuchten Forscher, dies zu lösen, indem sie einen einzelnen „Schnappschuss" jedes Features machten. Stellen Sie sich vor, Sie machen ein Foto eines Staubteilchens und messen seine Farbe und Helligkeit. Wenn das Foto im 1. Stock dem im 50. Stock ähnlich aussieht, gehen sie davon aus, dass es dasselbe Feature ist.

Der Fehler: Das ist wie der Versuch, eine Person nur anhand eines einzelnen, unscharfen Fotos ihres Schattens zu identifizieren. Es ignoriert den Kontext. Ein Feature ist nicht nur ein statischer Punkt; es ist ein Muster davon, wann und wie stark es über Tausende verschiedener Sätze hinweg aufleuchtet. Die alte Methode warf diesen reichen Kontext weg, was zu Fehlern führte, insbesondere beim Vergleich weit voneinander entfernter Stockwerke der Bibliothek.

Die neue Lösung: Die „Menschenmassen-Karte" und der „Umzugswagen"

Die Autoren schlagen einen neuen Weg vor, diese Features mit Optimal Transport zu betrachten, einem mathematischen Konzept, das zwar fancy klingt, aber eigentlich ziemlich intuitiv ist.

1. Von einem einzelnen Punkt zur Menschenmassen-Karte

Anstatt ein einzelnes Foto eines Features zu machen, erstellt die neue Methode eine „Menschenmassen-Karte".

Stellen Sie sich vor, ein Feature ist ein Prominenter.
Alte Methode: Sie messen nur die Körpergröße des Prominenten.
Neue Methode: Sie erstellen eine Karte von jedem einzelnen Fan, der erschienen ist, um ihn zu sehen, und markieren genau, wo er stand und wie aufgeregt er war (sein „Aktivierungsgewicht").
Diese Karte erfasst den Kontext des Features. Sie weiß, dass dieses Feature aufleuchtet, wenn Menschen über „Katzen" sprechen, aber nicht über „Hunde".

2. Der gemeinsame Referenzraum (Der neutrale Boden)

Da das 1. Stockwerk und das 50. Stockwerk unterschiedliche Grundrisse haben (unterschiedliche „Mannigfaltigkeiten"), können Sie ihre Karten nicht direkt vergleichen.

Die Autoren projizieren all diese Fan-Karten auf einen gemeinsamen Referenzraum. Stellen Sie sich dies als einen riesigen, neutralen Stadtpark vor.
Sie nehmen die Fans aus dem 1. Stock und die Fans aus dem 50. Stock und platzieren sie alle auf derselben Parkkarte. Jetzt befinden sie sich in derselben Nachbarschaft und sind vergleichbar.

3. Optimal Transport (Der Umzugswagen)

Wie messen Sie nun, wie ähnlich zwei Features sind?

Stellen Sie sich vor, Sie haben einen Haufen Sand (die Fans), der Feature A repräsentiert, und einen anderen Haufen, der Feature B repräsentiert.
Optimal Transport ist wie die Anmietung eines Umzugswagens, um den Sand von Haufen A zu Haufen B zu bewegen.
Die „Kosten" sind die Distanz, die der Sand zurücklegen muss.
Wenn die Fans in Haufen A genau an denselben Stellen stehen wie die Fans in Haufen B, muss der Wagen sie nicht weit bewegen. Die Kosten sind gering. Geringe Kosten = Hohe Ähnlichkeit.
Wenn sich die Fans in völlig verschiedenen Teilen des Parks befinden, muss der Wagen eine lange Strecke fahren. Hohe Kosten = Unterschiedliche Bedeutungen.

Diese Methode ist mächtig, weil sie die gesamte Verteilung der Aktivität betrachtet, nicht nur einen einzelnen Punkt. Sie kann den Unterschied zwischen zwei Features erkennen, die auf den ersten Blick ähnlich aussehen, aber unterschiedliche „Fan-Muster" haben.

Was sie erreicht haben

Mit diesem Ansatz der „Menschenmassen-Karte" und des „Umzugswagens" behauptet das Paper drei große Siege:

Besseres Matching: Sie können nun Features über verschiedene Schichten der KI hinweg genau zuordnen, selbst wenn die Schichten sehr weit voneinander entfernt sind. Es ist wie das Erkennen, dass eine bestimmte Baumart im Erdgeschoss derselben Spezies angehört wie ein Baum auf dem Dach, auch wenn sie aufgrund von Wind und Licht unterschiedlich aussehen.
Automatische Kompression: Sie können automatisch Hunderte von verwickelten Features zu sauberen, verständlichen „Supernodes" gruppieren. Anstatt dass ein Mensch 500 Artikel manuell sortiert, gruppiert der Algorithmus sie basierend darauf, wie ähnlich ihre „Menschenmassen-Karten" sind.
Finden subtiler Unterschiede: Sie haben erfolgreich Features identifiziert, die sehr spezifische Dinge tun, wie „zwei Zahlen addieren". Andere Methoden scheiterten daran, zwischen Features zu unterscheiden, die allgemein nur „Mathematik betrieben", aber diese Methode erkannte die spezifischen Muster der „Ziffernaddition".

Die Garantie „Warum es funktioniert"

Das Paper enthält auch mathematische Beweise (die „Quittungen"), um zu zeigen, warum dies funktioniert:

Skaleninvarianz: Es spielt keine Rolle, ob das Feature „laut" (sehr aktiv) oder „leise" (weniger aktiv) ist, solange das Muster dessen, wer zuhört, gleich ist. Die Methode ignoriert die Lautstärke und konzentriert sich auf die Form der Menschenmenge.
Stabilität: Wenn Sie ein wenig Rauschen hinzufügen (wie ein paar zusätzliche Fans, die zufällig erscheinen), ändern sich die „Umzugswagen"-Kosten nicht wild. Die Methode ist robust.
Wiederherstellung: Wenn der Unterschied zwischen zwei Features groß genug ist, ist die Methode mathematisch garantiert, die richtige Übereinstimmung zu finden, selbst bei unvollkommenen Daten.

Zusammenfassung

Kurz gesagt sagt dieses Paper: „Hören Sie auf, KI-Features als einzelne, statische Punkte zu betrachten. Betrachten Sie sie als dynamische Menschenmassen von Aktivität. Indem wir ein mathematisches Umzugswagen-System verwenden, um diese Menschenmassen auf einer neutralen Karte zu vergleichen, können wir automatisch verstehen, wie sich KI-Gedanken über Schichten hinweg entwickeln und komplexe Schaltungen in lesbare Zusammenfassungen vereinfachen."

Technische Zusammenfassung: Semantischer Optimaler Transport für das Feature-Matching und die Kompression von Schaltungen in Sparse Autoencodern

1. Problemdefinition

Sparse Autoencoder (SAE) haben sich als primäres Werkzeug zur Interpretation von Large Language Models (LLM) etabliert, indem sie latente Räume in interpretierbare Features zerlegen. Dennoch bleiben zwei kritische Herausforderungen bei der Skalierung der SAE-Analyse bestehen:

Cross-Layer Feature-Matching: Die Identifizierung semantisch ähnlicher Features über verschiedene Schichten eines LLM hinweg. Bestehende Methoden verlassen sich typischerweise auf den Vergleich von Decoder-Vektoren. Dieser Ansatz versagt beim Matching von Features über nicht aufeinanderfolgende Schichten hinweg, da Decoder-Vektoren darauf trainiert sind, unterschiedliche Aktivierungsverteilungen zu rekonstruieren, was einen direkten Vektorvergleich ungenau macht.
Feature-Circuit-Kompression: Feature-Schaltungen (kausale Graphen, die Features über Schichten hinweg verbinden) enthalten oft Hunderte von Knoten, was eine manuelle Inspektion unpraktisch macht. Aktuelle Kompressionsmethoden verlassen sich auf das manuelle Gruppieren semantisch ähnlicher Knoten zu „Supernodes", ein Prozess, der nicht skalierbar ist.

Das vom Autor identifizierte Kernproblem ist die Schätzung der semantischen Distanz zwischen Features, die auf unterschiedlichen Aktivitätsmanigolden liegen. Bestehende Ansätze behandeln Features als einzelne Vektoren (z. B. Decoder-Gewichte), was den reichen Kontext davon, wo und wie stark ein Feature aktiviert, verwirft. Dies führt zu Informationsverlust und der Unfähigkeit, Mehr-Manifold-Vergleiche zu bewältigen.

2. Methodik

Die Autoren schlagen ein verteilungsbasiertes Framework vor, das den Feature-Vergleich als Optimalen Transport (OT)-Problem neu fasst.

2.1 Feature-Repräsentation als Verteilungen

Anstatt ein Feature durch einen einzelnen Decoder-Vektor darzustellen, repräsentiert die Methode jedes Feature $i$ in Schicht $\ell$ als eine aktivitätsgewichtete empirische Verteilung über die versteckten Zustände, in denen es aktiviert.

Gegeben ein Korpus von Token-Positionen $T$ , wählt die Methode die Top- $K$ Token-Positionen aus, an denen Feature $i$ am stärksten aktiviert.
Jeder ausgewählte Token $t$ erhält ein Gewicht $w_{i,t}$ , das proportional zu seiner Aktivierungsstärke ist.
Das Feature wird als Verteilung $\hat{\mu}_{i,T} = \sum w_{i,t} \delta_{x_t}$ dargestellt, wobei $x_t$ der versteckte Zustand am Token $t$ ist.

2.2 Gemeinsamer Referenzraum

Um Features über verschiedene Schichten hinweg zu vergleichen (die auf unterschiedlichen Manigolden liegen), projiziert die Methode diese schichtspezifischen Verteilungen in einen gemeinsamen Referenzraum $\mathcal{R}$ .

Für das Cross-Layer-Matching ist der Referenzraum typischerweise der Raum der versteckten Zustände der Zielschicht. Aktivierungen aus der Quellschicht werden auf die entsprechenden Token-Positionen in der Zielschicht projiziert.
Für die Circuit-Kompression ist der Referenzraum die Konkatenation der versteckten Zustände über alle Schichten hinweg.

2.3 Semantische Distanz via Wasserstein-Distanz

Sobald in den gemeinsamen Raum projiziert, wird die semantische Distanz zwischen zwei Features unter Verwendung der Wasserstein-Distanz (Earth Mover's Distance) berechnet.

Die Distanz $W_c(\hat{\mu}, \hat{\nu})$ misst die minimalen Kosten, um die Wahrscheinlichkeitsmasse der Aktivierungsverteilung eines Features auf das andere zu transportieren.
Die Grundkosten $c(z, z')$ messen den Aufwand, zwei Kontextrepräsentationen im gemeinsamen Raum zu matchen.
Dieser Ansatz erfasst die geometrische Struktur von Aktivierungsmustern und nicht nur die punktuelle Vektorähnlichkeit.

2.4 Downstream-Aufgaben

Feature-Matching: Für ein Ziel-Feature findet die Methode das Quell-Feature mit der minimalen Wasserstein-Distanz (nächster Nachbar).
Circuit-Kompression: Die Methode behandelt Circuit-Knoten als Punkte im verteilungsbasierten Raum und wendet Clustering (z. B. agglomeratives Clustering) an, um Knoten mit kleinen paarweisen Wasserstein-Distanzen zu Supernodes zu gruppieren, wobei die semantische Distanz innerhalb der Cluster minimiert wird.

3. Hauptbeiträge und theoretische Garantien

Die Arbeit liefert drei wesentliche theoretische Garantien für das vorgeschlagene Framework:

Invarianz gegenüber Aktivierungs-Reskalierung: Die projizierte Feature-Verteilung ist invariant gegenüber globaler Skalierung der Aktivierungswerte. Da die Darstellung auf der relativen Rangfolge und der proportionalen Verteilung der Aktivierungen beruht (Top-K-Auswahl und normalisierte Gewichte), verändern willkürliche skalare Verschiebungen der Aktivierungsstärken die semantische Distanz nicht.
Stabilität unter Störungen: Die Wasserstein-Distanz zwischen Feature-Verteilungen ist stabil gegenüber glatten Störungen der Verteilungen. Die Änderung der Distanz ist durch die Lipschitz-Konstanten der Grundkosten und die Wasserstein-Distanz zwischen den gestörten und den ursprünglichen Verteilungen beschränkt. Dies gewährleistet Robustheit gegenüber Rauschen bei der Token-Auswahl oder beim erneuten Training von SAEs.
Margin-basierte Wiederherstellung: Die Autoren leiten Bedingungen her, unter denen das empirische Matching des nächsten Nachbarn und die semantische Gruppierung die wahren (Oracle-)Matches perfekt wiederherstellen. Wenn der „Margin" (die Lücke zwischen dem besten Match und dem zweitbesten Match) das Doppelte des Schätzfehlers übersteigt, ist die empirische Entscheidung garantiert korrekt.

4. Experimentelle Ergebnisse

Die Methode wurde an SAEs evaluiert, die auf GPT-2 und Gemma-2-2B trainiert wurden, und mit Baselines verglichen, darunter SAE Match (Decoder-Vektor L2), Feature Flow (Decoder-Vektor Cosinus), Attribution Patching und LLM-basierte Selektion.

Feature-Matching: Die vorgeschlagene Methode übertraf alle Baselines in der LLM-Evaluation (semantische Ähnlichkeitsbewertungen) und der Matching-Genauigkeit über aufeinanderfolgende, mittlere-zu-letzte und erste-zu-letzte Schicht-Setups hinweg. Entscheidend behielt sie eine wettbewerbsfähige Leistung bei Downstream-Metriken (Cross-Entropy-Verlust und erklärte Varianz) bei, was zeigt, dass sie Features mit ähnlichen funktionalen Rollen identifiziert und nicht nur ähnliche Aktivierungs-Token. Sie gelang insbesondere das Matching subtiler „Digit-Addition"-Features, bei denen andere Methoden versagten.
Circuit-Kompression: Die Methode erreichte eine höhere Genauigkeit bei der Kompression von Feature-Circuits in intuitive Supernodes im Vergleich zur manuellen Gruppierung und anderen Baselines. Sie identifizierte erfolgreich modulare Feature-Gruppen (z. B. „Induction Heads" und „Token Detection"), die konsistent dieselbe funktionale Rolle in verschiedenen Circuits erfüllen.
Ablationsstudie: Experimente bestätigten, dass die Darstellung von Features als Verteilungen mehr semantische Information bewahrt als das Zusammenfassen zu einem einzelnen Zentroid-Vektor, selbst wenn sie auf dasselbe Manifold projiziert werden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, eine einheitliche semantische Metrik bereitzustellen, die sowohl das Cross-Layer Feature-Matching als auch die Circuit-Kompression als Instanzen desselben grundlegenden Problems löst: die Schätzung der semantischen Distanz über Manigolden hinweg.

Skalierbarkeit: Durch die Automatisierung der Gruppierung von Features zu Supernodes entfernt die Methode die Abhängigkeit von menschlicher Kennzeichnung und macht die Analyse großskaliger Feature-Circuits machbar.
Robustheit: Der verteilungsbasierte Ansatz erfasst den „Kontext" der Feature-Aktivierung und ermöglicht ein genaues Matching, selbst wenn sich Features über Schichten hinweg signifikant entwickeln (dissimilare Verteilungen), ein Szenario, in dem vektorbasierte Methoden versagen.
Interpretierbarkeit: Die Fähigkeit, komplexe Circuits automatisch in interpretierbare Supernodes zu komprimieren, verbessert das Verständnis von Modellmechanismen, wie in Fallstudien zu „Dallas" (Geografie), „Reimen" und „Gegensätzen" demonstriert wird.

Die Autoren positionieren diese Arbeit als einen grundlegenden Schritt hin zu skalierbarer, automatisierter mechanistischer Interpretierbarkeit, der über die Grenzen des vektorzentrierten Feature-Vergleichs hinausgeht.