🤖 machine learning

Scalable Circuit Learning for Interpreting Large Language Models

Das Papier stellt CircuitLasso vor, eine skalierbare Methode für die dünnbesetzte lineare Regression, die effizient interpretierbare Schaltkreise über Sparse-Autoencoder-Features in großen Sprachmodellen lernt, wobei sie die Genauigkeit kostspieliger interventionsbasierter Techniken erreicht und gleichzeitig eine effektive Domänengeneralisierung zu einem Bruchteil der Rechenkosten ermöglicht.

Ursprüngliche Autoren: Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, unglaublich komplexe Fabrik vor. Im Inneren dieser Fabrik geben Millionen von winzigen Arbeitern (Neuronen) sich gegenseitig Notizen weiter, um das endgültige Ergebnis zu produzieren: einen Satz oder eine Antwort.

Lange Zeit standen Wissenschaftler, die versuchen zu verstehen, wie diese Fabrik funktioniert, vor einem großen Problem: Die Arbeiter sind verwirrt. Ein einziger Arbeiter könnte gleichzeitig durch das Wort „Apfel“, die Farbe „Rot“ und das Konzept „Gesundheit“ aktiviert werden. Da ein Arbeiter so viele unzusammenhängende Dinge gleichzeitig tut, ist es schwer zu sagen, welcher Arbeiter genau für welchen Teil des fertigen Satzes verantwortlich ist. Es ist, als versuche man herauszufinden, wer den Kuchen gebacken hat, wenn jeder Bäcker in der Küche gleichzeitig mit Mehl, Eiern und Pinseln jongliert.

Das neue Werkzeug: „Merkmalsdetektoren“

Um dies zu beheben, begannen Forscher, ein spezielles Werkzeug einzusetzen: einen Sparse Autoencoder (SAE). Stellen Sie sich dies als einen Übersetzer vor, der zwischen den Fabrikarbeitern und der Außenwelt sitzt. Anstatt die verwirrten Arbeiter direkt zu betrachten, gruppiert dieser Übersetcher deren Aktivität in sehr spezifische, zweckgebundene „Merkmale“ (Features).

Anstatt dass wir nun einen Arbeiter haben, der alles Mögliche gleichzeitig jongliert, haben wir ein dediziertes „Sportfan“-Merkmal, ein „Grammatikpolizei“-Merkmal oder ein „Hunger“-Merkmal. Jedes dieser Merkmale leuchtet nur für ein klares Konzept auf. Dies macht die inneren Abläufe der Fabrik viel leichter lesbar.

Das Problem: Zu viele Daten

Hier liegt der Haken: Obwohl diese „Merkmale“ viel klarer sind, gibt es tausende von ihnen. Die Verbindung dieser tausenden Merkmale untereinander kartografieren zu wollen, ist wie der Versuch, den Straßenplan einer riesigen Stadt zu zeichnen, während man in einem Auto fährt, das nur eine Meile pro Stunde schafft.

Die alten Methoden zur Kartierung dieser Verbindungen erforderten „Interventionen“. Stellen Sie sich vor, Sie versuchen, einen Straßenplan zu verstehen, indem Sie physisch jede einzelne Straße nacheinander blockieren, um zu sehen, was passiert. Das ist unglaublich langsam, teuer und rechnerisch unmöglich für riesige Modelle.

Die Lösung: CircuitLasso

Die Autoren dieser Arbeit stellen eine neue Methode namens CircuitLasso vor.

Anstatt Straßen einzeln zu blockieren, agiert CircuitLasso wie ein superintelligenter Detektiv mit einer Lupe und einer statistischen Abkürzung. Er betrachtet die bereits stattfindenden Verkehrsmuster (die Daten) und nutzt eine mathematische Technik namens „Sparse Regression“, um die Verbindungen zu ermitteln.

Die Analogie: Stellen Sie sich vor, Sie möchten wissen, welche Zutaten in einer Suppe essenziell sind.
- Der alte Weg (Intervention): Sie probieren die Suppe, entfernen dann eine Zutat, probieren erneut, geben sie zurück, entfernen eine andere, probieren erneut... und das für jede einzelne Gewürzrichtung. Das dauert ewig.
- CircuitLasso: Sie schauen sich eine Liste aller Zutaten und den endgültigen Geschmack an und nutzen einen intelligenten Algorithmus, um sofort zu berechnen, welche Zutaten tatsächlich die Hauptarbeit leisten. Es ist viel schneller und erfordert nicht, die Suppe ständig zu verändern.

Was sie herausgefunden haben

Die Arbeit behauptet drei wesentliche Dinge:

Geschwindigkeit ohne Opfer: CircuitLasso ist dramatisch schneller als die alten „Straßenblockier“-Methoden. In ihren Tests war es bei Standard-Benchmarks dreimal schneller, fand aber dennoch exakt dieselben „Schaltkreise“ (Maps von Verbindungen) mit dem gleichen Maß an Genauigkeit.
Klarere Geschichten: Da es mit den klaren „Merkmalen“ (wie „Hunger“ oder „Grammatik“) statt mit den verwirrten Neuronen arbeitet, sind die erstellten Karten für Menschen leicht verständlich. Sie fanden „baumartige“ Pfade, die zeigen, wie ein Konzept wie „Hunger“ durch die Schichten des Modells fließt und schließlich zur Handlung des „Essens“ führt. Sie entdeckten sogar „spureneffektive Korrelationen“ (spurious correlations) – falsche Verbindungen, bei denen das Modell glaubt, dass „Hunger“ mit „Selbst“ zusammenhängt, nur weil diese Wörter oft gemeinsam in den Trainingsdaten auftauchen.
Praxisnutzen: Sie testeten dies an einer Aufgabe, bei der das Modell den Beruf einer Person anhand ihrer Biografie erraten musste. Das Modell war voreingenommen (z. B. nahm es an, dass alle Krankenschwestern weiblich seien). Durch den Einsatz von CircuitLasso, um die spezifischen „Geschlechtsmerkmale“ zu identifizieren und zu entfernen, die diese Voreingenommenheit verursachten, konnten sie die Vorhersagen des Modells korrigieren. Sie taten dies viel günstiger und schneller als bisherige Methoden und erzielten dabei ähnliche oder sogar etwas bessere Ergebnisse.

Das Fazsteit

Diese Arbeit präsentiert einen neuen, effizienten Weg, um zu rekonstruieren, wie KI-Modelle denken. Indem sie den Fokus von verwirrten Neuronen auf klare, zweckgebundene Merkmale verlagern und anstelle von langsamen Brute-Force-Tests eine schnelle mathematische Abkürzung nutzen, haben die Autoren ein Werkzeug geschaffen, das das „Gehirn“ großer KI-Modelle schnell und klar kartieren kann. Dies hilft uns zu verstehen, nicht nur was die KI sagt, sondern warum sie es sagt und wie wir sie korrigieren können, wenn sie Fehler macht.

Technisches Resümee: Skalierbares Schaltkreis-Lernen zur Interpretation von Large Language Models

1. Problemstellung

Mechanistische Interpretierbarkeit zielt darauf ab, das „Warum“ hinter den Verhaltensweisen von Large Language Models (LLMs) zu entschlülüsseln, indem sie Schaltkreise (Circuits) identifiziert: kompakte Teilgraphen, die Schlüsselkomponenten (z. B. Attention-Heads, Neuronen) verbinden und spezifische Fähigkeiten steuern. Bestehende Methoden zum Erlernen von Schaltkreisen stehen jedoch vor zwei primären Engpässen:

Polysemantizität: Rohe Neuronen in LLMs sind polysemantisch, was bedeutet, dass ein einzelnes Neuron für mehrere, unzusammenhängende Konzepte aktiviert wird. Dies führt zu gelernten Schaltkreisen, die dicht, verrauscht und schwer für Menschen interpretierbar sind.
Skalierbarkeit: Während Sparse Autoencoder (SAEs) eine Lösung bieten, indem sie Aktivierungen in hochdimensionale, monosemantische (einkonzeptuelle) Merkmale zerlegen, skalieren bestehende interventionsbasierte Methoden zum Erlernen von Schaltkreisen (z. B. Causal Tracing, Attribution Patching) nicht auf die hohe Dimensionalität von SAE-Merkmalen. Diese Methoden erfordern rechenintensive kontrafaktische Interventionen (Vorwärts- und Rückwärtsläufe) für jede Komponente, was sie für große Modelle und hochdimensionale Merkmalsräume prohibitiv macht.

2. Methodik: CircuitLasso

Die Autoren schlagen CircuitLasso vor, einen skalierbaren Ansatz zum Erlernen von Schaltkreisen, der rechenintensive interventionsbasierte Pipelines durch ein spares lineares Regressionsframework ersetzt.

Kernformulierung

Anstatt kausale Effekte mittels Interventionen zu schätzen, behandelt CircuitLasso den Rechengraph des LLMs als einen spärlichen, linearen strukturellen Gleichungsmodell (SEM). Gegeben seien $N$ Komponenten (Neuronen oder SAE-Merkmale) und $M$ Beobachtungen, sucht die Methode eine gewichtete Adjazenzmatrix $A$ sodass:
$X \approx A^\top X$
wobei $X$ die Matrix der Aktivierungen ist. Das Ziel ist es, einen gerichteten azyklischen Graphen (DAG) zu lernen, der Abhängigkeiten darstellt, indem der Rekonstruktionsfehler unter Berücksichtigung von Sparsity ( $\ell_1$ -Strafe) und Azyklizitätsbeschränkungen minimiert wird:
$\hat{A} = \arg \min_{A} \|X - A^\top X\|_F^2 + \lambda \|A\|_1$

Handhabung von Beschränkungen und Skalierbarkeit

Azyklizität: Anstatt komplexe kontinuierliche Azyklizitätsbeschränkungen zu erzwingen (die rechenintensiv sind), nutzt CircuitLasso die bekannte Feed-Forward-Architektur von Transformern. Es nimmt eine blockobertrianguläre Struktur an, bei der Schicht $i$ nur von Schichten $j < i$ abhängt. Dies transformiert das Problem in eine Serie unabhängiger Lasso (sparser linearer Regression) Subprobleme, die effizient über den FISTA-Algorithmus lösbar sind.
Beobachtungsdaten: Die Methode arbeitet ausschließlich auf Beobachtungsdaten (Aktivierungen aus einem Vorwärtspass) und vermeidet so die Notwendigkeit der multiplen Vorwärts- und Rückwärtsläufe, die für interventionsbasierte Methoden erforderlich sind.
SAE-Integration: Das Framework wird so erweitert, dass es direkt auf SAE-Merkmalen ( $z \in \mathbb{R}^D$ , wobei $D \gg d$ ) operiert. Es lernt schichtweise Abhängigkeiten zwischen SAE-Merkmalen und kann zudem die Verbindung von Merkmalen der letzten Schicht zu nachgelagerten Vorhersagezielen ( $y$ ) herstellen.

Komplexitätsanalyse

Die theoretische Analyse (Proposition 3.2) zeigt auf, dass CircuitLasso unter spezifischen Regimen garantierte Effizienzgewinne gegenüber dem aktuellen Stand der Technik (State-of-the-Art) der interventionsbasierten Methoden (wie EAP-ig) bietet, insbesondere wenn die Anzahl der Komponentenlokationen ( $L$ ) moderat im Verhältnis zur Sequenzlänge und den Modell-Dimensionen ist. Die Kosten skalieren mit $O(M L^2 d^2)$ , während Interventionsmethoden mit den Kosten zusätzlicher Vorwärts- und Rückwärtsläufe durch das gesamte Modell skalieren.

3. Zentrale Beiträge

CircuitLasso-Algorithmus: Ein sparsamer Regressions-Surrogat für die Schaltkreis-Entdeckung, der interventionslastige Pipelines durch einen beobachtenden, Lasso-basierten Ansatz ersetzt.
Skalierbarkeit auf SAEs: Die erste Methode, die in der Lage ist, effizient Schaltkreise auf hochdimensionalen, monosemantischen SAE-Merkmalen zu lernen, wodurch die rechnerischen Hindernisse früherer Techniken überwunden werden.
Theoretische Effizienz: Eine formale Analyse, die Bedingungen etabliert, unter denen der regressionsbasierte Ansatz nachweislich schneller als interventionsbasierte Baselines ist.
Empirische Validierung: Demonstrationen an Modell-Neuronen und SAE-Merkmalen, die zeigen, dass CircuitLasso eine strukturelle Genauigkeit erreicht, die mit SOTA-Baselines vergleichbar ist, und dies zu einem Bruchteil der Rechenkosten.

4. Experimentelle Ergebnisse

Benchmark-Leistung (Modell-Neuronen)

Evaluierung auf InterpBench (86 semi-synthetische Transformer und die Aufgabe der Identifikation indirekter Objekte):

Genauigkeit: CircuitLasso (lineare Variante) erreichte eine mittlere Structural Hamming Distance (SHD) von 3,16, was statistisch ununterscheidbar von der SOTA-Interventionsbaseline EAP-ig (2,98) und besser als EAP (3,61) ist.
Effizienz: Es war 3,0-mal schneller als EAP-ig (16,3s vs. 49,1s pro Fall) und 2,1-mal schneller als EAP.
Nichtlinearität: Eine nichtlineare Erweiterung von CircuitLasso bot marginale Verbesserungen der Genauigkeit, jedoch bei signifikant höherer Laufzeit, was darauf hindeutet, dass der lineare Surrogat ausreichend ist, um das Abhängigkeitsgerüst zu rekonstruieren.

Interpretierbarkeits-Fallstudie (SAE-Merkmale)

Anwendung auf GPT-2 Small auf dem CoLA-Datensatz (Corpus of Linguistic Acceptability):

Monosemantische Schaltkreise: Die Methode rekonstruierte baumartige Schaltkreise, bei denen die Knoten menschlich interpretierbare Konzepte repräsentieren (z. B. „-self“, „Hunger/Durst“, „Satzzeichen am Ende“).
Semantische Propagation: Die Schaltkreise zeigten auf, wie Konzepte über Schichten hinweg persistieren, verschmelzen (Kombination von Konzepten aus mehreren Elternknoten) oder abfallen (Ignorieren bestimmter Inputs).
Kausal vs. Spuriös: Die gelernten Graphen erfassten sowohl kausale semantische Beziehungen (z. B. „Hunger“ führt zu „Essen“) als auch spurische Korrelationen, die wahrscheinlich durch Datensatz-Biases eingeführt wurden (z. B. Ko-Okkurrenz von „-self“ und „Hunger“).

Downstream-Nutzen (Domänen-Generalisierung)

Evaluierung auf der Bias-in-Bios-Aufgabe (Vorhersage des Beruf bei gleichzeitiger Milderung von Geschlechts-Bias):

Leistung: CircuitLasso erreichte eine Genauigkeit bei der Berufsvorhersage, die mit der stärksten Nicht-Oracle-Baseline (SHIFT) vergleichbar oder teilweise sogar besser ist, während der Gender-Leakage nahe dem Idealwert von 50 % blieb.
Effizienz: Wie in Tabelle 1 gezeigt, benötigte CircuitLasso signifikant weniger Merkmale und eine wesentlich geringere Laufzeit als SHIFT. Für das Gemma-2-9B Modell dauerte CircuitLasso 107,4s im Vergleich zu 908,4s bei SHIFT.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CircuitLasso erfolgreich das Skalierbarkeitsproblem in der mechanistischen Interpretierbarkeit adressiert. Die primäre Bedeutung liegt in der Erzielung von „Effizienz bei Genauigkeits-Parität“:

Es rekonstruiert strukturelle Schaltkreise so genau wie die rigorosesten interventionsbasierten Methoden, aber zu einem Bruchteil der Rechenkosten.
Es ermöglicht die Verwendung von monosemantischen SAE-Merkmalen für die Schaltkreis-Analyse, was eine klarere, menschlich interpretierbare Erklärung darüber liefert, wie sich semantische Konzepte durch LLMs propagieren.
Die aus diesen Schaltkreisen gewonnenen Erkenntnisse sind praktisch nutzbar und ermöglichen effektive Domänen-Generalisierungs- und Bias-Mitigation-Aufgaben zu einem weitaus geringeren Kostenaufwand als bestehende Methoden.

Die Autoren bleiben bescheiden hinsichtlich der Natur der gelernten Gewichte und merken an, dass die linearen Koeffizienten ein Abhängigkeitsgerüst (Dependency Skeleton) darstellen und keine exakten kausalen Effekte der zugrunde liegenden nichtlinearen Berechnung. Sie betrachten die Methode als einen First-Order-Surrogat, der effektiv identifiziert, welche Komponenten andere beeinflussen, anstatt die präzise Magnitude kausaler Effekte zu quantifizieren.