🤖 AI

Data-driven Circuit Discovery for Interpretability of Language Models

Dieser Beitrag kritisiert bestehende hypothesengetriebene Methoden zur Entdeckung von Schaltkreisen dafür, dass sie datasetspezifische Schaltkreise erzeugen, die die wahre mechanistische Vielfalt von Sprachmodellen nicht erfassen, und schlägt datengesteuerte Schaltkreisentdeckung (DCD) vor, ein neues Framework, das Beispiele nach Verarbeitungssimilarität clustert, um mehrere verschiedene, hochfidele Schaltkreise für eine einzelne Aufgabe aufzudecken.

Ursprüngliche Autoren: Daking Rai, Mor Geva, Ziyu Yao

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Daking Rai, Mor Geva, Ziyu Yao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, superschlauen Roboter (ein Sprachmodell), der Geschichten schreiben, Mathematik betreiben und Rätsel lösen kann. Wissenschaftler wollen verstehen, wie dieser Roboter denkt. Sie nennen dies „Mechanistische Interpretierbarkeit".

Der traditionelle Weg, den Wissenschaftler dafür eingeschlagen haben, gleicht dem Versuch, den „Motor" eines Autos zu finden, indem man sich eine einzelne, spezifische Fahrt ansieht. Sie sagen: „Okay, der Roboter ist gerade von Punkt A nach Punkt B gefahren. Lassen Sie uns genau nachvollziehen, welche Zahnräder sich gedreht haben, um das zu bewirken." Sie nennen diesen kartierten Pfad einen Schaltkreis.

Das Problem: Die „Einheitsgröße"-Falle
Die Arbeit argumentiert, dass die alte Methode fehlerhaft ist, weil sie zwei falsche Annahmen trifft:

Die Datensatz-Annahme: Sie geht davon aus, dass die spezifischen Beispiele, die die Wissenschaftler verwendeten (wie eine bestimmte Satzstruktur), alle Möglichkeiten repräsentieren, wie der Roboter die Aufgabe bewältigen kann.
Die Ein-Motor-Annahme: Sie geht davon aus, dass der Roboter unabhängig davon, wie die Frage gestellt wird, nur einen spezifischen Satz von Zahnrädern (Schaltkreis) verwendet, um die Aufgabe zu lösen.

Die Entdeckung: Der Roboter hat viele Motoren
Die Forscher testeten dies, indem sie dem Roboter dieselbe Aufgabe stellten, jedoch mit leichten Variationen (wie das Ändern der Namen in einer Geschichte oder das Formulieren des Matheproblems in Worten statt in Zahlen).

Sie stellten fest, dass:

Wenn sie den „Motor" des Roboters für eine Geschichte mit Namen wie „John und Mary" kartierten, dieser völlig anders aussah als der Motor, der für eine Geschichte mit Namen wie „Person X und Person Y" verwendet wurde.
Noch schlimmer: Wenn sie zwei völlig unterschiedliche Aufgaben (wie „Objekt finden" und „Mathematik betreiben") in einen großen Datenhaufen mischten, versuchte die alte Methode dennoch, eine einzige Karte darauf zu zwingen. Sie erzeugte einen chaotischen, verwirrenden Schaltkreis, der ein „Frankenstein"-Gemisch aus beiden Aufgaben war, anstatt zu erkennen, dass der Roboter tatsächlich zwischen zwei verschiedenen Motoren wechselte, je nach Eingabe.

Die Lösung: Datengetriebene Schaltkreis-Entdeckung (DCD)
Um dies zu beheben, schlagen die Autoren eine neue Methode namens Datengetriebene Schaltkreis-Entdeckung (Data-Driven Circuit Discovery, DCD) vor.

Stellen Sie es sich so vor:

Alte Methode: Sie bitten eine Gruppe von Menschen, ein Rätsel zu lösen. Sie schauen sich die Lösungen aller an und versuchen, einen Master-Plan zu zeichnen, der erklärt, wie jeder es gelöst hat. Wenn einige einen Hammer und andere einen Schraubenzieher verwendeten, wird Ihr Plan zu einem verwirrenden Durcheinander beider Werkzeuge.
Neue Methode (DCD): Sie schauen sich zunächst die Menschen an und gruppieren sie danach, wie sie das Problem lösen. Sie bringen alle „Hammer-Nutzer" in einen Raum und alle „Schraubenzieher-Nutzer" in einen anderen. Dann zeichnen Sie einen separaten, sauberen Plan für die Hammer-Gruppe und einen anderen, sauberen Plan für die Schraubenzieher-Gruppe.

Wie DCD funktioniert (Die Metapher)

Daten sortieren: Anstatt den Roboter zu zwingen, einen einzigen Pfad zu verwenden, betrachtet DCD jedes einzelne Beispiel, das der Roboter verarbeitet. Es fragt: „Lässt dieses Beispiel die inneren Zahnräder des Roboters ähnlich drehen wie jenes andere Beispiel?"
Gruppen erstellen: Es sortiert die Beispiele basierend darauf, wie der Roboter sie verarbeitet, in „Cluster".
Spezifische Schaltkreise finden: Anschließend findet es eine spezifische, saubere „Motor-Karte" für jede Gruppe.

Die Ergebnisse
Als sie diese neue Methode anwandten:

Stellten sie fest, dass der Roboter tatsächlich mehrere unterschiedliche Mechanismen (Motoren) für das verwendet, was Menschen als nur „eine Aufgabe" betrachten.
Die neuen Karten (Schaltkreise) waren viel genauer (treu) und einfacher (spärlicher) als die alten, chaotischen Karten.
Entscheidend war, dass die interne Organisation des Roboters nichts mit menschlichen Bezeichnungen wie „Mathematik" oder „Geschichte" zu tun hatte. Sie organisierte sich nach der Struktur der Eingabe. DCD respektiert die interne Logik des Roboters, anstatt menschliche Kategorien darauf zu zwingen.

Zusammenfassung
Die Arbeit sagt: „Hören Sie auf, nach einem universellen Motor für eine Aufgabe zu suchen. Der Roboter ist schlauer und flexibler als das. Er hat verschiedene Motoren für verschiedene Situationen. Unsere neue Methode, DCD, lässt uns die Daten sagen, wo die Grenzen liegen, damit wir den richtigen Motor für den richtigen Job finden können, anstatt eine einzelne, verwirrte Motor-Karte über alles zu stülpen."

Technische Zusammenfassung: Datengetriebene Entdeckung von Schaltkreisen zur Interpretierbarkeit von Sprachmodellen

Problemstellung

Mechanistische Interpretierbarkeit (MI) zielt darauf ab, die internen Mechanismen von Large Language Models (LLMs) zu rekonstruieren, indem sie „Schaltkreise" lokalisieren und interpretiert – spärliche Teilgraphen des Berechnungsgraphen des Modells, die für spezifische Verhaltensweisen verantwortlich sind. Das vorherrschende Paradigma bei der Entdeckung von Schaltkreisen ist hypothesengetrieben: Forscher definieren eine Aufgabe, konstruieren einen repräsentativen Datensatz und wenden einen Algorithmus an, um einen einzelnen Schaltkreis zu entdecken, der das Verhalten des Modells bei dieser Aufgabe erklären soll.

Dieser Workflow stützt sich auf zwei implizite Annahmen:

Annahme des einzelnen Schaltkreises: Das Modell implementiert eine gegebene Aufgabe über einen einzigen, kohärenten Berechnungsmechanismus.
Annahme der Datensatzangemessenheit: Der spezifische zur Entdeckung verwendete Datensatz repräsentiert den vollen Umfang der Aufgabe so, wie Menschen sie verstehen, angemessen.

Die Autoren hypothesieren, dass diese Annahmen fehlerhaft sind. Sie gehen davon aus, dass bestehende Methoden keine allgemeinen Aufgabenschaltkreise entdecken, sondern vielmehr datensatzspezifische Schaltkreise, die versehentlich verschiedene Mechanismen in eine einzige Erklärung vermischen können. Darüber hinaus hinterfragen sie, ob ein einzelner Schaltkreis wirklich alle Instanzen einer Aufgabe erklären kann, oder ob das Modell mehrere unterschiedliche Mechanismen für das einsetzt, was Menschen als eine einzige Aufgabe kategorisieren.

Methodik

1. Systematische Evaluation hypothesengetriebener Methoden

Die Autoren testen zunächst rigoros die Gültigkeit des bestehenden Paradigmas über vier etablierte Aufgaben hinweg: Identifikation indirekter Objekte (IOI), Entity Binding (EB), arithmetische Addition und Sequenzvollendung. Sie evaluieren diese Aufgaben an drei Modellen (GPT-2 Small, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct) unter Verwendung standardisierter Entdeckungsmethoden (EAP-IG, EAP, E-ACT).

Ihr experimentelles Design umfasst zwei Hauptuntersuchungen:

Treue über Datensätze hinweg: Sie konstruieren mehrere Datensatzvarianten für jede Aufgabe, die die Aufgabensemantik bewahren, sich jedoch in Oberflächeneigenschaften (Komplexität, Syntax, Domäne) unterscheiden. Sie entdecken einen Schaltkreis auf einer Variante und testen dessen Treue auf anderen.
Entdeckung gemischter Aufgaben: Sie konstruieren Datensätze, die Beispiele aus zwei unterschiedlichen Aufgaben mischen (z. B. Arithmetik und Entity Binding), und beobachten, ob hypothesengetriebene Methoden einen einzigen Schaltkreis zurückgeben, der für beide treu ist, was möglicherweise auf eine Vermischung von Mechanismen hindeutet.

2. Vorgeschlagener Rahmen: Datengetriebene Entdeckung von Schaltkreisen (DCD)

Motiviert durch die Erkenntnisse, dass hypothesengetriebene Methoden nicht generalisieren und Mechanismen vermischen können, schlagen die Autoren Datengetriebene Entdeckung von Schaltkreisen (DCD) vor. Dieser Rahmen entfernt die Annahme eines einzelnen Schaltkreises pro Aufgabe.

DCD-Workflow:

Gruppierung nach Berechnung: Anstatt anzunehmen, dass alle Beispiele in einem Datensatz vom selben Mechanismus verarbeitet werden, analysiert DCD zunächst, wie das Modell jedes einzelne Beispiel verarbeitet. Es berechnet pro-Beispiel-Kantenattributionvektoren (unter Verwendung von Methoden wie EAP-IG), um die Abhängigkeit des Modells von bestimmten Kanten für jede Eingabe zu charakterisieren.
Clustering: Diese hochdimensionalen Attributionvektoren werden in einen niedrigdimensionalen Raum projiziert (via PCA oder SVD) und geclustert (z. B. mittels K-Means). Dies gruppiert Beispiele, die von ähnlichen Berechnungsmechanismen verarbeitet werden.
Unabhängige Entdeckung: Für jedes Cluster wird ein separater Schaltkreis unabhängig entdeckt.

Das Ergebnis ist eine Reihe unterschiedlicher Schaltkreise, die jeweils einen spezifischen Teil der Daten erklären, der auf einem kohärenten Mechanismus beruht, anstatt eines einzigen Schaltkreises, der versucht, den gesamten Datensatz zu erklären.

Wichtige Ergebnisse

1. Versagen allgemeiner Aufgabenschaltkreise

Die Studie stellt fest, dass Schaltkreise, die durch hypothesengetriebene Methoden entdeckt werden, datensatzspezifisch und keine allgemeinen Aufgabenschaltkreise sind:

Geringe Treue über Datensätze hinweg: Schaltkreise, die auf einer Datensatzvariante entdeckt wurden, zeigen oft eine deutlich geringere Treue auf anderen Varianten derselben Aufgabe (z. B. ein 2-Personen-IOI-Schaltkreis, der bei einer 3-Personen-Variante versagt), obwohl die Aufgaben semantisch identisch sind.
Geringe strukturelle Überlappung: Schaltkreise, die auf verschiedenen Varianten derselben Aufgabe entdeckt wurden, weisen eine geringe Kantenüberlappung auf (Jaccard-Ähnlichkeit im Bereich von 0,30 bis 0,66), was darauf hindeutet, dass sie unterschiedliche Berechnungspfade nutzen.
Vermischung von Mechanismen: Wenn Entdeckungsdatensätze Beispiele aus zwei unterschiedlichen Aufgaben enthalten (z. B. Arithmetik und Entity Binding), geben hypothesengetriebene Methoden dennoch einen einzigen Schaltkreis mit hoher Treue für beide Aufgaben zurück. Dies deutet darauf hin, dass die Methode verschiedene Mechanismen in einen Schaltkreis vermengt, anstatt sie zu isolieren.

2. Wirksamkeit von DCD

DCD adressiert diese Einschränkungen erfolgreich:

Entdeckung mehrerer Mechanismen: Auf gemischten Aufgabendatensätzen gewinnt DCD mehrere unterschiedliche Schaltkreise zurück. Jeder Schaltkreis spezialisiert sich auf einen kohärenten Teilbereich von Beispielen (z. B. ein Schaltkreis für Arithmetik, ein anderer für Entity Binding) und erzielt hohe Treue auf seiner spezifischen Gruppe, während er bei anderen versagt.
Höhere Treue und Sparsity: DCD übertrifft hypothesengetriebene Baselines (EAP-IG, EAP, E-ACT) und zufällige Partitionierungs-Baselines (K-RANDOM) konsistent in Bezug auf die Best-of-K-Treue (Auswahl des treuesten Schaltkreises für jede Testinstanz). Dieser Vorteil ist in Regimen mit geringer Sparsity (Schaltkreisgrößen $\le$ 0,05) am ausgeprägtesten.
Kohärentes Clustering: Die durch DCD gebildeten Cluster stimmen mit der internen Organisation des Modells überein und nicht mit menschlich definierten Aufgabengrenzen. Beispielsweise trennt DCD innerhalb einer einzigen Aufgabe wie IOI Beispiele basierend auf Komplexität (2-Personen vs. 3-Personen) oder Domäne (Namen vs. Buchstaben) und entdeckt für jede Gruppe unterschiedliche Schaltkreise.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der aktuelle hypothesengetriebene Ansatz zur Entdeckung von Schaltkreisen grundlegend durch seine Abhängigkeit von menschlich definierten Aufgabengrenzen und die Annahme eines einzelnen Mechanismus pro Aufgabe begrenzt ist.

Neudefinition des Erklärungsumfangs: Die Autoren argumentieren, dass ein „Schaltkreis" nicht als der Mechanismus für eine menschlich definierte Aufgabe definiert werden sollte, sondern vielmehr als der Mechanismus für einen spezifischen Cluster von Beispielen, die vom Modell ähnlich verarbeitet werden.
Paradigmenwechsel hin zu Datengetriebenheit: DCD zeigt, dass die Bestimmung des Umfangs der Schaltkreisentdeckung durch die interne Berechnungsstruktur des Modells treuere und interpretierbarere Erklärungen liefert. Es offenbart, dass das, was Menschen als eine einzige Aufgabe wahrnehmen, oft aus mehreren unterschiedlichen Mechanismen besteht, die bestehende Methoden vermengen.
Einschränkungen und zukünftige Arbeit: Die Autoren vermerken bescheiden, dass DCD Annahmen der zugrunde liegenden Attributionmethoden erbt (z. B. dass Attributionsscores Mechanismen treu widerspiegeln) und von Clustering-Hyperparametern abhängt. Sie identifizieren offene Fragen bezüglich der Zuweisung neuer Beispiele zu Clustern zur Testzeit und der Interpretation von Clustern, die einer für Menschen lesbaren Beschreibung widerstehen, und überlassen diese zukünftiger Arbeit.

Zusammenfassend liefert die Arbeit empirische Belege dafür, dass bestehende Methoden zur Entdeckung von Schaltkreisen datensatzspezifische Artefakte und keine allgemeinen Aufgabenmechanismen wiederherstellen, und schlägt DCD als Rahmenwerk vor, um die wahre, mehrmechanistische Natur der Berechnung von Sprachmodellen aufzudecken.