🤖 AI

Finding Interpretable Prompt-Specific Circuits in Language Models

Dieser Beitrag stellt ACC++ vor, eine verbesserte Methode zur Verfolgung von Schaltkreisen, die interpretierbare, prompt-spezifische Aufmerksamkeits-Schaltkreise aus einem einzigen Vorwärtspass extrahiert und aufzeigt, wie Sprachmodelle unterschiedliche, sprachabhängige Signale nutzen, um Aufgaben wie die Identifizierung indirekter Objekte in verschiedenen sprachlichen Kontexten zu lösen.

Ursprüngliche Autoren: Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, geschäftige Stadt vor, in der Millionen winziger Arbeiter (Neuronen) sich Notizen austauschen, um eine Frage zu beantworten. Lange Zeit konnten wir nur sehen, was die Stadt produzierte (die Antwort), aber wir hatten keine Ahnung, wie die Arbeiter beschlossen, diese Notizen zu senden. Es war wie ein Zaubershow zu beobachten, ohne die Tricks zu kennen.

Dieser Artikel stellt ein neues Werkzeug namens ACC++ vor, das wie eine hochtechnologische „Röntgenvision" für diese Modelle wirkt. Es ratet nicht einfach; es verfolgt den exakten Weg der Informationen, während sie durch das Modell fließen, um ein spezifisches Problem zu lösen.

Hier ist eine einfache Zusammenfassung dessen, was der Artikel tut und findet:

1. Das Problem: Die „Blackbox"-Stadt

Wenn ein Modell eine Eingabeaufforderung beantwortet (wie „Als Mary und John zum Laden gingen, gab John die Flasche an..."), muss es herausfinden, dass die Antwort „Mary" lautet.

Der alte Weg: Forscher versuchten herauszufinden, welche Arbeiter beteiligt waren, indem sie sie einzeln ein- und ausschalteten (wie das Ziehen von Sicherungen in einem Haus, um zu sehen, welches Licht ausgeht). Dies war langsam, unordentlich und ergab oft ein verschwommenes Bild mit zu vielen „falschen Alarmen".
Das neue Werkzeug (ACC++): Anstatt Sicherungen zu ziehen, lauscht ACC++ den „Flüstern" zwischen den Arbeitern. Es identifiziert die spezifischen, leisen Kanäle (genannt Signale), die die entscheidenden Informationen tragen, die für eine Entscheidung benötigt werden.

2. Wie ACC++ funktioniert: Der „Signal-Detektiv"

Stellen Sie sich den Aufmerksamkeitsmechanismus des Modells (wo es entscheidet, worauf es sich konzentriert) als einen Radiosender vor.

Die alte Methode: Sie versuchte, den gesamten Radioturm zu finden, der sendete.
ACC++: Es zoomt heran, um die exakte Frequenz (ein spezifisches Signal) und das exakte Mikrofon (den Arbeiter) zu finden, das auf dieser Frequenz spricht.
Die Magie: Dies geschieht in einem einzigen Durchlauf, sofort. Es entfernt das Rauschen und hinterlässt Ihnen eine saubere, einfache Karte, die genau zeigt, welche Arbeiter mit wem gesprochen haben und was sie sagten.

3. Die große Entdeckung: Der „Eingabeaufforderungsspezifische" Bauplan

Die aufregendste Erkenntnis ist, dass das Modell nicht denselben Bauplan für jede Frage verwendet. Es ändert seine Strategie basierend darauf, wie Sie die Frage stellen.

Die „Namensspiel"-Analogie (Die IOI-Aufgabe):
Die Forscher testeten das Modell mit einem Spiel: „Als [Name A] und [Name B] zum Laden gingen, gab [Name B] ein Geschenk an [Name A]." Das Modell muss Name A auswählen.

Szenario A: „Als Mary und John gingen..." (Mary ist zuerst).
Szenario B: „Als John und Mary gingen..." (John ist zuerst).

Der Artikel fand heraus, dass das Modell für diese beiden Szenarien völlig unterschiedliche interne Schaltkreise verwendet, obwohl die Aufgabe dieselbe ist.

In einem Fall verwendet das Modell einen „Zweites-Element"-Detektor.
Im anderen verwendet es einen „Struktur-Muster"-Detektor.
Das Fazit: Das Modell ist flexibel. Es verfügt über eine Werkzeugkiste mit verschiedenen Strategien und wählt die richtige basierend auf der genauen Formulierung Ihrer Eingabeaufforderung.

4. Das mehrsprachige Rätsel: Dieselben Arbeiter, verschiedene Sprachen

Die Forscher testeten das Modell auch mit verschiedenen Sprachen (Englisch, Spanisch, Französisch, Portugiesisch).

Die Erkenntnis: Das Modell verwendet dieselbe Gruppe von Arbeitern (dieselben internen Komponenten), um das Problem in allen Sprachen zu lösen.
Die Wendung: Allerdings sind die Nachrichten (Signale), die diese Arbeiter einander übermitteln, sprachspezifisch.
Die Analogie: Stellen Sie sich ein Bauunternehmen vor, das ein Haus baut. Sie verwenden dieselbe Crew (Arbeiter), egal ob sie in New York oder Paris bauen. Aber in New York sprechen sie Englisch und geben Baupläne auf Englisch weiter; in Paris sprechen sie Französisch und geben Baupläne auf Französisch weiter. Die Struktur der Arbeit ist dieselbe, aber die Sprache der Kommunikation ändert sich.
Bonus-Entdeckung: Der Artikel fand heraus, dass die „Distanz" zwischen den Schaltkreisen für verschiedene Sprachen der Ähnlichkeit der Sprachen untereinander entspricht. Spanische und portugiesische Schaltkreise sehen einander ähnlicher als englische und französische Schaltkreise, genau wie die Sprachen selbst.

5. Warum dies wichtig ist (laut dem Artikel)

Klarheit: Es verwandelt ein unordentliches, verwirrendes Netz von Verbindungen in eine saubere, lesbare Karte.
Interpretierbarkeit: Das Werkzeug kann diese internen „Flüstern" sogar in klares Englisch übersetzen. Zum Beispiel kann es Ihnen sagen: „Dieser Arbeiter sucht nach dem zweiten Element in einer Liste" oder „Dieser Arbeiter erkennt einen Eigennamen".
Effizienz: Es findet diese Antworten viel schneller und mit weniger „Rauschen" als frühere Methoden.

Zusammenfassung

Dieser Artikel gibt uns ein neues Paar Brillen, das es uns ermöglicht, genau zu sehen, wie eine KI Wort für Wort denkt. Es offenbart, dass die KI nicht nur eine statische Maschine ist; sie ist ein dynamischer Problemlöser, der sein internes Team neu anordnet und seinen Kommunikationsstil ändert, je nachdem, wie Sie ihm eine Frage stellen und welche Sprache Sie verwenden. Es beweist, dass wir die „Mechanik" dieser Modelle verstehen können, ohne sie auseinanderzubauen.

Technische Zusammenfassung: Auffindbare prompt-spezifische Schaltkreise in Sprachmodellen interpretierbar machen

Problemstellung

Das Verständnis der internen Rechenmechanismen von Large Language Models (LLMs) bleibt eine zentrale Herausforderung in der mechanistischen Interpretierbarkeit. Während frühere Arbeiten nachgewiesen haben, dass Modelle über „Schaltkreise" funktionieren – kausale Pfade von Komponenten, die Informationen in den residualen Strom schreiben und daraus lesen – stoßen bestehende Methoden zur Verfolgung dieser Schaltkreise auf erhebliche Einschränkungen. Traditionelle Ansätze verlassen sich häufig auf Aktivierungs-Patching, kontrafaktische Eingaben oder Ersatzmodelle, was rechenintensiv ist, mehrere Vorwärtsdurchläufe erfordert und Rauschen oder Artefakte einführen kann. Darüber hinaus produzieren frühere Methoden zur Schaltkreisverfolgung oft große, verrauschte Graphen, die die spezifischen niedrigdimensionalen Signale verschleiern, die zur Kommunikation verwendet werden, was es schwierig macht, menschlich verständliche Erklärungen für das Modellverhalten auf Prompt-Ebene abzuleiten.

Methodik: ACC++

Die Arbeit stellt ACC++ (Attention-Causal Communication++) vor, eine verbesserte Methode zur Schaltkreisverfolgung, die auf dem Prinzip der aufmerksamkeitskausalen Kommunikation (ACC) aufbaut. ACC++ ist darauf ausgelegt, die spezifischen Signale (Inhalte niedrigdimensionaler Unterräume) zu identifizieren, die dazu führen, dass ein Aufmerksamkeitskopf auf ein bestimmtes Token-Paar achtet.

Kernmechanismus

ACC++ arbeitet in einem einzigen Vorwärtsdurchlauf ohne Ersatzmodelle, Patching oder kontrafaktische Eingaben. Die Methode durchläuft für einen gegebenen Aufmerksamkeitskopf $(\ell, a)$ , der auf ein Ziel-Quellen-Token-Paar $(d, s)$ achtet, vier Schritte:

Zerlegung: Der Ziel-residuale Strom $x_d$ wird in eine Summe von Ausgaben upstreamer Komponenten (Embeddings, vorherige Aufmerksamkeitsköpfe, MLPs) zerlegt.
Konstruktion von Kandidatensignalen: Mithilfe der Singulärwertzerlegung (SVD) der Query-Key-Matrix (QK) des Kopfes $\Omega = W_Q W_K^\top$ $Ω = W_{Q} W_{K}^{⊤}$ projiziert die Methode die Ausgaben upstreamer Komponenten auf die Richtungen der Singulärvektoren. Dies erzeugt eine Menge von Kandidatensignalen, wobei jedes Signal einer spezifischen upstreamen Komponente entspricht, die in eine spezifische Singulärrichtung schreibt (ein Rang-1-Kandidat).
- Technischer Fortschritt: Um Modellheterogenität (z. B. Bias-Terme und Rotary Positional Embeddings/RoPE) zu handhaben, fasst ACC++ die Aufmerksamkeitsberechnung in eine einzige bilineare Form $\tilde{x}_d^\top \Omega \tilde{x}_s$ zusammen, indem Bias und RoPE-Rotationen in die Token-Repräsentationen integriert werden. Dies ermöglicht eine einzelne SVD-Analyse pro Kopf unabhängig von der Architektur.
Zuordnung und Bewertung: Der Beitrag jedes Kandidatensignals zum Aufmerksamkeitsgewicht nach Softmax $A_{ds}$ wird mittels Integrierter Gradienten (IG) bewertet. Im Gegensatz zu früheren Arbeiten, die lineare Surrogate für Scores vor Softmax verwendeten, bewertet ACC++ explizit den nichtlinearen Einfluss der Signalentfernung auf die gesamte Softmax-Verteilung.
Gierige kontrafaktische Suche: Ausgehend von der vollen Menge der Kandidaten entfernt der Algorithmus gierig die am höchsten bewerteten Signale, bis das Aufmerksamkeitsgewicht $A_{ds}$ unter einen Schwellenwert $\tau$ fällt. Die entfernte Menge bildet den kausalen Schaltkreis für diese spezifische Aufmerksamkeitsentscheidung.

Schaltkreis-Konstruktion

Ein vollständiger Schaltkreis für einen Prompt wird durch rekursive Anwendung von ACC++ konstruiert: Ausgehend von Komponenten mit direkter Wirkung auf das Ziel-Logit verfolgt die Methode upstreame Aufmerksamkeitsaktivierungen, identifiziert die kausalen Signale für jede davon, bis keine weiteren upstreamen Komponenten mehr vorhanden sind.

Hauptbeiträge

1. Konzeptuelle und technische Fortschritte

Präzise Signalidentifikation: ACC++ identifiziert Signale als Kreuzprodukt aus upstreamen Komponenten und Singulärvektor-Richtungen, anstatt Komponenten und Kanäle unabhängig voneinander zu identifizieren. Dies liefert niedrigdimensionalere, präzisere Signale.
Berücksichtigung nichtlinearer Aufmerksamkeit: Durch die Definition des kontrafaktischen Ziels direkt auf dem Aufmerksamkeitsgewicht nach Softmax (anstatt eines linearen Surrogats) vermeidet ACC++ spuriosen Komponenten und identifiziert kleinere, genauere Schaltkreise.
Vereinheitlichte QK-Analyse: Die Methode behandelt Bias und RoPE durch Transformation der Token, was eine konsistente SVD-basierte Analyse über verschiedene Modellarchitekturen hinweg ermöglicht (z. B. GPT-2, Pythia, Gemma).

2. Automatische Interpretierbarkeit

Die Autoren zeigen, dass ein erheblicher Anteil der ACC++-Signale interpretierbar ist. Sie setzen eine automatisierte Pipeline ein (angepasst an [18]), die:

Hochaktive Kontexte für jedes Signal aus einem Datensatz (The Pile) abruft.
Ein LLM verwendet, um eine kurze Beschreibung des Signals in natürlicher Sprache zu generieren.
Die Beschreibung mittels eines LLM-als-Richter-Protokolls validiert, um Signal von Rauschen zu unterscheiden.
Die Ergebnisse zeigen, dass viele Signale kurze, kohärente Beschreibungen in natürlicher Sprache zulassen (z. B. „zweites Element in einem parallelen Paar", „Eigennamen", „strukturelle Trennzeichen").

3. Prompt-spezifische Schaltkreis-Analyse

ACC++ ermöglicht die Analyse von Schaltkreisen auf Prompt-Ebene und zeigt, dass sich das Modellverhalten nicht statisch verhält, sondern je nach Prompt-Struktur und Sprache erheblich variiert.

Ergebnisse und Erkenntnisse

1. Kompaktheit und Qualität der Schaltkreise

Über drei Modelle hinweg (GPT-2 Small, Pythia-160M, Gemma-2 2B) und drei Aufgaben (Identifikation des indirekten Objekts, Größer-als, Geschlechtspronomen) sind ACC++-Schaltkreise 2- bis 10-mal kleiner als diejenigen, die von der ursprünglichen ACC-Methode produziert werden.

Dimensionalität: Die Mehrheit der ACC++-Signale ist Rang-1 (unter Verwendung einer einzigen Singulärrichtung), im Vergleich zu höherdimensionalen Signalen in früheren Arbeiten.
Kausale Validität: Ablationsstudien bestätigen, dass das Entfernen von ACC++-Signalen die Modellleistung bei der Zielaufgabe signifikant beeinträchtigt, während der residuale Strom minimal gestört wird (Kosinusähnlichkeit $\approx 0,99$ ), was ihre kausale Rolle bestätigt.

2. Sensitivität gegenüber Prompt-Struktur (IOI-Aufgabe)

Bei der Identifikation des indirekten Objekts (IOI) stellt die Arbeit fest, dass Schaltkreise hochsensitiv gegenüber Prompt-Vorlagen sind:

GPT-2: Schaltkreise gruppieren sich strikt nach der übergeordneten Vorlagenstruktur (ABBA- vs. BABA-Reihenfolge der Namen). Derselbe „Name-Mover"-Kopf (9,9) verwendet grundlegend unterschiedliche eingehende Signale je nach Vorlage (z. B. „zweites Element in einem Paar" vs. generische strukturelle Hinweise).
Pythia: Schaltkreise gruppieren sich nach niedrigeren Wortlautänderungen (z. B. „Während" vs. „Dann"), was eine Sensitivität gegenüber oberflächlichen Formulierungen und nicht nur der strukturellen Reihenfolge anzeigt.
Gemma-2: Zeigt eine komplexere, weniger vorlagenabhängige Gruppierung, was auf eine Abhängigkeit von feineren Prompt-Details hindeutet.

3. Multilinguale Mechanismen (mIOI-Aufgabe)

In einem mehrsprachigen IOI-Setting (Englisch, Spanisch, Französisch, Portugiesisch):

Komponenten-Wiederverwendung: Modelle verwenden dieselben Aufmerksamkeitsköpfe und MLPs über Sprachen hinweg.
Sprachspezifische Signale: Während Komponenten geteilt werden, sind die durch sie fließenden Signale oft sprachspezifisch.
Linguistische Korrelation: Der Abstand zwischen Schaltkreisen verschiedener Sprachen korreliert stark mit dem typologischen Abstand zwischen diesen Sprachen (syntaktische und genetische Distanzen). Beispielsweise sind spanische und portugiesische Schaltkreise einander ähnlicher als den englischen oder französischen Schaltkreisen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ACC++ ein praktisches, skalierbares Werkzeug für die mechanistische Interpretierbarkeit bietet, das keine teuren kontrafaktischen Interventionen erfordert. Ihre primäre Bedeutung liegt in:

Skalierbarkeit: Durch die Anforderung eines einzigen Vorwärtsdurchlaufs wird die Analyse von Schaltkreisen auf Prompt-Ebene im großen Maßstab machbar.
Interpretierbarkeit: Sie bietet eine direkte Verbindung zwischen niedrigdimensionalen Kommunikationskanälen und für Menschen lesbaren Beschreibungen in natürlicher Sprache und überbrückt so die Lücke zwischen mathematischen Mechanismen und semantischem Verständnis.
Differenziertes Verständnis: Sie zeigt auf, dass Modell-„Schaltkreise" nicht monolithisch sind, sondern dynamische Ansammlungen von Komponenten und Signalen, die sich an Prompt-Struktur und Sprache anpassen. Dies hinterfragt die Vorstellung eines einzigen universellen Schaltkreises für eine Aufgabe und zeigt stattdessen ein Spektrum prompt-spezifischer Mechanismen.

Die Autoren weisen auf Einschränkungen hin, darunter den heuristischen Charakter des Schwellenwerts $\tau$ , das Fehlen einer Verfolgung von durch FFN induzierten Signalen und die Tatsache, dass automatisierte Interpretationen eher suggestiv als abschließend sind. Sie betonen, dass die mehrsprachigen Erkenntnisse auf einer kleinen Anzahl von Sprachpaaren basieren und eher als Hinweis auf einen breiteren Trend denn als endgültiger Beweis zu betrachten sind.