💬 NLP

Correcting Gradient-Based Circuit Localization via Interaction-Aware Backpropagation

Dieses Paper führt Gradient Interaction Modifications (GIM) ein, eine neuartige Technik, die systematische Fehlinterpretationen bei der Lokalisierung von Schaltkreisen korrigiert, welche durch das Ignorieren von Komponenteninteraktionen wie Attention Self-Repair entstehen, und damit eine State-of-the-Art-Leistung bei der Identifizierung der Modellkomponenten erzielt, die für spezifische Verhaltensweisen in großen Sprachmodellen verantwortlich sind.

Ursprüngliche Autoren: Joakim Edin, Casper L. Christensen, Róbert Csordás, Tuukka Ruotsalo, Zhengxuan Wu, Maria Maistro, Jing Huang, Lars Maaløe

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Joakim Edin, Casper L. Christensen, Róbert Csordás, Tuukka Ruotsalo, Zhengxuan Wu, Maria Maistro, Jing Huang, Lars Maaløe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie eine riesige, geschäftige Küche vor, in der tausende Köche (Neuronen und Attention-Heads) zusammenarbeiten, um ein einziges Gericht (die Antwort des Modells) zuzubereiten. Lange Zeit haben Wissenschaftler, die versuchen zu verstehen, wie diese Modelle funktionieren, eine Methode namens „Circuit Localization“ angewandt. Ihr Ziel ist es, genau herauszufinden, welche Köche für den Geschmack des Gerichts verantwortlich sind.

Der alte Weg: Der „Einer-nach-dem-anderen“-Fehler
Traditionell versuchten Forscher, die wichtigen Köche zu identifizieren, indem sie sie nacheinander entließen. Sie sagten: „Lassen wir Koch A heute mal früher nach Hause gehen und schauen, ob die Suppe anders schmeckt.“ Wenn die Suppe gleich schmeckt, nehmen sie an, dass Koch A nicht wichtig war.

Das Problem ist, dass diese Köche nicht isoliert arbeiten; sie kommunizieren miteinander und springen füreinander ein. Wenn Koch A ein Meister im Zwiebelhacken ist, aber Koch B ebenfalls ein Meister im Zwiebelhacken ist und direkt neben ihm steht, wird das Entlassen von Koch A die Suppe nicht verändern. Koch B greift einfach selbst zum Messer und hackt weiter. Die Forscher, die keine Veränderung feststellen, schließen fälschlicherweise daraus, dass Koch A nutzlos war.

Die neue Entdeckung: „Attention Self-Repair“
Die Autoren dieser Arbeit haben eine spezifische Art und Weise entdeckt, wie dieses „füreinander Einspringen“ in der KI geschieht, die sie als Attention Self-Repair bezeichnen.

Stellen Sie sich den Attention-Mechanismus einer KI wie einen Scheinwerfer-Operator in einem Theater vor. Der Operator (das Modell) entscheidet, auf welche Schauspieler (Wörter) er ein helles Licht werfen soll. Manchmal stehen zwei Schauspieler am selben Ort und sagen exakt das Gleiche. Der Operator teilt das Licht 50/50 zwischen ihnen auf.

Wenn man versucht, das Licht auf Schauspieler A zu dimmen, um zu sehen, ob er wichtig ist, verschiebt der Operator das zusätzliche Licht sofort zu Schauspieler B. Da Schauspieler B dasselbe sagt, bemerkt das Publikum (das Modell) keinen Unterschied. Das „Gradient“ (das Signal, das uns sagt, wer wichtig ist) verschwindet, wodurch es so aussieht, als ob beide nicht wichtig wären. Aber in Wirklichkeit waren beide entscheidend; sie hatten nur einen Plan B.

Die Lösung: GIM (Gradient Interaction Modifications)
Um dies zu beheben, haben die Autoren ein neues Werkzeug namens GIM entwickelt. Anstatt einen Koch oder einen Scheinwerfer nach dem anderen zu dimmen, ändert GIM die Spielregeln, um das Teamwork zu berücksichtigen. Es nutzt drei kluge Tricks:

Der „warme Scheinwerfer“ (Temperatur-angepasste Softmax):
Stellen Sie sich vor, der Scheinwerfer-Operator ist normalerweise sehr streng und gibt 90 % des Lichts dem Top-Schauspieler und 10 % allen anderen. GIM sagt dem Operator, er solle etwas entspannter sein (die „Temperatur“ erhöhen). Nun wird das Licht gleichmäßiger verteilt. Wenn man das Licht eines Schauspielers dimmt, übernimmt der andere nicht sofort die volle Kontrolle, da das Licht bereits breiter geteilt wurde. Dies offenbart, wer tatsächlich das Licht hielt, selbst wenn er Hilfe hatte.
Das „Einfrieren des Lautstärkeregler“ (Layernorm Freeze):
In der Küche gibt es einen Hauptlautstärkeregler, der die allgemeine Lautstärke des Raumes anpasst. Wenn ein Koch aufhört zu arbeiten, dreht der Lautstärkeregler automatisch die anderen lauter, um das konstante Geräuschniveau beizubehalten. Dies verbirgt die Tatsache, dass ein Koch gegangen ist. GIM „friert“ diesen Lautstärkeregler ein, sodass die anderen nicht künstlich lauter werden, wenn ein Koch geht. Dies ermöglicht es den Forschern, den wahren Rückgang der Lautstärke zu sehen, der durch das Gehen des Kochs verursacht wurde.
Die „gemeinsame Werkzeug“-Korrektur (Gradient Norm):
Manchmal benutzen zwei Köche dasselbe Werkzeug (wie ein gemeinsames Messer) zum Hacken. Wenn man misst, wie oft das Messer benutzt wurde, könnte man versehentlich denselben Hackvorgang doppelt zählen – einmal für jeden Koch. GIM korrigiert diesen mathematischen Fehler, indem es die Leistung korrekt aufteilt und sicherstellt, dass niemand für dieselbe Aktion doppelt gezählt wird.

Die Ergebnisse
Als die Autoren GIM bei verschiedenen KI-Modellen und Aufgaben testeten (wie dem Lösen von Matheaufgaben oder dem Beantworten von Fragen), funktionierte es wesentlich besser als die alten Methoden.

Es fand die „echten“ wichtigen Teile des Modells, die die alten Methoden übersehen hatten.
Es bewies, dass die alten Methoden bestimmte Teile der KI systematisch unterschätzten, weil sie das Teamwork des „Self-Repair“ nicht verstanden.

Zusammenfassend
Die Arbeit argumentiert, dass wir komplexe KI-Modelle nicht verstehen können, indem wir ihre Teile isoliert betrachten. Da die Teile einander helfen, zeigt das Entfernen eines Teils nicht immer dessen wahren Wert. GIM ist ein neuer Weg, das Modell zu betrachten, der dieses Teamwork berücksichtigt und uns so eine viel genauere Karte davon liefert, wie diese digitalen Gehirne tatsächlich denken.

Technisches Resümee: Korrektur der gradientenbasierten Schaltkreis-Lokalisierung mittels Interaktions-bewusster Backpropagation

Problemstellung

Die Schaltkreis-Lokalisierung (Circuit Localization) zielt darauf ab, die spezifische Teilmenge von Modellkomponenten (z. B. Attention-Heads, Neuronen, Verbindungen) zu identifizieren, die für bestimmte Verhaltensweisen in Large Language Models (LLMs) verantwortlich sind, um die mechanistische Interpretierbarkeit zu ermöglichen. Die meisten bestehenden Methoden operieren unter der Annahme, dass Komponenten unabhängig agieren, indem sie die Wichtigkeit durch die isolierte Perturbation jeder einzelnen Komponente schätzen.

Jedoch interagieren neuronale Netzwerkkomponenten, und das Ignorieren dieser Interaktionen führt zu einer systematischen Fehlabschätzung der Komponentenvichtigkeit. Die Autoren identifizieren eine spezifische, problematische Interaktion namens Attention Self-Repair (Aufmerksamkeits-Selbstreparatur). Bei diesem Phänomen, wenn mehrere Positionen große Attention-Gewichte aufweisen und ähnliche Informationen (Value-Vektoren) enthalten, hat die Ablation eines einzelnen Attention-Scores minimale Auswirkungen auf den Output. Dies geschieht, weil die Softmax-Aktivierungsfunktion das Gewicht auf die verbleibenden redundanten Positionen umverteilt, um zu kompensieren. Infolgedessen unterschätzen Standard-Perturbations- und Gradienten-basierte Erklärungsverfahren die Bedeutung von Komponenten, die zu diesen Attention-Scores beitragen, was oft zu verschwindenden Gradienten für einflussreiche Scores führt.

Methodik: Gradient Interaction Modifications (GIM)

Das Paper führt Gradient Interaction Modifications (GIM) ein, eine gradientenbasierte Attributionsmethode, die darauf ausgelegt ist, die Auswirkungen der gleichzeitigen Perturbation mehrerer interagierender Komponenten zu schätzen. GIM modifiziert die Standard-Backpropagation durch drei komplementäre Techniken:

Temperatur-angepasste Softmax-Gradienten (TSG):
- Motivation: Adressierung von Attention Self-Repair, bei dem Standard-Gradienten verschwinden, da der Gewinn durch die Erhöhung eines Softmax-Gewichts durch den Verlust bei der Unterdrückung anderer kompensiert wird, wenn die Werte ähnlich sind.
- Mechanismus: Während der Backpropagation berechnet TSG die Softmax-Funktion mit einer erhöhten Temperatur ( $T > 1$ ) neu, bevor die Gradienten berechnet werden. Dies flacht die Wahrscheinlichkeitsverteilung ab, indem es große Gewichte schrumpft und kleine vergrößert. Durch die Vergrößerung des Sets an „signifikanten“ Positionen wird die Annahme, dass die Beiträge über diese Positionen hinweg identisch sind, gelockert. Dies stellt sicher, dass paarweise Differenzen in den Gradienten ( $g_j - g_k$ ) nicht verschwinden, wodurch das Gradientensignal überleben und die Wirkung einer simultanen Perturbation approximieren kann.
Layernorm Freeze:
- Motivation: Die Layernormalisierung führt eine Nullsummen-Dynamik ein, bei der die Ablation einer Komponente die Aktivierungsamplitude reduziert, was wiederum den Normalisierungsfaktor dazu veranlasst, die verbleibenden Komponenten zu verstärken (eine Form der Selbstreparatur).
- Mechanismus: Der Normalisierungsfaktor ( $\sigma$ ) wird während der Backpropagation als Konstante behandelt. Dies misst den direkten Beitrag jeder Komponente, bevor die Normalisierungs-Reskalierung erfolgt, und verhindert die Unterschätzung der Wichtigkeit durch kompensatorische Verstärkung.
Gradient Norm:
- Motivation: Multiplikative Operationen (z. B. $A = QK^T$ , wobei sowohl $Q$ als auch $K$ von $X$ abhängen) führen zu einer Doppelzählung in Standard-First-Order-Gradienten. Die Perturbation von $X$ beeinflusst sowohl $Q$ als auch $K$ gleichzeitig, aber die Standard-Kettenregel summiert deren individuelle Effekte, was die Änderung überschätzt.
- Mechanismus: Die Gradienten multiplikativer Interaktionen werden durch die Anzahl der multiplikativen Inputs geteilt (z. B. Division durch 2 für $Q \times K$ ). Dies steht im Einklang mit der „Uniform Rule“ und korrigiert die Überzählung der Beiträge bei der Attention-Value-Multiplikation, der Query-Key-Multiplikation und der MLP-Gate-Projektions-Multiplikation.

Kernbeiträge

GIM-Framework: Die Einführung einer gradientenbasierten Attributionsmethode, die explizit Feature-Interaktionen berücksichtigt und eine State-of-the-Art-Leistung im Bereich der Circuit-Localization-Track des Mechanistic Interpretability Benchmark (MIB) erzielt.
Identifikation von Attention Self-Repair: Die formale Identifikation und der Beweis, dass Attention Self-Repair (eine OR-Gatter-ähnliche Interaktion) dazu führt, dass Gradienten für einflussreiche Attention-Scores verschwinden, was zu einer systematischen Unterschätzung der Komponentenvichtigkeit führt.
Überlegenheit der Feature-Attribution: Der Nachweis, dass GIM bestehende gradientenbasierte Methoden in der Feature-Attribution über diverse Aufgaben und LLM-Architekturen hinweg übertrifft.

Ergebnisse

Circuit Localization: Auf dem MIB übertrifft GIM bestehende Methoden (einschließlich EAP, EAP-IG, Hybrid-ens und IFR) signifikant über mehrere Modelle (GPT-2, Qwen-2.5, Gemma-2, Llama-3.1) und Aufgaben (Indirect Object Identification, Arithmetik, MCQA, ARC). Es erreicht die höchste durchschnittliche Circuit Performance Ratio (CPR), insbesondere bei Aufgaben, die mehrstufiges Denken erfordern.
Feature Attribution: Über sieben instruktionsgesteuerte LLMs und sechs Datensätze hinweg (die QA, Faktenverifizierung, Sentiment und Hate Speech Detection abdecken) erzielt GIM im Allgemeinen höhere Comprehensiveness- und Sufficiency-Scores im Vergleich zu GradientXInput, Integrated Gradients, DeepLIFT und TransformerLRP.
Validierung von Self-Repair: Die empirische Analyse bestätigt, dass Attention Self-Repair in realen LLMs weit verbreitet ist und durchschnittlich 65–1200 Mal pro Input auftritt. Die gleichzeitige Ablation zweier großer Attention-Scores ergibt einen signifikant größeren Effekt als die Summe ihrer individuellen Ablationen, was die theoretische Analyse validiert.
Ablationsstudie: Das Entfernen einer einzelnen Modifikation (TSG, Layernorm Freeze oder Gradient Norm) aus GIM verschlechtert die Leistung über die meisten Modell-Datensatz-Paare hinweg, was bestätigt, dass jede Komponente maßgeblich zur Treue (Faithfulness) der Methode beiträgt.

Bedeutung

Das Paper behauptet, dass GIM eine treffendere mechanistische Analyse von LLMs ermöglicht, indem es die systematische Unterschätzung der Komponentenvichtigkeit korrigiert, die durch Feature-Interaktionen verursacht wird. Durch die explizite Modellierung der Art und Weise, wie Komponenten interagieren – insbesondere durch Softmax-Redistribution und Normalisierungs-Reskalierung – liefert GIM ein genaueres Bild der internen Mechanismen, die das Modellverhalten steuern. Die Autoren positionieren GIM nicht nur als inkrementelle Verbesserung, sondern als notwendige Korrektur der „Unabhängigkeitsannahme“, die in aktuellen Interpretierbarkeits-Tools vorherrscht, wodurch Forscher in der Lage sind, Schaltkreise zu identifizieren, die zuvor durch verschwindende Gradienten verborgen blieben. Die Methode wird als Open-Source-Python-Paket veröffentlicht, um eine breitere Anwendung zu fördern.