🤖 AI

Multi-Granular Node Pruning for Causal Circuit Discovery

Dieses Paper schlägt ein skalierbares, multigranulares Node-Pruning-Framework vor, das lernbare Masken und Sparsity-Penalties verwendet, um effizient kleinere, präzisere kausale Schaltkreise in großen Sprachmodellen zu entdecken, indem es relevante einzelne Neuronen identifiziert und gleichzeitig den Speicherbedarf im Vergleich zu bestehenden Edge-Pruning-Methoden signifikant reduziert.

Ursprüngliche Autoren: Muhammad Umair Haider, Hammad Rizwan, Hassan Sajjad, A. B. Siddique

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Muhammad Umair Haider, Hammad Rizwan, Hassan Sajjad, A. B. Siddique

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (wie jene, die Geschichten schreiben oder Fragen beantworten) als eine riesige, geschäftige Stadt vor. Diese Stadt hat Millionen von Gebäuden (Neuronen), Straßen (Verbindungen) und Stadtvierteln (Schichten). Wenn das Modell eine spezifische Aufgabe ausführt – wie zum Beispiel herauszufinden, wem „Kristi“ in einer Geschichte eine Mango gegeben hat – nutzt es nicht die ganze Stadt. Es nutzt nur ein winziges, spezifisches Viertel.

Das Finden dieses spezifischen Viertels wird als Circuit Discovery bezeichnet. Das Ziel ist es, genau zu kartieren, welche Teile der Stadt die Arbeit verrichten und welche Teile einfach nur untätig herumstehen.

Das Problem mit alten Karten

Früher versuchten Forscher, diese Viertel zu finden, indem sie die Straßen (Verbindungen) zwischen den Gebäuden untersuchten. Sie versuchten, Straßen zu sperren, um zu sehen, ob die Stadt weiterhin funktionierte.

Der Fehler: Dies ist so, als würde man versuchen, ein bestimmtes Haus in einer Stadt zu finden, indem man jede einzelne Straße sperrt. Es dauert ewig, erfordert eine enorme Menge an Speicher (als müsste man eine Karte von jeder einzelnen Straße der Welt besitzen) und ist zu grob. Wenn man eine Straße sperrt, könnte man versehentlich einen ganzen Häuserblock abschneiden, selbst wenn nur ein einziges Haus auf diesem Block benötigt wurde.
Das Ergebnis: Die alten Karten waren „grob“. Sie konnten zwar sagen, dass ein ganzes Distrikt (wie ein „Attention Head“) wichtig war, aber sie konnten nicht sagen, dass nur ein spezifisches Zimmer innerhalb eines Hauses in diesem Distrikt tatsächlich die Arbeit erledigte.

Die neue Lösung: Multi-Granular Node Pruning

Die Autoren dieser Arbeit schlagen einen intelligenteren Weg vor, die Stadt zu kartieren. Anstatt sich auf die Straßen zu konzentieren, schauen sie direkt auf die Gebäude (Knoten) selbst, und zwar auf verschiedenen Detailstufen gleichzeitig.

Denken Sie an dies wie an ein Set russischer Matroschka-Puppen oder ein Zoomobjektiv:

Das große Ganze: Sie können ganze Distrikte (Transformer Blocks) ausschalten.
Das Nachbarschaftsniveau: Sie können spezifische Straßen innerhalb eines Distrikts ausschalten (Attention Heads).
Das Haus: Sie können spezifische Zimmer innerhalb eines Hauses ausschalten (einzelne Neuronen).

Sie verwenden eine spezielle „lernbare Maske“ (einen digitalen Schalter) für jedes einzelne Gebäude, vom größten Distrikt bis hin zum kleinsten Zimmer. Sie führen eine Simulation durch, bei der sie eine „saubere“ Version der Stadt mit einer „korrumpierten“ Version (in der die Geschichte keinen Sinn ergibt) mischen. Indem sie beobachten, welche Gebäude eingeschaltet bleiben müssen, um die Geschichte korrekt zu halten, finden sie heraus, was genau essenziell ist.

Was sie herausgefunden haben (Die Ergebnisse)

Als sie dies an verschiedenen „Städten“ (Modellen wie GPT-2 und Llama) testeten, fanden sie einige überraschende Dinge:

Enorme Einsparungen: Ihre Methode fand Schaltkreise, die viel kleiner waren als die aller anderen Methoden. Im schlimmsten Fall entfernten sie 33 % mehr Gebäudeblöcke und 60 % mehr einzelne Zimmer als bisherige Methoden.
Speichereffizienz: Da sie nicht die Karte jeder einzelnen Straße (Zwischenaktivierungen) speichern müssen, verbraucht ihre Methode 3- bis 11-mal weniger Computerarbeitsspeicher. Es ist, als bräuchte man ein kleines Notizbuch anstatt einer ganzen Bibliothek, um die Karte zu zeichnen.
Aufgabenspezifische Blaupausen: Sie entdeckten, dass verschiedene Aufgaben unterschiedliche Stadtlayouts nutzen:
- Indirect Object Identification (Wer hat wem was gegeben): Diese Aufgabe stützt sich stark auf die „MLP“-Gebäude (die nicht-linearen Verarbeitungsräume) im gesamten Stadtgebiet, während die „Attention“-Straßen meist leer sind.
- Gendered Pronouns (He vs. She): Diese Aufgabe nutzt ein sehr spärliches, verstreutes Netzwerk. Der Großteil der Stadt ist ausgeschaltet; nur wenige spezifische Schichten und Zimmer sind aktiv.
- Greater Than (Mathematik/Zahlen): Dies ist der extremste Fall. Er nutzt einen „Skip“-Mechanismus, bei dem die Stadt riesige Teile der mittleren Schichten ignoriert und direkt zum Ende springt, um die Berechnung durchzuführen.

Das Fazit

Die Arbeit behauptet, dass wir, indem wir das Modell auf der Ebene einzelner „Zimmer“ (Neuronen) anstatt nur auf der Ebene ganzer „Distrikte“ (Blöcke) betrachten, eine massive Menge an unnötiger Maschinerie abstreifen können.

Sie haben bewiesen, dass viele Teile dieser KI-Modelle, von denen wir dachten, sie seien notwendig, eigentlich nur totes Gewicht sind. Durch das Beschneiden auf die feinste Granularität fanden sie den wahren, minimalen „Schaltkreis“, der das Verhalten steuert – und das schneller und mit viel weniger Rechenleistung als zuvor. Sie zeigten auch, dass dies selbst bei sehr großen Modellen (wie Llama 3.1-8B) auf einer einzigen Grafikkarte funktioniert, was zuvor für andere Methoden zu schwierig war.

Technisches Resümee: Multi-Granulare Knoten-Pruning für die kausale Schaltkreis-Entdeckung

1. Problemstellung

Die kausale Schaltkreis-Entdeckung (Causal Circuit Discovery) zielt darauf ab, minimale Subnetzwerke innerhalb von Large Language Models (LLMs) zu identifizieren, die spezifische Verhaltensweisen kausal steuern. Während bestehende Methoden die mechanistische Interpretierbarkeit vorangebracht haben, stehen sie vor zwei primären Einschränkungen:

Rechenskalierbarkeit: Aktuelle Ansätze stützen sich überwiegend auf Edge-Pruning (das Entfernen von Verbindungen zwischen Komponenten). Da die Anzahl der Kanten in einem Transformer quadratisch mit der Anzahl der Knoten wächst ( $O(|N|^2)$ ), wird das Pruning auf Kanten-Ebene mit zunehmender Modellgröße rechnerisch untragbar. Darüber hinaus erfordern diese Methoden oft das Speichern von entkoppelten Residual-Stream-Repräsentationen und intermediären Aktivierungen, was zu einem prohibitiven Speicherverbrauch führt.
Granularitätsbeschränkungen: Bestehende Methoden operieren typischerweise auf einer groben Granularität, indem sie ganze Attention-Heads oder MLP-Blöcke als atomare Einheiten behandeln. Dies übersieht die Möglichkeit, dass spezifische Neuronen (Knoten) innerhalb dieser Komponenten für Zielverhaltensweisen verantwortlich sind, was dazu führt, dass die extrahierten Schaltkreise feingranulare Strukturen übersehen und unnötige Komponenten beibehalten.

2. Methodik

Die Autoren schlagen ein multi-granulares Knoten-Pruning-Framework vor, das minimale Schaltkreise über mehrere Granularitätsebenen hinweg in einem einzigen vereinheitlichten Optimierungsschritt entdeckt.

2.1 Hierarchisches Granularitätsdesign

Anstatt Kanten zwischen groben Komponenten zu prunen, lernt das Framework Masken über Knoten auf vier verschiedenen Ebenen:

Block-Ebene: Ganze Attention-Blöcke und MLP-Blöcke.
Head-Ebene: Individuelle Attention-Heads.
Neuron-Ebene: Individuelle Neuronen innerhalb der Attention-Layer und der zwei linearen Layer der MLP-Blöcke (MLP1/Keys und MLP2/Values).

2.2 Zwei-Stream-Kausales-Pruning-Setup

Um die kausale Wichtigkeit zu identifizieren, ohne Distribution Shifts einzuführen (ein Risiko bei einfachem Zero-Ablation), verwendet die Methode einen Zwei-Stream-Forward-Pass:

Clean Stream: Das Modell verarbeitet einen Input, der ein spezifisches Verhalten hervorruft (z. B. Vorhersage eines Jahres > 50).
Corrupted Stream: Das Modell verarbeitet eine minimal perturbierte Version des Inputs (z. B. Invertierung von Gender-Pronomen oder Änderung des Startjahres), um eine andere Vorhersage zu provozieren.
Interpolation: Für jeden Knoten $n_i$ interpoliert eine lernbare Maske $m_i \in [0, 1]$ zwischen der sauberen Aktivierung ( $h^{clean}$ ) und der korrumpierten Aktivierung ( $h^{corrupted}$ ):
$h^{node}_i = m_i \cdot h^{clean}_i + (1 - m_i) \cdot h^{corrupted}_i$
Die Optimierung sucht nach Masken, die es dem Modell ermöglichen, das korrekte Output-Verhalten (passend zum Clean-Stream) zu erzeugen, während gleichzeitig die Sparsity maximiert wird.

2.3 Optimierung und Masken-Parametrisierung

Hard Concrete Distribution: Masken werden mittels der Hard Concrete Distribution parametrisiert, um eine gradientenbasierte Optimierung zu ermöglichen und gleichzeitig ein annähernd binäres Verhalten (0 oder 1) zu induzieren.
Vereinheitlichte Zielfunktion: Die Trainingszielsetzung kombt drei Komponenten:
1. Faithfulness Loss ( $L_{faith}$ ): Eine KL-Divergenz, die sicherstellt, dass die Verteilung des geprunten Schaltkreises der des Basismodells entspricht.
2. Task Loss ( $L_{task}$ ): Ein Margin-basiertes Ranking-Loss, das sicherstellt, dass der Schaltkreis korrekt zwischen Ground-Truth- und Distraktor-Optionen unterscheidet.
3. Sparsity Regularizer ( $L_0$ ): Fördert, dass die Masken gegen Null gehen, um die Größe des Schaltkreises zu minimieren.
Hierarchische Konsistenz: Nach dem Training werden die Masken binarisiert, wobei eine Constraint sicherstellt, dass wenn ein Eltern-Knoten (z. B. ein MLP-Block) geprunt wird, auch alle seine Kind-Knoten (z. B. Neuronen innerhalb dieses Blocks) deaktiviert werden.

3. Kernbeiträge

Multi-Granulares Framework: Die Einführung eines vereinheitlichten Optimierungsframeworks, das Masken gleichzeitig über Transformer-Blöcke, Attention-Heads, MLP-Blöcke und einzelne Neuronen lernt.
Skalierbarkeit und Effizienz: Die Methode vermeidet die quadratische Skalierung von Edge-Pruning und die Notwendigkeit, intermediäre Aktivierungen für alle Kanten zu speichern. Sie reduziert den GPU-Speicherverbrauch im Vergleich zu vorherigen Methoden um den Faktor 3× bis 11× und ermöglicht so die Schaltkreis-Entdeckung auf Llama 3.1-8B mit einer einzelnen 40GB GPU.
Feingranulare Entdeckung: Der Ansatz identifiziert signifikant kompaktere Schaltkreise als Baselines, insbesondere durch das Erreichen hoher Sparsity auf der MLP-Block- und Neuron-Ebene, was vorherige Methoden weitgehend nicht leisten konnten.

4. Experimentelle Ergebnisse

Die Methode wurde auf drei Standard-Schaltkreis-Entdeckungsaufgaben (Indirect Object Identification, Gendered Pronouns und Greater Than) unter Verwendung von GPT-2, GPT-2-XL und Llama-Modellen evaluiert.

4.1 Sparsity und Kompaktheit

MLP- und Neuron-Pruning: Die vorgeschlagene Methode übertrifft Edge-Pruning-Baselines (EAP, EP) sowie unstrukturiertes Weight-Pruning (DiscoGP) signifikant. Im ungünstigsten Szenario prunte sie 33,34 % mehr MLP-Blöcke und 59,8 % mehr Neuronen als bisherige Methoden.
Aufgabenabhängige Strukturen: Die entdeckten Schaltkreise zeigen je nach Aufgabe unterschiedliche Topologien:
- IOI: Dominiert von verteilter MLP-Berechnung; die Attention wird weitgehend geprunt, außer in den finalen Layern.
- Gendered Pronouns (GP): Hochgradig lokalisiert und diskontinuierlich; die MLP-Berechnung ist auf wenige Layer beschränkt, während die Attention sparse ist.
- Greater Than (GT): Zeigt extreme Sparsity mit zusammenhängenden Blöcken inaktiver Layer und "Skip-ähnlichen" Ausführungsmustern.

4.2 Treue und Konsistenz

Performance: Die geprunten Schaltkreise bewahren eine hohe Aufgaben-Genauigkeit (oft >95 %) und eine niedrige KL-Divergenz im Vergleich zum vollen Modell.
Konsistenz: Experimente über fünf Random Seeds zeigen, dass die entdeckten Schaltkreise (Fidelity-Metriken und Sparsity-Profile) hochgradig stabil sind.
Qualitative Analyse: In Llama 3.2-1B wurden die überlebenden Attention-Heads in der IOI-Aufgabe als Ausführende spezifischer funktionaler Rollen (IO-Movers, S-Inhibitors) identifiziert, was die Fähigkeit der Methode spiegelt, mechanistische Erkenntnisse aus GPT-2 zu reproduzieren.

4.3 Recheneffizienz

Speicher: Die Methode benötigt mindestens 3× weniger Speicher als Edge-Pruning-Baselines (z. B. 6,27 GB vs. 72,79 GB für EAP auf GPT-2).
Zeit: Das Training wird in unter 6 Minuten abgeschlossen, was signifikant schneller ist als Edge-Pruning-Methoden (ca. 50 Minuten), wenngiel es etwas langsamer ist als die Single-Pass EAP-Methode (die Zeit zugunsten massiver Speicherersparnis opfert).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass seine primäre Bedeutung darin liegt, die Skalierbarkeits- und Granularitätsengpässe aktueller Schaltkreis-Entdeckung zu überwinden. Durch den Wechsel von Edge-Pruning zu multi-granularem Knoten-Pruning demonstrieren die Autoren, dass:

Viele Neuronen, die von grobkörnigen Methoden beibehalten werden, unnötig sind und mit vernachlässigbarem Einfluss auf die Performance entfernt werden können.
Größere Modelle (z. B. Llama 8B) ebenso starke oder sogar stärkere Pruning-Ergebnisse liefern wie kleinere Modelle, was darauf hindeutet, dass die Skalierung eher Redundanz als dichtere aufgabenspezifische Schaltkreise einführt.
Die Methode einen rechentechnisch machbaren Weg zur Entdeckung feingranularer kausaler Schaltkreise in großskaligen Modellen bietet und zeigt, dass unterschiedliche Verhaltensweisen durch distinkte Muster von Attention, MLP und Neuronenaktivität kodiert werden.

Die Autoren räumen eine Einschränkung ein: Das Framework identifiziert zwar, welche Knoten notwendig sind, rekonstruiert jedoch nicht explizit die Interaktionsstruktur (Kanten) zwischen den überlebenden Knoten. Sie schlagen als zukünftige Forschungsrichtung vor, die Knotenwahl mit der Kantenrekonstruktion zu kombinieren, um Interaktionsstrukturen abzuleiten.