Circuit Insights: Towards Interpretability Beyond Activations

Die Arbeit stellt WeightLens und CircuitLens vor, zwei komplementäre Methoden, die über eine reine Aktivierungsanalyse hinausgehen, indem sie Merkmale direkt aus Gewichten ableiten bzw. deren Interaktionen untersuchen, um die Skalierbarkeit und Robustheit der mechanistischen Interpretierbarkeit von neuronalen Netzen zu verbessern.

Das Wesentliche

Stell dir vor, ein großes Sprachmodell (wie ein sehr kluger KI-Assistent) ist eine riesige, dunkle Fabrik. Wir wissen, dass sie wunderbare Dinge produziert – Texte, Antworten, Code – aber wir haben keine Ahnung, wie genau die Maschinen im Inneren funktionieren. Die Wissenschaftler nennen das „Interpretierbarkeit": Wir wollen die Fabrik beleuchten und verstehen, welche Schalter was tun.

Bisher gab es zwei Hauptprobleme bei diesem Versuch, die Fabrik zu verstehen:

1. Manuelle Arbeit: Forscher mussten wie Detektive jeden einzelnen Schalter (Neuron) einzeln untersuchen. Das war extrem langsam und funktionierte nur bei kleinen, einfachen Fabriken.
2. Zu viel Rauschen: Wenn man einfach schaut, welche Schalter gerade leuchten (Aktivierungen), sieht man oft nur Chaos. Ein Schalter könnte leuchten, weil er das Wort „Hund" mag, aber auch, weil er gerade von einem anderen Schalter angestupst wurde, der das Wort „Wetter" mag. Es ist schwer zu sagen, was der Schalter wirklich will.

In diesem Papier stellen die Autoren zwei neue Werkzeuge vor, die wie eine Röntgenmaschine und ein Spürhund funktionieren: WeightLens und CircuitLens.

1. WeightLens: Der Blick ins Herzstück (ohne Röntgenstrahlen)

Stell dir vor, du willst verstehen, was ein Koch tut, ohne ihm beim Kochen zuzusehen. Du gehst einfach in seine Küche und schaust dir die Werkzeuge an, die er benutzt. Wenn er einen riesigen Hammer hat, weißt du, dass er wahrscheinlich etwas schweres zertrümmern will, auch wenn er gerade nicht kocht.

• Wie es funktioniert: WeightLens ignoriert das, was gerade passiert (die Eingabe), und schaut sich stattdessen die festen Verbindungen im Gehirn der KI an. Diese Verbindungen sind wie die verdrahteten Kabel zwischen den Schaltern.
• Der Vorteil: Es braucht keine riesigen Datenmengen und keinen zweiten KI-Assistenten, der die Arbeit erklärt. Es liest einfach die „Baupläne" (die Gewichte) der KI.
• Die Analogie: Wenn du siehst, dass ein Schalter fest mit dem Wort „Apfel" verbunden ist, weißt du sofort: „Aha, dieser Schalter mag Äpfel!" Das funktioniert super für Schalter, die immer das Gleiche tun (z. B. immer auf das Wort „der" reagieren).
• Das Limit: Es funktioniert nicht so gut, wenn ein Schalter nur in bestimmten Situationen reagiert (z. B. nur, wenn vorher das Wort „Wetter" kam). Dafür braucht man mehr als nur die Baupläne.

2. CircuitLens: Der Detektiv für Zusammenhänge

Jetzt stellen wir uns vor, der Koch kocht ein komplexes Gericht. Ein einzelner Schalter leuchtet nicht nur, weil er „Apfel" mag, sondern weil er eine Kette von Ereignissen auslöst: Erst kommt das Messer, dann das Brett, dann der Apfel.

• Wie es funktioniert: CircuitLens schaut nicht nur auf den leuchtenden Schalter, sondern verfolgt die Spur (den Stromkreis). Es fragt: „Welche anderen Schalter haben diesen Schalter angestoßen?" und „Welche Wörter hat dieser Schalter am Ende produziert?"
• Die Clustering-Methode: Oft reagieren Schalter auf ganz verschiedene Dinge (z. B. auf „Apfel" und auf „Orangensaft"). Das verwirrt die Erklärer. CircuitLens sortiert diese Fälle wie einen Sortierautomaten. Es gruppiert alle Situationen, in denen der Schalter leuchtet, in verschiedene Körbe:
  • Korb 1: Situationen mit Obst.
  • Korb 2: Situationen mit Getränken.
  • Dann erklärt es jeden Korb einzeln. So wird aus einem verworrenen Durcheinander zwei klare Geschichten.
• Der Vorteil: Es entlarvt Muster, die man beim bloßen Hinschauen verpasst. Es zeigt nicht nur dass etwas passiert, sondern warum und was danach passiert.

Zusammenfassung: Warum ist das toll?

Bisher mussten wir oft einen riesigen Datenberg durchsuchen und dann eine andere, noch größere KI bitten, uns zu erklären, was die erste KI tut. Das ist teuer, langsam und manchmal unzuverlässig (die erklärende KI könnte lügen oder raten).

Mit WeightLens und CircuitLens machen die Autoren das System robuster und schneller:

• WeightLens ist wie ein schneller Blick auf die Baupläne: Schnell, effizient, braucht keine Daten.
• CircuitLens ist wie ein intelligenter Detektiv: Er sortiert das Chaos, findet die wahren Muster und erklärt uns, wie die Teile der KI zusammenarbeiten.

Das große Ziel: Wir wollen KI nicht nur als eine schwarze Kiste betrachten, die magische Antworten spuckt. Wir wollen verstehen, wie sie denkt, damit wir ihr vertrauen können – besonders in sensiblen Bereichen wie der Medizin oder der Justiz. Diese neuen Werkzeuge helfen uns, das Licht in die dunkle Fabrik zu bringen, ohne den ganzen Betrieb lahmzulegen.

Technische Zusammenfassung

1. Problemstellung

Das Feld der mechanistischen Interpretierbarkeit (Mechanistic Interpretability) und der erklärbaren KI (XAI) zielt darauf ab, die internen Strukturen neuronaler Netze zu verstehen, insbesondere durch die Entdeckung von „Circuits" (Schaltkreisen), die für spezifische Aufgaben verantwortlich sind. Bestehende Ansätze leiden jedoch unter mehreren gravierenden Einschränkungen:

• Abhängigkeit von manuellen Analysen: Viele Methoden erfordern extensive manuelle Inspektion und sind oft auf einfache Aufgaben („toy tasks") beschränkt.
• Limitationen automatisierter Methoden: Automatisierte Interpretierbarkeit analysiert meist isolierte Merkmale (Features) und deren Aktivierungen. Dies führt oft dazu, dass Interaktionen zwischen Features übersehen werden.
• Abhängigkeit von externen Modellen: Aktuelle Pipelines verlassen sich stark auf große Sprachmodelle (LLMs) als „Erklärer", um Aktivierungsmuster in natürliche Sprache zu übersetzen. Dies verlagert das „Black-Box-Problem" nur auf ein anderes Black-Box-Modell und birgt Risiken durch unzuverlässige oder untreue Erklärungen.
• Polysemantik und Kontextabhängigkeit: Merkmale (z. B. aus Sparse Autoencoders oder Transcodern) können polysemantisch sein oder nur auf sehr spezifische Muster reagieren, die durch reine Aktivierungsanalyse schwer zu erfassen sind. Zudem sind viele Merkmale kontextabhängig, was eine reine Gewichtsanalyse erschwert.

2. Methodik

Die Autoren schlagen zwei komplementäre Methoden vor, die über eine reine Aktivierungsanalyse hinausgehen und auf der Struktur von Transcodern aufbauen. Transcoder sind eine Alternative zu Sparse Autoencodern (SAEs), die MLP-Schichten spars approximieren und eine saubere Trennung zwischen input-abhängigen (Aktivierungen) und input-invarianten (Gewichts-basierten) Komponenten ermöglichen.

A. WeightLens (Gewichtsbasierte Interpretierbarkeit)

WeightLens interpretiert Merkmale direkt anhand ihrer gelernten Gewichte, ohne externe Datensätze oder Erklärer-LLMs zu benötigen.

• Prinzip: Es nutzt die input-invarianten Verbindungen der Transcoder-Gewichte. Die Annahme ist, dass starke Gewichtsverbindungen signifikante strukturelle Beziehungen anzeigen, sofern sie statistische Ausreißer darstellen.
• Prozess:
  1. Projektion: Der Encoder-Vektor eines Features wird in den Embedding-Raum (Eingabe) und der Decoder-Vektor in den Logit-Raum (Ausgabe) projiziert.
  2. Ausreißer-Erkennung: Mit Z-Scores werden potenzielle Token identifiziert, die das Feature aktivieren (Eingabe) oder fördern (Ausgabe).
  3. Validierung: Kandidaten-Token werden durch einen Forward-Pass validiert, um sicherzustellen, dass sie das Feature tatsächlich isoliert aktivieren.
  4. Beschreibung: Die validierten Token werden lemmatisiert, um eine kohärente Feature-Beschreibung zu erstellen.
• Ziel: Effiziente Interpretation von kontextunabhängigen Features.

B. CircuitLens (Schaltkreis-basierte Interpretierbarkeit)

CircuitLens analysiert Aktivierungen im Kontext der zugrundeliegenden Schaltkreise, um kontextabhängige Merkmale und Polysemantik zu behandeln.

• Prinzip: Statt nur die stärksten Aktivierungen zu betrachten, wird die gesamte Verteilung der Aktivierungen analysiert.
• Schlüsselkomponenten:
  1. Attribution: Nutzung von Attributionen (Jacobian-basiert) zu Attention-Heads und Features, um zu identifizieren, welche Eingabe-Token ein Feature triggern und welche Ausgabe-Token davon beeinflusst werden.
  2. Maskierung: Nur die relevanten Token (die das Feature triggern oder beeinflusst werden) werden für die Analyse behalten, um das Rauschen zu reduzieren.
  3. Circuit-Based Clustering: Eingaben werden basierend auf ihren zugrundeliegenden Schaltkreisen (welche Features und Attention-Heads beteiligt waren) gruppiert. Dies nutzt DBSCAN auf einer Jaccard-Ähnlichkeitsmatrix, um polysemantische Merkmale in monosemantische Cluster zu zerlegen.
  4. Generierung: Ein Erklärer-LLM erhält nur die isolierten Muster (nicht den gesamten Kontext) und generiert Beschreibungen für jeden Cluster, die dann zu einer Gesamtbeschreibung zusammengeführt werden.

3. Schlüsselbeiträge

1. WeightLens: Ein Framework zur Interpretation von Transcoder-Features ausschließlich über Gewichte. Es eliminiert die Abhängigkeit von großen Datensätzen und externen LLMs und erreicht bei kontextunabhängigen Features eine Leistung, die bestehenden Methoden entspricht oder sie übertrifft.
2. CircuitLens: Ein Framework zur Analyse von Aktivierungen auf Schaltkreisebene. Es isoliert Eingabemuster, die Features triggern, und identifiziert deren Einfluss auf die Ausgabe. Dies ermöglicht die Interpretation von kontextabhängigen Features und die Bewältigung von Polysemantik durch Clustering.
3. Kombinierte Robustheit: Die Kombination aus gewichtsbasierter und schaltkreisbasierter Analyse erhöht die Robustheit der Interpretierbarkeit, reduziert die Abhängigkeit von der Datengröße und verbessert die Skalierbarkeit mechanistischer Analysen.

4. Ergebnisse

Die Methoden wurden an Modellen wie GPT-2 Small, Gemma-2-2B und Llama-3.2-1B evaluiert (unter Verwendung des FADE-Frameworks mit Metriken wie Clarity, Responsiveness, Purity und Faithfulness).

• WeightLens-Leistung:

  • Erreicht bei Clarity und Responsiveness oft höhere Werte als aktivierungsbasierte Baselines (z. B. Neuronpedia, MaxAct*).
  • Funktioniert besonders gut in frühen Schichten, wo Features oft token-spezifisch sind.
  • Zeigt, dass ca. 30–60 % der Features (je nach Modell) rein gewichtsbasiert interpretierbar sind, ohne externe Daten.
  • Die Validierungsschritte sind entscheidend, um Rauschen zu filtern, obwohl einige kontextabhängige Features hierdurch nicht erfasst werden (was zu niedrigerer Purity führen kann).

• CircuitLens-Leistung:

  • Schaltkreis-basierte Methoden sind robuster gegenüber der Datengröße. Beschreibungen, die auf kleineren Datensätzen basieren, konkurrieren erfolgreich mit solchen aus großen Datensätzen.
  • Durch das Clustering und die Maskierung werden Polysemantik erfolgreich behandelt; Features, die in Aktivierungs-basierten Methoden vage beschrieben werden, erhalten durch CircuitLens präzisere, kontextspezifische Beschreibungen.
  • Die Analyse zeigt, dass Features oft spezifische Muster in Attention-Heads triggern (z. B. Referenzen auf bereits genannte Entitäten), die reine Aktivierungsanalysen übersehen.
  • Die Faithfulness (Treue) bleibt insgesamt niedrig, was auf die Redundanz in Transcodern und die Schwierigkeit zurückzuführen ist, einzelne Features zu steuern, ohne das gesamte Circuit zu beeinflussen.

• Vergleich: Während WeightLens effizient ist, deckt es nicht alle Features ab. CircuitLens füllt diese Lücke, indem es die komplexen, kontextabhängigen Interaktionen aufdeckt.

5. Bedeutung und Ausblick

Dieses Papier adressiert eine fundamentale Lücke in automatisierten Interpretierbarkeits-Pipelines, indem es strukturelle Informationen (Gewichte und Schaltkreise) direkt nutzt, anstatt sich nur auf Aktivierungen zu verlassen.

• Skalierbarkeit: Die Methoden ermöglichen eine effizientere Analyse großer Modelle, da sie weniger auf teure Datensätze und externe LLMs angewiesen sind.
• Robustheit: Durch die Kombination von gewichtsbasierten und schaltkreisbasierten Ansätzen wird die Interpretierbarkeit weniger anfällig für Datensatz-Bias und Rauschen.
• Zukunft: Die Autoren schlagen vor, CircuitLens auf andere Architekturen (z. B. SAEs) zu erweitern und die Clustering-Hyperparameter weiter zu optimieren, um ein besseres Gleichgewicht zwischen der Erfassung von Polysemantik und der Vermeidung von Überfragmentierung zu finden.

Zusammenfassend bieten WeightLens und CircuitLens einen neuen Weg, um das Verhalten von Sprachmodellen im großen Maßstab zu verstehen, indem sie die Lücke zwischen reinen Aktivierungsanalysen und tiefgehender mechanistischer Circuit-Entdeckung schließen.