🤖 machine learning

The Curse of Multiple Mediators: Hidden Interaction Effects in Activation Patching

Diese Arbeit legt offen, dass Schätzungen durch Activation Patching in der mechanistischen Interpretierbarkeit inhärent natürliche indirekte Effekte mit Interaktionseffekten vermengen, die vom Zustand anderer Komponenten abhängen, und argumentiert, dass Forscher anstatt diese Interaktion zu eliminieren, sie vielmehr als diagnostisches Werkzeug nutzen sollten, um promptabhängige kausale Mechanismen sowie die Grenzen des gierigen Komponenten-Rankings zu identifizieren.

Ursprüngliche Autoren: Sankaran Vaidyanathan, David Arbour, Aaron Mueller, Scott Niekum, David Jensen

Veröffentlicht 2026-06-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sankaran Vaidyanathan, David Arbour, Aaron Mueller, Scott Niekum, David Jensen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Die „Solokünstler“-Illusion

Stellen Sie sich vor, Sie versuchen herauszufinden, welcher Musiker in einer Band für einen bestimmten Teil eines Liedes verantwortlich ist. Sie haben ein magisches Werkzeug namens Activation Patching. Dieses Werkzeug funktioniert wie eine „Zeitreise-Stummschaltung“.

Um einen bestimmten Musiker (nennen wir ihn den Gitarristen) zu testen, gehen Sie so vor:

Sie nehmen die Band auf, wie sie das Lied perfekt spielt (Clean Input).
Sie nehmen die Band auf, wie sie eine leicht fehlerhafte Version des Liedes spielt (Corrupted Input).
Das Patching: Sie nehmen die Performance des Gitarristen aus der perfekten Aufnahme und fügen sie in die fehlerhafte Aufnahme ein.
Das Ergebnis: Wenn das Lied besser klingt, nehmen Sie an, der Gitarrist sei der Held. Wenn es gleich bleibt, nehmen Sie an, der Gitarrist spiele keine Rolle.

Seit Jahren nutzen Forscher diese Methode, um zu ranken, welche Teile von KI-Modellen (neuronalen Netzen) wichtig sind. Sie nennen dieses Maß NIE (Natural Indirect Effect).

Das Problem: Der „Verborgene Handschlag“

Die Arbeit argumentiert, dass dieser „Solokünstler“-Test fehlerhaft ist, weil er Interaktionseffekte (INT) ignoriert.

In einer echten Band spielen Musiker nicht einfach alleine; sie hören einander zu. Der Gitarrist spielt vielleicht ein Solo, das nur dann gut klingt, wenn der Schlagzeuger einen stetigen Takt hält. Wenn der Schlagzeuger den Takt verliert, kann das Solo des Gitarristen schrecklich klingen, selbst wenn der Gitarrist talentiert ist.

Im KI-Modell gibt es einen „Backdoor“, den Residual Stream. Er ist wie ein Nebenkanal, der es Informationen ermöglicht, an der Komponente, die man gerade testet, vorbeizuschleusen.

Wenn Sie den Gitarristen testen, korrigieren Sie seine Noten (Clean), lassen aber den Rest der Band die fehlerhafte Version spielen (Corrupted).
Die „sauberen“ Noten des Gitarristen versuchen sich nun mit dem „fehlerhaften“ Rhythmus des Schlagzeugers zu vermischen.
Da das Modell komplex und nicht-linear ist (wie eine chaotische Jam-Session), ist das Ergebnis nicht einfach nur „Gitarrist + Schlagzeuger“. Es ist eine seltsame, unvorhersehbare Kollision der beiden.

Die Arbeit beweist, dass der Wert, den man erhält (NIE), tatsächlich eine Mischung aus zwei Dingen ist:

PIE (Pure Indirect Effect): Wie gut der Gitarrist für sich allein ist.
INT (Interaction Effect): Wie sehr die Performance des Gitarristen vom Rest der Band abhängt.

Der Haken: Der Standardtest (NIE) liefert Ihnen die Summe aus beidem, sagt Ihnen aber nicht, was was ist.

Die drei Szenarien (Was die Arbeit herausfand)

Die Autoren testeten dies an einer berühmten KI-Aufgabe namens IOI (Indirect Object Identification), bei der die KI erraten muss, wer wem was gegeben hat (z. B. „John gab Mary das Buch“). Sie fanden drei verschiedene Arten, wie diese „Interaktion“ das Ranking verfälscht:

1. Der „Plan B“ (Verborgene Helden)

Die Situation: Stellen Sie sich vor, der Gitarrist ist der Hauptsolist, aber es gibt einen Backup-Gitarristen, der exakt dieselben Noten spielt.
Der Fehler: Wenn Sie den Backup-Gitarristen allein testen, spielt der Haupt-Gitarrist immer noch die fehlerhafte Version. Der Backup-Gitarrist versucht zwar, den Fehler zu korrigieren, aber der schlechte Rhythmus des Haupt-Gitarristen ruiniert den Versuch des Backups.
Das Ergebnis: Der Backup-Gitarrist erhält einen schlechten NIE-Wert (weil die Interaktion negativ ist). Der Test sagt: „Dieser Musiker ist nutzlos!“
Realität: Der Backup-Gitarrist ist eigentlich lebenswichtig. Wenn man den Haupt-Gitarristen entfernt, rettet das Backup den Tag. Aber der Standardtest verbirgt dies, weil er nicht für das „Teamwork“ berücksichtigt, das nötig ist, um seinen Wert zu sehen.

2. Der „Kontext-Spezialist“ (Der stille Partner)

Die Situation: Stellen Sie sich einen Musiker vor, der nur eine bestimmte Note spielt, wenn der Schlagzeuger einen bestimmten Beat spielt.
Der Fehler: Wenn Sie diesen Musiker allein testen, spielt der Schlagzeuger den falschen Beat. Die spezielle Note des Musikers wird dadurch nicht ausgelöst, da die Bedingung nicht erfüllt ist.
Das Ergebnis: Der Musiker erhält einen Score von Null. Der Test sagt: „Dieser Musiker tut gar nichts.“
Realität: Dieser Musiker ist essenziell, aber nur, wenn der Rest der Band korrekt arbeitet. Der Standardtest übersieht ihn komplett, weil er ihn von dem Kontext isoliert, den er zum Glänzen braucht.

3. Der „Saboteur“ (Der schädliche Spieler)

Die Situation: Stellen Sie sich einen Musiker vor, der eine schreckliche Note spielt, die das Lied ruiniert, aber der Rest der Band hat einen speziellen „Noise-Cancelling“-Trick, der das wieder ausgleicht.
Der Fehler: Wenn Sie diesen Musiker allein testen, ist der Rest der Band bereits fehlerhaft, sodass sie ihren „Noise-Cancelling“-Trick nicht anwenden können. Die schlechte Note des Musikers zerstört das Lied.
Das Ergebnis: Der Musiker erhält einen riesigen negativen Score.
Realität: Dieser Musiker ist Teil eines komplexen Systems, in dem seine „schlechte“ Note absichtlich durch andere ausgeglichen wird. Der Test sieht nur die Zerstörung, nicht das Gleichgewicht.

Warum das wichtig ist (Das „Und was nun?“)

Die Arbeit macht drei Hauptpunkte geltend:

Rankings sind falsch: Wenn Sie KI-Komponenten nach dem Standardwert (NIE) ranken, übersehen Sie die „Backup“-Helden und die „Kontext-Spezialisten“. Sie glauben vielleicht, die KI funktioniere auf eine bestimmte Weise, aber Sie blicken in Wirklichklichkeit auf ein verzerrtes Bild.
Es ist kein Bug, sondern ein Feature: Die Autoren argumentieren, dass wir nicht versuchen sollten, die Mathematik zu „reparieren“, um diese Interaktionen zu entfernen. Stattdessen sollten wir sie messen.
- Wenn der Interaktions-Score negativ ist, bedeutet das, dass die Komponente ein „Backup“ ist (sie hilft, wenn andere versagen).
- Wenn der Interaktions-Score positiv ist, bedeutet das, dass sie ein „Kontext-Spezialist“ ist (sie braucht andere, um zu funktionieren).
Das „Prompt“-Problem: Die Arbeit zeigt, dass sich diese Interaktions-Scores massiv ändern können, je nachdem, welchen Satz (Prompt) man verwendet. Ändert man den Satz nur leicht, kann der „Backup“ aufhören, ein Backup zu sein, und der „Spezialist“ hört auf zu funktionieren. Dies erklärt, warum Studien zu KI-Schaltkreisen oft inkonsistente Ergebnisse liefern.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass Activation Patching (das Standardwerkzeug) wie das Betrachten eines Puzzleteils isoliert ist. Man kann die Form sehen, aber man sieht nicht, wie es zu den Nachbarn passt.

Der „Interaction Effect“ (INT) ist das fehlende Informationsstück. Er zeigt uns, dass in komplexen KI-Modellen keine Komponente alleine arbeitet. Um wirklich zu verstehen, wie eine KI denkt, müssen wir aufhören zu fragen: „Was macht dieser Teil?“ und stattdessen fragen: „Was macht dieser Teil, wenn der Rest des Modells gerade X tut?“

Die Autoren liefern einen neuen Weg, um diese Interaktionen zu berechnen. Dies ermöglicht es Forschern, endlich die „Backup“-Mechanismen und „Kontext-Spezialisten“ zu entdecken, die zuvor unsichtbar waren, und verwandelt ein verwirrendes Datenchaos in eine klare Karte dessen, wie die KI tatsächlich arbeitet.

Technisches Resümee: Der Fluch der multiplen Mediatoren: Verborgene Interaktionseffekte in der Aktivierungspatchung

1. Problemstellung

Die Aktivierungspatchung (Activation Patching) ist der De-facto-Standard in der mechanistischen Interpretierbarkeit, um die kausale Verantwortung einzelnen neuronalen Netzwerkkomponenten zuzuschreiben. Sie operationalisiert den Natürlichen Indirekten Effekt (Natural Indirect Effect, NIE) aus der kausalen Mediationsanalyse, indem sie die Aktivierungen einer Komponente durch kontrafaktische Werte (typischerweise von einem „sauberen“ Input) ersetzt und die resultierende Änderung des Outputs misst.

Das Paper identifiziert jedoch einen grundlegenden Fehler in diesem Ansatz bei der Anwendung auf Transformer: Der NIE erfasst aufgrund der Architektur des Residual-Streams nicht ausschließlich den kausalen Effekt, der durch eine spezifische Komponente fließt. Da der Residual-Stream Bypass-Pfade (Skip-Connections) um jede Komponente herum bereitstellt, vermischt der NIE den direkten Beitrag der Komponente mit Interaktionseffekten (Interaction Effects, INT). Diese Interaktionen messen, wie der kausale Effekt einer Komponente vom Zustand anderer Komponenten (dem Bypass) abhängt. Infolgedessen können Standard-Rankings der Aktivierungspatchung irreführend sein, was dazu führt, dass funktional wichtige „Backup-Mechanismen“ unsichtbar erscheinen (False Negatives) oder die Bedeutung anderer künstlich aufgebläht wird.

2. Methodik

Die Autoren leiten den Schätzer der Aktivierungspatchung aus der Perspektive der kausalen Mediationsanalyse neu her und adressieren dabei speziell die strukturelle Bedingung der „widerrufenden Zeugen“ (recanting witnesses), die in den Skip-Connections von Transformern inhärent ist.

Theoretische Dekomposition: Das Paper zerlegt den Standard-„Noising“-Schätzer (die Standardmethode der Aktivierungspatchung) mathematisch in zwei distinkte kausale Größen:
1. Reiner Indirekter Effekt (Pure Indirect Effect, PIE): Der pfadspezifische Effekt, der ausschließlich durch die Zielkomponente fließt, indem alle Bypass-Pfade effektiv blockiert werden.
2. Interaktionseffekt (INT): Die mediierte Interaktion zwischen der Komponente und ihrem Bypass.
  Die Beziehung ist definiert als: $NIE = PIE + INT$.
  Das Paper definiert zudem einen „Denoising“-Schätzer, von dem die Autoren zeigen, dass er den PIE direkt berechnet, im Gegensatz zum durch Noising berechneten NIE.
Theoretische Analyse:
- Approximation zweiter Ordnung: Die Autoren beweisen, dass INT mit dem Abstand zwischen den sauberen und den gepatchten Aktivierungen skaliert. Speziell wird INT durch die gemischte zweite Richtungsableitung (Hessian-Bilinearform) der nachgeschalteten Funktion in Bezug auf Perturbationen in der Komponente und ihrem Bypass approximiert. INT verschwindet, wenn die nachgeschaltete Abbildung lokal affin ist oder die Perturbationen Null sind.
- Dekomposition über mehrere Komponenten: Unter Verwendung des Inklusions-Exklusions-Prinzips erweitern die Autoren die Dekomposition auf Mengen von Komponenten. Sie zeigen, dass sich der Gesamteffekt des Patching einer Menge von Knoten in die Summe der individuellen PIEs, der individuellen INTs und der Komponenten-Interaktionen ($xINT$) zwischen Teilmengen von Knoten zerlegt.
Empirische Validierung:
- Datensätze: Experimente nutzen den GPT-2 IOI (Indirect Object Identification) Circuit sowie Gender Bias, Greater Than und SVA Aufgaben.
- Modelle: GPT-2 Small, Pythia-70M und Qwen2.5-0.5B.
- Metriken: Die Studie vergleicht Rankings basierend auf NIE versus PIE, analysiert die Varianz der Faithfulness-Scores und untersucht die Magnitude von INT über verschiedene funktionale Head-Gruppen hinweg (z. B. Name Movers, Induction Heads).

3. Zentrale Beiträge und Ergebnisse

A. Divergenz der NIE- und PIE-Rankings

Das Paper zeigt, dass NIE und PIE substanziell unterschiedliche Rankings der Komplexitätswichtigkeit induzieren.

Rangkorrelation: Beim GPT-2 IOI-Task ist die Spearman-Rangkorrelation zwischen NIE und PIE mit $\rho = 0.51$ so niedrig wie $\rho = 0.51$ .
Prompt-Abhängigkeit: Die Divergenz wird durch den semantischen Abstand zwischen sauberen und kontrafaktischen Prompts getrieben. Aufgaben mit semantisch nahen Prompts (z. B. Gender Bias) zeigen eine hohe Korrelation ( $\rho \approx 0.99$ ), während Aufgaben mit größeren Perturbationen (z. B. IOI mit pABC-Korruption) eine niedrige Korrelation aufweisen.

B. Die Rolle der Interaktionseffekte (INT)

Backup-Mechanismen: Im IOI-Circuit weisen „Backup Name Mover Heads“ (BNMH) hohe PIE-Scores auf, werden aber in den NIE-Rankings aufgrund eines negativen INT unterdrückt. Ihr Beitrag ist konditional auf die Anwesenheit der primären Name Mover Heads; wenn die primären Heads aktiv sind (sauberer Input), schrumpft der marginale Beitrag der Backup-Heads, was zu einem negativen Interaktionsterm führt, der ihren NIE-Score senkt.
Kontextspezifische Mechanismen: Heads wie Duplicate Token (DTH), Induction und Previous Token (PTH) haben nahezu Null-PIE-Scores, da ihr Beitrag vollständig von der Präsenz anderer aktiver Komponenten abhängt. Folglich sind sie für das PIE-basierte Ranking unsichtbar, werden aber durch NIE (das einen positiven INT beinhaltet) erfasst.
Schädliche Mechanismen: Negative Name Mover Heads (NNMH) zeigen einen negativen PIE (schadet der Performance), aber einen positiven INT (teilweise durch andere Heads entgegengesetzt), was illustriert, wie INT schädliche Komponenten maskieren kann.

C. Erklärung der Instabilität der Faithfulness-Scores

Das Paper liefert eine mechanistische Erklärung für die hohe Variabilität der „Faithfulness-Scores“ (Metriken, die bewerten, wie gut ein Circuit die Modellperformance wiederherstellt).

Cross-Interaktions-Varianz: Faithfulness-Scores zerlegen sich in PIE, individuelle INT und Cross-Komponenten-INT ($xINT$). Die Autoren finden, dass $xINT$-Terme über verschiedene Prompt-Templates (z. B. ABBA vs. BABA) hinweg eine signifikant höhere Varianz aufweisen als PIE-Terme.
Magnitude: In der IOI-Aufgabe sagt die Summe der individuellen PIEs einen viel größeren Effekt voraus als die tatsächliche Circuit-Performance. Die Diskrepanz wird durch große negative Cross-Interaktionen ($xINT$) erklärt, was darauf hindeutet, dass die Heads kollektiv weniger leisten als die Summe ihrer individuellen Teile aufgrund nichtlinearer Kopplung.

D. Limitationen von Abhilfemaßnahmen

Die Autoren argumentieren, dass das einfache Entfernen von INT zur Rangfolge nach PIE neue Fehlermodi einführt. Während PIE Backup-Mechanismen korrekt identifiziert, versagt es bei der Identifizierung kontextspezifischer Mechanismen (wie Induction Heads), die essenziell für die Funktion des Circuits sind, aber einen Zero Path-Specific Effect besitzen. Somit bietet weder NIE noch PIE allein ein vollständiges Bild.

4. Bedeutung und Behauptungen

Das Paper behauptet, dass Interaktionseffekte keine Störfaktoren sind, die eliminiert werden müssen, sondern ein diagnostisches Merkmal der kausalen Mediation in Transformern.

Vereinheitlichende Theorie: Die Präsenz von INT bietet eine vereinheitlichende Erklärung für mehrere bekannte Pathologien in der mechanistischen Interpretierbarkeit, einschließlich des Scheiterns des gierigen (greedy) Komponenten-Rankings, der Instabilität der Faithfulness-Scores über Prompts hinweg und der Schwierigkeit, Backup-Mechanismen ohne kombinatorische Suche zu entdecken.
Neubewertung der Interpretierbarkeit: Die Autoren argumenten, dass INT eine verifizierbare Aussage über die Annahmen der Aktivierungspatchung ist. Es signalisiert, wann kausale Schlussfolgerungen prompt-abhängig sind und wann ein gieriges Ranking Mechanismen übersehen wird, die nur durch kombinatorische Suche entdeckbar sind.
Praktischer Nutzen: Obwohl INT nicht die Notwendigkeit einer kombinatorischen Suche beseitigt, um alle Pathologien zu lösen, ist es in verschiedenen Granularitäten messbar. Praktiker können die Magnitude und das Vorzeichen von INT nutzen, um zu identifizieren, wann ihre Schlussfolgerungen vertrauenswürdig sind oder wann sie wahrscheinlich kritische kontextabhängige oder Backup-Mechanismen übersehen.

Das Paper schließt, dass der „Fluch der multiplen Mediatoren“ eine inhärente Eigenschaft der Transformer-Architektur und der kausalen Mediation ist, die einen Wechsel von der Betrachtung isolierter Komponenten hin zum Verständnis ihrer interaktiven, zustandsabhängigen Rollen erfordert.