🤖 machine learning

The Curse of Multiple Mediators: Hidden Interaction Effects in Activation Patching

Dit artikel onthult dat schattingen van activation patching in mechanistische interpreteerbaarheid inherent natuurlijke indirecte effecten verwarren met interactie-effecten die afhankelijk zijn van de toestanden van andere componenten, waarbij wordt betoogd dat onderzoekers, in plaats van deze interactie te elimineren, deze moeten aanwenden als een diagnostisch hulpmiddel om prompt-afhankelijke causale mechanismen en de beperkingen van greedy component ranking te identificeren.

Oorspronkelijke auteurs: Sankaran Vaidyanathan, David Arbour, Aaron Mueller, Scott Niekum, David Jensen

Gepubliceerd 2026-06-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sankaran Vaidyanathan, David Arbour, Aaron Mueller, Scott Niekum, David Jensen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Solo Act" Illusie

Stel je voor dat je probeert uit te zoeken welke muzikant in een band verantwoordelijk is voor een specifiek deel van een nummer. Je hebt een magische tool genaamd Activation Patching. Deze tool werkt als een "tijdreis-dempknop".

Om een specifieke muzikant te testen (laten we hem de Gitarist noemen), doe je het volgende:

Je neemt een opname van de band die het nummer perfect speelt (Clean Input).
Je neemt een opname van de band die een licht verpest versie van het nummer speelt (Corrupted Input).
De Patch: Je neemt de uitvoering van de Gitarist uit de perfecte opname en plakt deze in de verprutste opname.
Het Resultaat: Als het nummer beter klinkt, neem je aan dat de Gitarist de held is. Als het hetzelfde klinkt, neem je aan dat de Gitarist er niet toe doet.

Jarenlang hebben onderzoekers deze methode gebruikt om te rangschikken welke onderdelen van AI-modellen (neurale netwerken) belangrijk zijn. Ze noemen deze meting de NIE (Natural Indirect Effect).

Het Probleem: De "Verborgen Handdruk"

Het artikel betoogt dat deze "Solo Act"-test gebrekkig is omdat het Interactie-effecten (INT) negeert.

In een echte band spelen muzikanten niet alleen alleen; ze luisteren naar elkaar. De Gitarist speelt misschien een solo die alleen goed klinkt als de Drummer een strak ritme aanhoudt. Als de Drummer de boel verpest, kan de solo van de Gitarist verschrikkelijk klinken, zelfs als de Gitarist talentvol is.

In het AI-model is er een "achterdeur" genaamd de Residual Stream. Het is een soort zijkanaal waardoor informatie over de component heen kan springen die je aan het testen bent.

Wanneer je de Gitarist test, herstel je zijn noten (Clean), maar laat je de rest van de band de verprutste versie spelen (Corrupted).
De "schone" noten van de Gitarist proberen te mengen met het "verprutste" ritme van de Drummer.
Omdat het AI-model complex en niet-lineair is (zoals een chaotische jamsessie), is het resultaat niet simpelweg "Gitarist + Drummer". Het is een vreemde, onvoorspelbare botsing van de twee.

Het artikel bewijst dat de score die je krijgt (NIE) eigenlijk een mix is van twee dingen:

PIE (Pure Indirect Effect): Hoe goed de Gitarist op zichzelf is.
INT (Interaction Effect): In hoeverre de uitvoering van de Gitarist afhankelijk is van de rest van de band.

De Catch: De standaardtest (NIE) geeft je de som van beide, maar vertelt je niet welke van de twee het is.

De Drie Scenario's (Wat het Papier Ontdekte)

De auteurs testten dit op een beroemde AI-taak genaamd IOI (Indirect Object Identification), waarbij de AI moet raden wie wat deed met wie in een zin als "John gaf het boek aan Mary". Ze vonden drie verschillende manieren waarop deze "interactie" de rangschikking verstoort:

1. Het "Plan B" (Verborgen Helden)

De Situatie: Stel je voor dat de Gitarist de hoofdsolist is, maar dat er een Back-up Gitarist is die exact dezelfde noten speelt.
De Fout: Wanneer je alleen de Back-up Gitarist test, speelt de hoofd-Gitarist nog steeds de verprutste versie. De Back-up Gitarist probeert het te herstellen, maar het slechte ritme van de hoofd-Gitarist verpest de poging van de Back-up.
Het Resultaat: De Back-up Gitarist krijgt een slechte score (NIE) omdat de interactie negatief is. De test zegt: "Deze muzikant is nutteloos!"
De Realiteit: De Back-up Gitarist is eigenlijk essentieel. Als je de hoofd-Gitarist verwijdert, redt de Back-up de boel. Maar de standaardtest verbergt dit omdat het niet rekening houdt met de "teamwork" die nodig is om hun waarde te zien.

2. De "Context Specialist" (De Stille Partner)

De Situatie: Stel je een Muzikant voor die alleen een specifieke noot speelt als de Drummer een specifieke beat speelt.
De Fout: Wanneer je deze Muzikant alleen test, speelt de Drummer de verkeerde beat. De speciale noot van de Muzikant wordt niet geactiveerd omdat aan de voorwaarde niet is voldaan.
Het Resultaat: De Muzikant krijgt een score van nul. De test zegt: "Deze muzikant doet niets."
De Realiteit: Deze Muzikant is essentieel, maar alleen wanneer de rest van de band correct werkt. De standaardtest mist hen volledig omdat ze geïsoleerd worden van de context die ze nodig hebben om te schitteren.

3. De "Saboteur" (De Schadelijke Speler)

De Situatie: Stel je een Muzikant voor die een verschrikkelijke noot speelt die het nummer verpest, maar de rest van de band heeft een speciale "ruisonderdrukkende" truc die het herstelt.
De Fout: Wanneer je deze Muzikant alleen test, is de rest van de band verprutst, waardoor ze hun ruisonderdrukkende truc niet kunnen gebruiken. De slechte noot van de Muzikant vernietigt het nummer.
Het Resultaat: De Muzikant krijgt een enorme negatieve score.
De Realiteit: Deze Muzikant maakt deel uit van een complex systeem waarin hun "slechte" noot opzettelijk wordt gecompenseerd door anderen. De test ziet alleen de vernietiging, niet de balans.

Waarom Dit Er Toe Doet (De "Wat Nu?")

De paper maakt drie hoofdpunten:

Rangschikkingen zijn fout: Als je AI-componenten rangschikt op basis van de standaardscore (NIE), zul je de "Backup"-helden en de "Context Specialists" missen. Je denkt misschien dat de AI op een bepaalde manier werkt, maar je kijkt naar een vertekend beeld.
Het is geen bug, maar een feature: De auteurs stellen dat we niet moeten proberen de wiskunde te "repareren" om deze interacties te verwijderen. In plaats daarvan moeten we ze meten.
- Als de interactiescore negatief is, betekent dit dat de component een "Backup" is (het helpt wanneer anderen falen).
- Als de interactiescore positief is, betekent dit dat de component een "Context Specialist" is (hij heeft anderen nodig om te werken).
Het "Prompt" Probleem: Het artikel laat zien dat deze interactiescores enorm variëren afhankelijk van de specifieke zin (prompt) die je gebruikt. Als je de zin een klein beetje verandert, kan de "Backup" stoppen met een backup zijn, en de "Specialist" kan stoppen met werken. Dit verklaart waarom studies naar AI-circuits vaak inconsistente resultaten geven.

De Conclusie

Het artikel concludeert dat Activation Patching (de standaardtool) lijkt op het bekijken van een puzzelstukje in isolatie. Je kunt de vorm zien, maar je kunt niet zien hoe het past bij de buren.

De "Interaction Effect" (INT) is de ontbrekende informatie. Het vertelt ons dat in complexe AI-modellen geen enkele component alleen werkt. Om echt te begrijpen hoe een AI denkt, moeten we stoppen met vragen "Wat doet dit deel?" en beginnen met vragen "Wat doet dit deel wanneer de rest van het model X doet?"

De auteurs bieden een nieuwe manier om deze interacties te berekenen, waardoor onderzoekers eindelijk de "Backup"-mechanismen en "Context Specialists" kunnen opsporen die voorheen onzichtbaar waren, waardoor een verwarrende brij aan data verandert in een heldere kaart van hoe de AI daadwerkelijk werkt.

Technische Samenvatting: De Vloek van Meerdere Mediators: Verborgen Interactie-effecten in Activation Patching

1. Probleemstelling

Activation patching is de de facto standaard in mechanistische interpreteerbaarheid voor het toeschrijven van causale verantwoordelijkheid aan individuele neurale netwerkcomponenten. Het operationaliseert het Natural Indirect Effect (NIE) uit causale mediatie-analyse door de activaties van een component te vervangen door contrafeitelische waarden (meestal van een "schone" input) en de resulterende verandering in de output te meten.

De paper identificeert echter een fundamenteel gebrek in deze aanpak wanneer deze wordt toegepast op transformers: de NIE vangt niet uitsluitend het causale effect dat via een specifieke component stroomt. Vanwege de residual stream-architectuur van de transformer, die bypass-paden (skip connections) rond elke component biedt, conflueert de NIE de directe bijdrage van de component met interactie-effecten (INT). Deze interacties meten hoe het causale effect van een component afhankelijk is van de staat van andere componenten (de bypass). Bijgevolg kunnen standaard activation patching-rangschikkingen misleidend zijn, waardoor functioneel belangrijke "back-up"-mechanismen onzichtbaar lijken (vals negatieven) of de belangrijkheid van anderen kunstmatig worden opgeblazen.

2. Methodologie

De auteurs leiden de estimand van activation patching opnieuw af vanuit het perspectief van causale mediatie-analyse, waarbij ze specifiek ingaan op de structurele conditie van "recanting witnesses" (terugroepende getuigen) die inherent is aan de skip connections van transformers.

Theoretische Decompositie: De paper decomponeert de standaard "noising"-estimator (de standaardmethode voor activation patching) wiskundig in twee verschillende causale grootheden:
1. Pure Indirect Effect (PIE): Het pad-specifieke effect dat uitsluitend via de doelcomponent stroomt, waarbij alle bypass-paden effectief worden geblokkeerd.
2. Interaction Effect (INT): De gemedieerde interactie tussen de component en de bypass.
  De relatie wordt gedefinieerd als: $NIE = PIE + INT$.
  De paper definieert ook een "denoising"-estimator, die de auteurs laten zien dat de PIE direct berekent, in contrast met de NIE die door noising wordt berekend.
Theoretische Analyse:
- Tweede-orde Benadering: De auteurs bewijzen dat INT schaalt met de afstand tussen de schone en de gepatchte activaties. Specifiek wordt INT benaderd door de gemengde tweede richtingafgeleide (Hessian bilinear form) van de downstream functie met betrekking tot perturbaties in de component en de bypass. INT verdwijnt als de downstream map lokaal affien is of als de perturbaties nul zijn.
- Multi-component Decompositie: Met behulp van inclusie-exclusie principes breiden de auteurs de decompositie uit naar verzamelingen van componenten. Ze tonen aan dat het totale effect van het patchen van een verzameling knopen decomponeert in de som van individuele PIEs, individuele INTs en cross-component interacties ($xINT$) tussen deelverzamelingen van knopen.
Empirische Validatie:
- Datasets: Experimenten maken gebruik van de GPT-2 IOI (Indirect Object Identification) circuit, evenals Gender Bias, Greater Than en SVA taken.
- Modellen: GPT-2 Small, Pythia-70M, en Qwen2.5-0.5B.
- Metrieken: De studie vergelijkt rangschikkingen op basis van NIE versus PIE, analyseert de variantie van faithfulness scores, en onderzoekt de omvang van INT over verschillende functionele head-groepen (bijv. Name Movers, Induction heads).

3. Belangrijkste Bijdragen en Resultaten

A. Divergentie van NIE en PIE Rangschikkingen

De paper demonstreert dat NIE en PIE substantieel verschillende rangschikkingen van component-belangheid induceren.

Rank Correlatie: Op de GPT-2 IOI taak is de Spearman rank correlatie tussen NIE en PIE zo laag als $\rho = 0.51$ .
Prompt Afhankelijkheid: De divergentie wordt gedreven door de semantische afstand tussen de schone en de contrafeitelijke prompts. Taken met semantisch nabije prompts (bijv. Gender Bias) vertonen een hoge correlatie ( $\rho \approx 0.99$ ), terwijl taken met grotere perturbaties (bijv. IOI met pABC corruptie) een lage correlatie vertonen.

B. De Rol van Interactie-effecten (INT)

Back-up Mechanismen: "Backup Name Mover Heads" (BNMH) in het IOI-circuit hebben hoge PIE-scores maar worden onderdrukt in NIE-rangschikkingen vanwege een negatieve INT. Hun bijdrage is conditioneel op de aanwezigheid van de primaire Name Mover Heads; wanneer de primaire heads actief zijn (schone input), krimpt de marginale bijdrage van de back-up heads, wat resulteert in een negatieve interactieterm die de NIE-score verlaagt.
Context-specifieke Mechanismen: Heads zoals Duplicate Token (DTH), Induction, en Previous Token (PTH) hebben bijna nul PIE-scores omdat hun bijdrage volledig afhankelijk is van de aanwezigheid van andere actieve componenten. Bijgevolg zijn ze onzichtbaar voor PIE-gebaseerde rangschikking, maar worden ze wel gevangen door NIE (die een positieve INT bevat).
Schadelijke Mechanismen: Negatieve Name Mover Heads (NNMH) vertonen een negatieve PIE (schade aan de prestaties) maar een positieve INT (gedeeltelijk tegengewerkt door andere heads), wat illustreert hoe INT schadelijke componenten kan maskeren.

C. Verklaring van Faithfulness Instabiliteit

De paper biedt een mechanistische verklaring voor de hoge variabiliteit van "faithfulness scores" (metrieken die evalueren hoe goed een circuit de modelprestaties herstelt).

Cross-Interactie Variantie: Faithfulness scores decomponeren in PIE, individuele INT, en cross-component INT ($xINT$). De auteurs vinden dat $xINT$-termen een significant hogere variantie vertonen over verschillende prompt-templates (bijv. ABBA versus BABA) dan PIE-termen.
Omvang: In de IOI-taak voorspelt de som van de individuele PIEs een veel groter effect dan de werkelijke circuitprestaties. Het verschil wordt verklaard door grote negatieve cross-interacties ($xINT$), wat aangeeft dat de heads collectief minder produceren dan de som van hun individuele delen vanwege niet-lineaire koppeling.

D. Beperkingen van Remedies

De auteurs stellen dat het simpelweg verwijderen van INT om te rangschikken op PIE nieuwe foutmodi introduceert. Hoewel PIE back-up mechanismen correct identificeert, faalt het in het identificeren van context-specifieke mechanismen (zoals Induction heads) die essentieel zijn voor de werking van het circuit maar een nul path-specifiek effect hebben. Daarom biedt noch NIE, noch PIE alleen een volledig beeld.

4. Betekenis en Claims

De paper claimt dat interactie-effecten geen overlast zijn die geëlimineerd moet worden, maar een diagnostisch kenmerk van causale mediatie in transformers.

Verenigende Theorie: De aanwezigheid van INT biedt een verenigende verklaring voor verschillende bekende pathologieën in mechanistische interpreteerbaarheid, waaronder het falen van greedy component ranking, de instabiliteit van faithfulness scores over prompts, en de moeilijkheid om back-up mechanismen te ontdekken zonder combinatorische zoektocht.
Herformulering van Interpreteerbaarheid: De auteurs beargumenteren dat INT een verifieerbare verklaring is van de aannames van activation patching. Het signaleert wanneer causale conclusies prompt-afhankelijk zijn en wanneer greedy ranking mechanismen zal missen die alleen via combinatorische zoektocht ontdekbaar zijn.
Praktisch Nut: Hoewel INT de noodzaak voor combinatorische zoektocht om alle pathologieën op te lossen niet wegneemt, is het meetbaar op verschillende granulariteiten. Praktici kunnen de omvang en het teken van INT gebruiken om te identificeren wanneer hun conclusies betrouwbaar zijn zonder uitputtend onderzoek, of wanneer ze waarschijnlijk cruciale context-afhankelijke of back-up mechanismen missen.

De paper concludeert dat de "Vloek van Meerdere Mediators" een inherente eigenschap is van de transformer-architectuur en causale mediatie, wat vereist dat men overstapt van het bekijken van componenten in isolatie naar het begrijpen van hun interactieve, staat-afhankelijke rollen.