🤖 machine learning

When Attribution Patching Lies: Diagnosis and a Second-Order Correction

Dit artikel identificeert niet-lineariteiten in downstream-netwerken als de primaire bron van fouten in attribution patching en introduceert een computationeel efficiënte Hessian-vectorproduct-correctie die de nauwkeurigheid en betrouwbaarheid van mechanistische interpreteerbaarheidscircuits aanzienlijk verbetert over verschillende modelmaten heen.

Oorspronkelijke auteurs: Luyang Zhang, Jialu Wang

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luyang Zhang, Jialu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Proberen de "Hersencellen" van AI te Vinden

Stel je voor dat je een enorme, complexe machine hebt (een Large Language Model) die verhalen kan schrijven, wiskundige problemen kan oplossen en met je kan chatten. Wetenschappers willen precies weten welke specifieke onderdelen van deze machine verantwoordelijk zijn voor specifieke gedragingen. Welke "neuron" beslist bijvoorbeeld om het woord "appel" te gebruiken in plaats van "banaan"?

Om deze onderdelen te vinden, gebruiken onderzoekers een techniek genaamd Activation Patching. Denk hierbij aan een "operatie" op de machine:

Je laat de machine een normale zin uitvoeren (bijv. "De kat zat op de mat").
Je laat hem opnieuw draaien met een gecorrumpeerde zin (bijv. "De hond zat op de mat").
Je vervangt de interne "hersenactiviteit" van de eerste run door die van de tweede run.
Als de machine plotseling weer begint te praten over een kat, weet je dat dat specifieke onderdeel cruciaal is.

Het Probleem: Het uitvoeren van deze operatie op elk afzonderlijk onderdeel van een moderne AI is alsoals proberen elke baksteen in een wolkenkrabber te testen om te zien welke het dak vasthoudt. Het kost te veel tijd en computerkracht.

De Afkorting: "Attribution Patching"

Omdat de volledige operatie te traag is, gebruiken onderzoekers een afkorting genaamd Attribution Patching. In plaats van de onderdelen daadwerkelijk te vervangen, gebruiken ze een wiskundige gok (een "first-order approximation") om te voorspellen welke onderdelen belangrijk zouden zijn.

Denk hierover na:

Echte Chirurgie (Activation Patching): Je vervangt daadwerkelijk de motor van een auto en kijkt of hij beter loopt. Nauwkeurig, maar het duurt uren.
De Afkorting (Attribution Patching): Je bekijkt de motor, doet een snelle berekening en gokt: "Ja, deze motor is waarschijnlijk het probleem." Het is snel, maar de gok is soms fout.

De Ontdekking: Waarom de Afkorting Liegt

De auteurs van dit paper vroegen zich af: "Wanneer faalt deze afkorting, en waarom?"

Ze ontdekten dat de afkorting niet faalt vanwege het onderdeel zelf, maar vanwege wat er daarna gebeurt met dat onderdeel.

De Analogie van de Dominosteensketting:
Stel je een rij dominostenen voor.

De Fout van de Afkorting: De afkorting kijkt naar de eerste dominosteen die je duwt en neemt aan: "Als ik deze duw, valt de hele rij." Het gaat ervan uit dat de duw in een rechte, voorspelbare lijn beweegt.
De Realiteit: In een complexe AI beweegt de "duw" via een kronkelend pad van andere dominostenen. Soms buigt het pad, of wordt de kracht versterkt, of wordt de kracht geneutraliseerd door andere krachten. De afkorting ziet deze bochten niet; het ziet alleen de directe duw.

Het paper bewijst dat de grootste fouten optreden omdat de afkorting de kromming van het pad negeert dat het signaal door de rest van het netwerk aflegt. Het is als proberen een auto te besturen door alleen naar het stuur te kijken, terwijl je negeert dat de weg voor je vol scherpe bochten zit.

De Oplossing: De "Screen-Flag-Fix" Pipeline

De auteurs stellen een driestaps-workflow voor om dit op te lossen zonder alles te vertragen. Ze noemen het Screen-Flag-Fix.

1. Screen (De Snelle Gok)

Eerst voer je de snelle, goedkope afkorting (Attribution Patching) uit op elk onderdeel van de AI. Dit geeft je een ruwe lijst van wie belangrijk is.

Analogie: Je scant snel een menigte mensen om te gokken wie de VIP is. Je krijgt een lijst van 100 verdachten.

2. Flag (De Betrouwbaarheidscontrole)

Vervolgens gebruik je een nieuwe "Betrouwbaarheidsscore" om je lijst te controleren. Deze score vraagt: "Is de weg vooruit waarschijnlijk vol met bochten?"

Als de score laag is, had de afkorting waarschijnlijk gelijk.
Als de score hoog is, liegt de afkorting waarschijnlijk omdat het pad te complex is.
Analogie: Je kijkt naar je lijst van 100 verdachten. Je beseft dat voor 90 van hen het pad recht is, dus je gok is prima. Maar voor 10 van hen zit het pad vol met scherpe bochten. Je flagged (markeert) die 10 als "Onbetrouwbaar".

3. Fix (De Gerichte Chirurgie)

Ten slotte voer je alleen de dure, nauwkeurige "operatie" uit (met behulp van een Hessian-Vector Product of HVP) op de geflagde items.

Analogie: Je controleert niet de hele menigte opnieuw. Je doet alleen een diepgaand achtergrondonderzoek op de 10 verdachte personen die je hebt geflagd. Dit bespaart je 90% van de tijd, maar zorgt er wel voor dat je de echte VIP's vangt.

Waarom Dit Er Toe Doet

Het paper laat zien dat deze methode ongelooflijk goed werkt:

Het is Accuraat: Het corrigeert de fouten die worden veroorzaakt door de "bochtige wegen" in het brein van de AI. In sommige tests verminderde het de fouten met meer dan 80%.
Het is Snel: Omdat het alleen de delen herstelt die daadwerkelijk kapot zijn, is het veel goedkoper dan een volledige operatie op alles uit te voeren.
Het Schaalt: Andere methoden die proberen deze fouten te herstellen (zoals "Integrated Gradients") worden onmogelijk te gebruiken bij enorme AI-modellen (zoals 8 miljard parameters). Deze nieuwe methode werkt zelfs op die enorme modellen.

De Kernboodschap

Dit paper leert ons dat de gebruikelijke afkorting om de hersenen van AI te begrijpen vaak onbetrouwbaar is, omdat het de complexe paden negeert die signalen later in het netwerk afleggen. Door een slimme "checklist" te gebruiken om de onbetrouwbare gokken te vinden en alleen die specifieke gevallen te herstellen, kunnen we de nauwkeurigheid van een volledige operatie krijgen met de snelheid van een snelle gok. Dit helpt wetenschappers om een nauwkeurigere kaart te bouwen van hoe AI-modellen daadwerkelijk denken.

Technische Samenvatting: Wanneer Attributie-Patching Liegt

Probleemstelling

Mechanistische interpreteerbaarheid vertrouwt op causale lokalisatie om te identificeren welke interne componenten (neuronen, attention heads) specifieke gedragingen van modellen aansturen. De gouden standaard hiervoor is activatie-patching, wat het causale effect meet door de activatie van een component onder een gecorrumpeerde input te vervangen door de waarde ervan onder een schone input. Echter, activatie-patching is op grote schaal computationeel onhaalbaar omdat de kosten lineair schalen met het aantal componenten.

Bijgevolg vertrouwen beoefenaars op attributie-patching, een eerste-orde, gradiënt-gebaseerde benadering die het effect van een interventie lineariseert rond een gecorrumpeerde activatie. Hoewel efficiënt, is de betrouwbaarheid van attributie-patching slecht begrepen. Systematische fouten in deze schattingen kunnen leiden tot de misidentificatie van onderliggende circuits. Eerder werk heeft specifieke faalmodi geïdentificeerd (bijv. mismatch in activatieregio's, softmax-herverdeling) en gedeeltelijke oplossingen voorgesteld, maar een fundamentele vraag blijft: Wanneer is attributie-patching betrouwbaar, hoe groot kan de fout zijn, en hoe moet deze worden gecorrigeerd?

Methodologie en Kerninzicht

De auteurs analyseren de structuur van de fout in attributie-patching met behulp van een tweede-orde Taylor-expansie. Ze ontleden de fout $E$ tussen het ware causale effect ( $\Delta$ ) en de eerste-orde schatting ( $\hat{\Delta}$ ) in twee componenten:
$E = \underbrace{\frac{1}{2} \delta^\top H \delta}_{\text{Dominante Kwadratische Term}} + \underbrace{\Phi(\delta)}_{\text{Kubische Restterm}}$
waarbij $\delta$ de perturbatierichting is en $H$ de Hessiaan is van de scalaire output-metriek ten opzichte van de activatie.

Kerninzicht: Downstream versus Lokale Kromming

Een cruciale bevinding is dat de dominante foutsterm voortkomt uit de netwerkbrede respons op de interventie (hoe de perturbatie zich door de rest van het netwerk voortplant), in plaats van de lokale kromming bij de gepatchte component zelf.

Falen van eerdere oplossingen: Eerdere methoden (bijv. AtP*, GIM) proberen fouten te corrigeren met behulp van lokale activatiekromming (bijv. de tweede afgeleide van de activatiefunctie). De auteurs laten zien dat lokale kromming een slechte voorspeller is van de werkelijke fout, waarbij een bijna nul-correlatie ( $r=0,04$ ) wordt getoond en de werkelijke foutbron met factoren 2–66 $\times$ wordt onderschat.
Netwerkbrede Correctie: De werkelijke fout hangt af van de Hessian-vectorproduct (HVP) van de gehele computationele graaf.

De Voorgestelde Oplossing: Screen–Flag–Fix

Op basis van deze decompositie stellen de auteurs een schaalbare workflow voor:

Screen (Filteren): Bereken standaard attributie-patching voor alle componenten (één backward pass).
Flag (Markeren): Bereken een Betrouwbaarheidsscore ( $\tilde{R}$ ) gedefinieerd als de magnitude van de kwadratische term relatief aan de eerste-orde schatting:
$\tilde{R} = \frac{|\delta^\top H \delta|}{2 |\hat{\Delta}|}$
Een hoge $\tilde{R}$ geeft aan dat de weggelaten kwadratische term significant is, wat de schatting als onbetrouwbaar markeert.
Fix (Corrigeren): Pas een HVP-gebaseerde tweede-orde correctie toe op alleen de gemarkeerde componenten.
- Standaard HVP: Voegt de term $\frac{1}{2} \delta^\top H \delta$ toe aan de schatting. Dit vereist twee backward passes (één om de gradiënt te berekenen, één om de HVP te berekenen).
- Multi-Step HVP (MS-HVP): Voor grote perturbaties waarbij een enkele Taylor-stap zou kunnen overschieten (het schenden van de lokale gladheid-aanname), wordt de correctie opgesplitst in $K$ substappen. Dit vermindert de restfout van $O(\|\delta\|^2)$ naar $O(\|\delta\|^3/K^2)$ .

Belangrijkste Bijdragen

Herformulering van Attributie-betrouwbaarheid: De auteurs herleiden de dominante foutbron naar de downstream netwerkrespons in plaats van lokale niet-lineariteit, wat verklaart waarom eerdere lokale fixes structureel incompleet zijn.
Schaalbare Tweede-Orde Correctie: Ze introduceren HVP en MS-HVP als de eerste tweede-orde correcties die haalbaar zijn gebleken op grote schaal (tot 9B parameters). In tegenstelling tot Integrated Gradients (IG), die computationeel onhaalbaar wordt op deze schaal (vereist $\sim$ 25 GPU-dagen per taak), blijft HVP hanteerbaar.
Ontwerpplek en Workflow: Ze organiseren eerdere verfijningsmethoden op basis van hun doelen en stellen een "Screen-Flag-Fix"-pipeline voor die de computationele inspanning alleen richt op onbetrouwbare componenten, waardoor een balans wordt gevonden tussen nauwkeurigheid en efficiëntie.

Experimentele Resultaten

De auteurs evalueerden hun methode over vijf modelfamilies (124M–9B parameters) en meerdere taken (IOI, Greater-Than, Factual Completion).

Foutreductie: Standaard HVP-correctie vermindert de top-5 relatieve fout met 72–90% voor attention heads en 56–67% voor pre-activatie MLP-neuronen in lage- tot matige krommingregimes. In pathologische hoog-krommingregimes (bijv. Pythia-410M IOI) kan een enkele-stap HVP overschieten, maar MS-HVP (K=5) herstelt de stabiliteit en vermindert de fout met wel 82%.
Vergelijking met Baselines:
- vs. Integrated Gradients (IG): Bij een gelijkwaardige computationele kost vermindert MS-HVP de fout even goed of beter dan IG. Op GPT-2 IOI presteert MS-HVP (kost 10) significant beter dan IG (kost 35) met een 3,5 $\times$ efficiëntiewinst.
- vs. Integrated Hessians (IH): IH presteert consequent minder goed dan MS-HVP omdat het weegschema (ontworpen voor feature-interacties) de specifieke relevante foutterm systematisch ondercorrigeert.
- vs. GIM/AtP:* Deze methoden leveren bescheiden winst op of verslechteren de prestaties, vooral in grotere modellen waar hogere-orde netwerkkromming domineert.
Circuit Recovery: De winst in per-component nauwkeurigheid vertaalt zich naar verbeterde circuit-recovery. Op de GPT-2 Greater-Than benchmark verbeterde MS-HVP (K=5) de top-5 head overlap met de grondwaarheid van 70,1% naar 83,2%, waarmee het zowel IG als GIM overtrof.
Schaalbaarheid: Bij 8B+ parameters is IG onhaalbaar, terwijl HVP praktisch blijft. MS-HVP is de enige tweede-orde correctie die op deze schaal is aangetoond.

Betekenis en Claims

Het artikel beweert dat attributie-patching niet inherent onbetrouwbaar is, maar lijdt onder een specifieke, corrigeerbare bron van fouten: de verwaarlozing van de downstream netwerkkromming. Door de focus te verschuiven van lokale activatie-eigenschappen naar netwerkbrede Hessian-vectorproducten, bieden de auteurs een algemene verklaring voor wanneer attributie-patching faalt en hoe dit te corrigeren.

De betekenis ligt in het mogelijk maken van hoog-getrouwe circuit-recovery op schalen die voorheen onbereikbaar waren voor rigoureuze causale tests. De voorgestelde Screen-Flag-Fix workflow stelt beoefenaars in staat om de snelheid van eerste-orde benaderingen te behouden voor betrouwbare componenten, terwijl ze gerichte, computationeel efficiënte tweede-orde correcties toepassen waar dat nodig is. Deze aanpak ondersteunt de ontdekking van mechanistische circuits in moderne Large Language Models zonder de prohibitieve kosten van volledige activatie-patching of pad-integratiemethoden zoals Integrated Gradients.