Technische Samenvatting: Certified Interventional Fidelity (CIF)

Probleemstelling

Mechanistische interpreteerbaarheid leunt steeds meer op interventionele evaluaties om causale claims over neurale netwerken te valideren. Deze experimenten omvatten het modificeren van interne toestanden (bijv. activation patching, ablatie, het wisselen van verborgen toestanden) om te testen of een voorgestelde verklaring (zoals een gecomprimeerd model, een circuit of een set neuronen) de oorspronkelijke modelgedrag getrouw reproduceert.

Huidige evaluatiepraktijken lijden aan een gebrek aan statistische rigor. Typisch bezoeken onderzoekers een vast aantal inputs en interventies, berekenen een puntinschatting (bijv. interchange intervention accuracy of patching recovery), en rapporteren dit als een definitieve claim. Echter, workflows voor interpreteerbaarheid zijn inherent sequentieel en adaptief: onderzoekers monitoren resultaten, passen evaluatiesets aan, zoeken naar tegenvoorbeelden en stoppen wanneer het bewijs sterk genoeg lijkt. Zonder een deugdelijke onzekerheidskwantificering die rekening houdt met deze adaptiviteit, kunnen gerapporteerde fideliteiten artefacten zijn van eindige bemonstering of "p-hacking" (data-afhankelijk stoppen), wat leidt tot overdreven claims of verkeerd gerangschikte methoden.

Methodologie: Certified Interventional Fidelity (CIF)

De auteurs stellen Certified Interventional Fidelity (CIF) voor, een statistisch raamwerk dat interventionele interpreteerbaarheids-evaluaties transformeert naar formele causale inferentieproblemen met anytime-valid garanties. CIF is ontworpen als een "statistische laag" die rond bestaande evaluatie-pipelines kan worden geplaatst.

1. Formalisering als Causale Estimanden

CIF vereist dat elke gerapporteerde metriek expliciet wordt gedefinieerd als een begrensde causale estimand.

• Doel: Een verwachtingswaarde $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$, waarbij:
  • $\mathcal{D}$ een verklaarde inputverdeling is.
  • $\Pi$ een verklaarde interventieverdeling is.
  • $Y$ een begrensde score is (typisch $Y \in [0, 1]$), zoals een discrepantie-indicator of een genormaliseerde recovery score.
• Typen Claims:
  • Abstractie/Reductie Fideliteit: Meet de discrepantie tussen een hoog-niveau model $M_H$ en het oorspronkelijke model $M_L$ onder overeenkomstige interventies.
  • Component-Effect/Recovery: Meet de mate waarin het herstellen van een specifieke component (bijv. via patching) het oorspronkelijke gedrag herstelt.

2. Anytime-Valid Confidence Sequences (CS)

Om het probleem van monitoring en adaptief stoppen aan te pakken, maakt CIF gebruik van Confidence Sequences in plaats van fixed-sample betrouwbaarheidsintervallen. Een sequentie van intervallen $(C_n)_{n \ge 1}$ is geldig als $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$. Dit stelt evaluatoren in staat om resultaten op elk moment te controleren en vroegtijdig te stoppen zonder de Type I-foutpercentages op te blazen.

• Hoeffding-stijl CS: Biedt eenvoudige, transparante grenzen gebaseerd op het bereik van de score en de steekproefomvang $n$.
• Betting-gebaseerde CS: Gebruikt een kapitaalproces (martingaal) aanpak (specifiek de Online Newton Step strategie) die zich aanpast aan de empirische variantie van de geobserveerde scores. Deze methode vermindert het aantal benodigde samples voor certificering aanzienlijk vergeleken met Hoeffding-grenzen.

3. Adaptieve Bemonstering met Begrensde Importance Weighting

CIF ondersteunt adaptieve failure-directed sampling, waarbij de interventieverdeling $\Pi$ in de loop van de tijd wordt aangepast om te focussen op waarschijnlijke fouten of hoog-impact componenten.

• Mechanisme: Om de validiteit van de doel-estimand $\theta$ te behouden ondanks de veranderende bemonsteringsverdeling, gebruikt CIF mixture importance weighting. Bij elke stap $t$ trekt de sampler uit een mengeling $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$, waarbij $\tilde{q}_t$ een adaptieve proposal is gebaseerd op de historie.
• Garantie: De importance weights $w_t = \Pi(I_t)/q_t(I_t)$ zijn begrensd door $W_{max} = 1/(1-\alpha)$. Het raamwerk gebruikt Horvitz-Thompson-stijl estimators en martingaal-gebaseerde grenzen om ervoor te zorgen dat de confidence sequences geldig blijven voor de oorspronkelijke doelverdeling $\Pi$, zelfs wanneer er adaptief wordt bemonsterd.

4. Meervoudige Vergelijkingen en Selectie

Wanneer meerdere componenten of circuits worden gescand, adresseert CIF het probleem van selectiebias door het volgende aan te bevelen:

• Bonferroni-correctie (toewijzing van $\delta/K$ per component).
• Sequentiële "peeling" (stoppen van bemonstering voor duidelijk suboptimale kandidaten).
• Anytime-valid False Discovery Rate (FDR) controle methoden.

Belangrijkste Bijdragen

1. Herformulering: Het artikel herformuleert interventionele interpreteerbaarheidsmetrieken als sequentiële causale inferentieproblemen, waarbij het wetenschappelijke vraagstuk (de estimand) wordt gescheiden van de bemonsteringsprocedure.
2. Statistische Garanties: Het biedt eindige-steekproef, anytime-valid confidence sequences voor deze estimanden, geldig onder willekeurige monitoring en data-afhankelijke stopstrategieën.
3. Adaptieve Efficiëntie: Het introduceert adaptieve CIF met begrensde mixture importance weighting, wat efficiënte "failure mining" mogelijk maakt terwijl de statistische validiteit behouden blijft.
4. Variantie-Adaptieve Betting: Het demonstreert dat betting-gebaseerde confidence sequences de kosten van certificering met 10–30$\times$ kunnen verlagen ten opzichte van standaard Hoeffding-grenzen door gebruik te maken van empirische variantie.
5. Praktische Tooling: De auteurs bieden algoritmen voor certificering, gepaarde vergelijkingen en adaptieve bemonstering, samen met een rapportagechecklist voor het toepassen van CIF op nieuwe evaluaties.

Experimentele Resultaten

De auteurs evalueerden CIF op twee primaire benchmarks:

1. MNIST Neural Abstractions:

   • Setup: Evalueerde abstractie-fideliteit (Interchange Intervention Accuracy) voor diverse pruning en compressiemethoden op een 3-laagse MLP.
   • Bevindingen: Onder agressieve interventie ($p=0.5$) kon geen enkele methode als hoog-fideel worden gecertificeerd ($F \ge 0.90$), een negatief resultaat dat door louter puntinschattingen verborgen zou kunnen blijven. Onder mildere interventies ($p=0.1$) certificeerden betting-gebaseerde CS's claims van hoge fideliteit met drastisch minder forward passes (bijv. 64 samples vs. 1.141 voor Hoeffding). Adaptieve bemonstering bleek effectiever voor het vinden van fouten dan voor het certificeren van reeds hoge fideliteiten.

2. GPT-2 Small IOI Circuits:

   • Setup: Evalueerde patching recovery scores voor circuits ontdekt via ACDC, attribution patching en handmatig geïdentificeerde methoden op de Indirect Object Identification taak.
   • Bevindingen: Alle circuits vertoonden hoge puntinschattingen ($\hat{\mu} \in [0.959, 0.972]$). Echter, Hoeffding-grenzen waren te breed om hoge drempelwaarden te certificeren binnen het budget van 2.000 samples. Betting-gebaseerde CS's slaagden erin $\mu \ge 0.95$ te certificeren voor de volledige 13-head circuit in slechts 357 samples, terwijl Hoeffding meer dan 2.000 samples nodig had.

3. Sensitiviteit en Dekking:

   • Sensitiviteitsanalyse toonde aan dat bij hoge perturbatieniveaus de keuze van de discrepantiemetriek (bijv. 0-1 loss vs. KL-divergentie) tot niet-overlappende confidence intervallen kon leiden, waardoor de keuze van de metriek een kritieke factor werd voor kwalitatieve conclusies.
   • Validatie van de dekking bevestigde dat zowel Hoeffding als betting CS's de empirische dekking op of boven het nominale niveau (bijv. 95%) bereikten, zelfs onder agressieve "peeking" protocollen.

Betekenis en Claims

Het artikel positioneert CIF niet als een nieuwe methode voor het ontdekken van circuits of abstracties, maar als een verificatielaag voor de schattingszijde van mechanistische interpreteerbaarheid.

• Aanpak van de "Ontbrekende Schakel": De auteurs stellen dat hoewel de causale inkadering van interpreteerbaarheid is gevestigd, de statistische praktijk vaak informeel is. CIF vult dit gat door rigoureuze onzekerheidskwantificering te bieden die standhoudt onder de adaptieve aard van interpreteerbaarheidsresearch.
• Kostenreductie: Een belangrijke praktische claim is dat de keuze van de statistische constructie (Hoeffding vs. Betting) de kosten van certificering met een orde van grootte kan veranderen, wat rigoureuze evaluatie van dure modellen zoals GPT-2 haalbaar maakt.
• Transparantie: CIF dwingt onderzoekers om de input- en interventieverdelingen expliciet te verklaren, waardoor de reikwijdte van de claim expliciet wordt gemaakt en de gevoeligheid voor deze ontwerpkeuzes wordt blootgelegd.
• Beperkingen: De auteurs geven expliciet aan dat CIF het identificatieprobleem niet oplost (dat wil zeggen, of een gekozen abstractie werkelijk de causale structuur van belang vangt); het lost enkel het schattingsprobleem op (het betrouwbaar schatten van de fideliteit van een voorgestelde claim gegeven een specifieke metriek en verdeling). Het gaat ook uit van begrensde scores, hoewel clipping of sub-Gaussische varianten dit kunnen uitbreiden.

Samenvattend biedt CIF een raamwerk om "puntinschattingen" om te zetten in "gecertificeerde claims", waardoor conclusies over mechanistische verklaringen robuust zijn tegen eindige bemonstering, monitoring en adaptieve zoekstrategieën.