Estimation and Inference for Causal Explainability

Titel: Schatting en Inferentie voor Causale Verklaarbaarheid

1. Probleemstelling

In veel disciplines is het cruciaal om te begrijpen hoeveel elke variabele bijdraagt aan een uitkomst (outcome). Traditionele methoden voor "verklaarbaarheid" (explainability) zijn vaak gebaseerd op associaties, wat beperkingen heeft wat betreft het onthullen van onderliggende mechanismen en generalisatie naar nieuwe contexten.
De auteurs richten zich op Causale ANOVA, een raamwerk dat de functionaliteit van klassieke ANOVA en Sobol-indices uitbreidt naar een contrafactueel perspectief. Dit stelt onderzoekers in staat om de "verklaarbaarheid" (explainability) van individuele factoren en hun interacties te kwantificeren.

De centrale uitdagingen die dit artikel adresseert zijn:

• Geen "Oracle" beschikbaar: Veel bestaande methoden veronderstellen dat men toegang heeft tot een "oracle" (bijv. een zwartkist-model) om uitkomsten te evalueren bij willekeurige invoerwaarden. In sociale wetenschappen en genetica hebben onderzoekers echter vaak alleen geobserveerde steekproeven, zonder toegang tot dergelijke oracles.
• Semi-parametrische efficiëntie: Er is behoefte aan methoden die schattingen en inferentie mogelijk maken voor eindig-dimensionale parameters (zoals verklaarbaarheid) terwijl storende componenten (nuisance parameters) niet-parametrisch worden geschat.
• Degeneratie onder de nulhypothese: Wanneer de verklaarbaarheid nul is (de parameter ligt op de rand van de parameterruimte), verdwijnt de leidende term in de asymptotische expansie van de schatter. Dit maakt standaard inferentie (zoals het bouwen van betrouwbaarheidsintervallen op basis van de normale verdeling) ongeldig.

2. Methodologie

De auteurs ontwikkelen een semi-parametrisch raamwerk voor schatting en inferentie, gebaseerd op de volgende pijlers:

A. Causale ANOVA en Identificeerbaarheid

• Het model veronderstelt onafhankelijke behandelingen ($W_k$) en een additief foutmodel (NPSEM-IE: $Y = f_Y(W) + E_Y$).
• Totale verklaarbaarheid ($\xi$) wordt gedefinieerd als de variantie van het verschil tussen de feitelijke uitkomst en een contrafactuele uitkomst waarbij een subset van factoren ($W_S$) wordt vervangen door een onafhankelijke kopie ($W'_S$).
• Interactieve verklaarbaarheid wordt gedefinieerd via een verschil-in-verschillen contrast.
• Onder deze aannames zijn deze grootheden identificeerbaar en kunnen worden uitgedrukt in termen van voorwaardelijke verwachtingen ($E[Y|W]$).

B. Efficiënte Invloedfuncties en One-Step Correctie

• De auteurs leiden de efficiënte invloedfunctie (EIF) af voor de Causale ANOVA parameters.
• Kerninnovatie: Ze projecteren de standaard niet-parametrische invloedfunctie op de tangentruimte van het model met onafhankelijke factoren. Door expliciet gebruik te maken van de onafhankelijkheidsstructuur van de factoren, wordt de asymptotische variantie van de schatter verminderd ten opzichte van methoden die deze structuur negeren.
• Ze construeren een one-step correctie schatter (gebaseerd op cross-fitting) die de plug-in schatter corrigeert met de gemiddelde invloedfunctie. Dit garandeert dat de schatter consistent is en asymptotisch normaal verdeeld is, zelfs als de storende functies (zoals $E[Y|W]$) met machine learning-methoden worden geschat, mits deze met een voldoende snelheid convergeren ($o_P(n^{-1/4})$).

C. Inferentie bij Degeneratie (Randomization Inference)

• Wanneer de verklaarbaarheid nul is, is de invloedfunctie nul en is de asymptotische verdeling niet langer normaal.
• De auteurs tonen aan dat de nulhypothese van "zero total explainability" equivalent is aan Fishers scherpe nulhypothese (sharp null): het veranderen van $W_S$ heeft geen effect op $Y$ voor een vaste $W_{-S}$.
• Hierop baseren ze een randomization-based test procedure. In plaats van steekproeven te splitsen of ruis toe te voegen, worden de waarden van $W_S$ binnen de steekproef permuteren (onder behoud van de onafhankelijkheidsstructuur) om een randomisatieverdeling te genereren. Dit levert een exacte p-waarde op, zelfs in kleine steekproeven.

D. Sequentiële Procedure

• Omdat het van tevoren onbekend is of de nulhypothese degeneraat is, stellen de auteurs een sequentiële procedure voor:
  1. Voer eerst de randomization test uit. Als de nulhypothese niet wordt verworpen, geef $\{0\}$ als resultaat.
  2. Als de nul wordt verworpen, gebruik dan de asymptotische normaalverdeling van de one-step schatter om een betrouwbaarheidsinterval te construeren.
• Deze aanpak garandeert geldige dekking ongeacht of de ware parameter op de rand ligt of niet.

3. Belangrijkste Bijdragen

1. Efficiëntie door Onafhankelijkheid: De afleiding van een nieuwe efficiënte invloedfunctie die de onafhankelijkheidsstructuur van de factoren expliciet benut. Dit resulteert in een schatter met een lagere asymptotische variantie dan bestaande methoden die deze structuur negeren.
2. Validiteit bij Randvoorwaarden: Een oplossing voor het probleem van degeneratie bij nul-hypothese door een randomization-based test te combineren met semi-parametrische inferentie, zonder verlies van power door steekproefsplitsing.
3. Praktische Toepasbaarheid: De methode vereist geen "oracle" en werkt op geobserveerde data, wat het toepasbaar maakt in domeinen zoals genetica en sociale wetenschappen.
4. Empirische Validatie: Uitgebreide simulaties en een toepassing op een reële dataset tonen aan dat de methode nauwkeurige schattingen en correcte dekking biedt.

4. Resultaten

• Simulaties:

  • De schatter gebaseerd op de efficiënte invloedfunctie ($\phi_{EIF}$) vertoont een lagere variantie dan de schatter die onafhankelijkheid negeert ($\phi_{IF}$), vooral wanneer de storende functies goed worden geschat.
  • Bij geschatte storende functies (met machine learning) blijft de $\phi_{EIF}$-methode efficiënter, hoewel de winst kleiner wordt door de complexiteit van de schatting. De auteurs adviseren echter om in kleine steekproeven of bij onzekerheid over de storende functies de eenvoudigere $\phi_{IF}$-methode te gebruiken voor robuustheid.
  • De sequentiële procedure behoudt de correcte dekking (coverage) zowel voor degenererende als niet-degenererende nullen.

• Toepassing op Immigratie-Experiment:

  • De methode werd toegepast op een dataset van een conjoint-analyse-experiment over de perceptie van immigranten in de VS (Hainmueller et al., 2015).
  • Totale verklaarbaarheid: Factoren zoals "Job Plan" (0.088), "Education & Profession" (0.058) en "Language" (0.032) hadden een significant positieve causale verklaarbaarheid voor de mening over immigratie. "Gender" bleek niet significant.
  • Interactie: Er werd een significante interactie gevonden tussen "Job Plan" en "Job Experience", wat suggereert dat de impact van een werkplan afhangt van de werkervaring.

5. Betekenis en Toekomstperspectief

Dit werk vormt een belangrijke brug tussen causale inferentie en de interpretatie van complexe modellen in data-gedreven wetenschappen.

• Wetenschappelijke Impact: Het biedt een rigoureuze, modelvrije manier om de bijdrage van variabelen en hun interacties te kwantificeren, wat essentieel is voor het begrijpen van mechanismen in plaats van alleen correlaties.
• Methodologische Vooruitgang: Het oplossen van het probleem van degeneratie bij de rand van de parameterruimte met een randomization-based aanpak is een significante bijdrage aan de semi-parametrische statistiek.
• Toekomstige Richtingen: De auteurs wijzen op de uitdagingen bij afhankelijke factoren (waarbij de parameters slechts gedeeltelijk identificeerbaar zijn) en de noodzaak van correcties voor meervoudig toetsen bij het testen van vele factoren en interacties tegelijkertijd.

Samenvattend biedt dit artikel een robuust, efficiënt en praktisch toepasbaar raamwerk voor het meten van causale verklaarbaarheid in real-world datasets zonder toegang tot oracles.