Estimation and Inference for Causal Explainability

Titolo: Stima e Inferenza per l'Esplicabilità Causale

1. Problema e Contesto

La comprensione di quanto ogni variabile contribuisca a un risultato è una questione centrale in discipline che vanno dalle scienze sociali alla genetica. Mentre le misure basate sull'associazione sono comuni, l'approccio causale è preferito per la sua capacità di rivelare i meccanismi sottostanti e di generalizzare in nuovi contesti.
Il problema specifico affrontato è l'analisi statistica delle quantità ANOVA Causale (Causal ANOVA), che generalizzano l'ANOVA funzionale e gli indici di Sobol in una prospettiva controfattuale per misurare l'esplicabilità (explainability).

• Sfida principale: La maggior parte dei lavori precedenti assume la disponibilità di un "oracolo" (un modello di machine learning black-box) per valutare i risultati su input arbitrari. Tuttavia, in molti domini (scienze sociali, genetica), i ricercatori dispongono solo di campioni di dati raccolti e non hanno accesso a tali oracoli.
• Obiettivo: Sviluppare metodi semi-parametrici per l'estimazione e l'inferenza delle quantità ANOVA causali utilizzando solo dati osservati, senza assunzioni di modello parametriche rigide e senza oracoli.

2. Metodologia

Gli autori propongono un quadro basato sulla teoria dell'efficienza semi-parametrica e sull'inferenza randomizzata.

A. Definizione delle Quantità di Interesse
Sotto l'assunzione di trattamenti indipendenti ($W_k \perp \perp W_{k'}$) e un modello strutturale non parametrico con errori additivi indipendenti (NPSEM-IE), definiscono:

• Esplicabilità Totale ($\xi$): La varianza della differenza tra il risultato osservato e un controfattuale in cui un sottoinsieme di fattori $S$ viene sostituito da una copia indipendente.
• Esplicabilità di Interazione: La varianza di una differenza di differenze (contrast) che isola l'effetto congiunto di due o più fattori.

B. Stima Semi-Parametrica e Funzioni di Influenza

• Funzione di Influenza Efficiente (EIF): Derivano la funzione di influenza efficiente ($\phi_{EIF}$) per le quantità ANOVA causali. A differenza della funzione di influenza standard ($\phi_{IF}$) che ignora la struttura dei dati, l'$\phi_{EIF}$ proietta la funzione di influenza sullo spazio tangente del modello vincolato dall'indipendenza dei fattori.
• Vantaggio dell'Indipendenza: Sfruttando esplicitamente la struttura di indipendenza tra i fattori $W_k$, la varianza asintotica dell'estimatore viene ridotta rispetto agli estimatori che trattano i fattori come dipendenti o non strutturati.
• Stimatore One-Step Correction: Costruiscono uno stimatore corretto in un passo ($\hat{\xi}$) utilizzando la formula:
  $$\hat{\xi} = \xi(\hat{P}) + \mathbb{P}_n \hat{\phi}$$
  dove $\hat{P}$ è una stima delle componenti di disturbo (nuisance parameters) e $\hat{\phi}$ è la funzione di influenza stimata. Utilizzano la procedura di cross-fitting per evitare il bias di sovrapposizione (overfitting) e garantire la validità asintotica anche con stimatori di machine learning flessibili per le componenti di disturbo.

C. Inferenza per Null Degeneri
Un problema critico è il caso "degenere" in cui l'esplicabilità è zero (il parametro si trova al bordo dello spazio dei parametri). In questo caso, la funzione di influenza si annulla e la distribuzione asintotica standard (normale) non è valida per costruire intervalli di confidenza.

• Soluzione: Gli autori dimostrano che il nullo di esplicabilità zero è equivalente al nullo sharp di Fisher (l'outcome non cambia al variare dei fattori $S$).
• Procedura Randomizzata: Propongono un test basato sulla randomizzazione (permutazione dei fattori $S$ all'interno dei blocchi di osservazione) che è valido in campioni finiti e non richiede splitting del campione o iniezione di rumore.
• Procedura Sequenziale: Integrano il test di randomizzazione con l'intervallo di confidenza asintotico (valido per null non degeneri) in una procedura sequenziale che produce un insieme di confidenza valido indipendentemente dal fatto che il nullo sia degenere o meno.

3. Risultati Chiave

A. Simulazioni

• Efficienza: Gli stimatori basati su $\phi_{EIF}$ (che sfruttano l'indipendenza) mostrano una varianza asintotica inferiore rispetto a quelli basati su $\phi_{IF}$ (che ignorano la struttura), confermando la teoria.
• Robustezza: In campioni finiti con stime delle componenti di disturbo complesse (es. interazioni di ordine superiore), l'estimatore $\phi_{IF}$ può talvolta essere più robusto a causa della minore complessità delle componenti di disturbo da stimare, suggerendo un compromesso pratico tra efficienza teorica e stabilità numerica.
• Copertura: La procedura sequenziale mantiene una copertura corretta degli intervalli di confidenza sia in presenza di null degeneri che non degeneri.

B. Analisi Dati Reali (Esperimento sull'Immigrazione)
Gli autori applicano il metodo a un dataset di un esperimento di analisi congiunta (conjoint analysis) su 1396 intervistati, che valutano profili di immigrati.

• Fattori Significativi: Identificano che "Piano di Lavoro" (Job Plan), "Istruzione e Professione", "Lingua" e "Esperienza Lavorativa" hanno un'esplicabilità causale totale significativamente positiva per l'opinione pubblica sull'ammissione degli immigrati. Il "Genere" non mostra esplicabilità significativa.
• Interazioni: Viene rilevata un'interazione significativa tra "Piano di Lavoro" ed "Esperienza Lavorativa", suggerendo che il valore percepito dell'esperienza dipende dal tipo di piano lavorativo proposto.
• Confronto: I risultati sono coerenti con metodi esistenti (come ACIE - Average Component Interaction Effects), ma offrono un quadro inferenziale più rigoroso basato su principi causali e semi-parametrici.

4. Contributi Principali

1. Framework Semi-Parametrico: Sviluppo di metodi di stima e inferenza per l'ANOVA causale che non richiedono oracoli e funzionano su dati campionari osservati.
2. Efficienza tramite Indipendenza: Derivazione della funzione di influenza efficiente che sfrutta esplicitamente l'indipendenza dei fattori per ridurre la varianza asintotica, un risultato che si estende anche ad altri contesti come i test A/B fattoriali.
3. Inferenza per Null Degeneri: Proposta di una procedura di inferenza basata sulla randomizzazione che risolve il problema della distribuzione degenerata quando l'effetto è zero, evitando tecniche costose come lo splitting del campione.
4. Procedura Sequenziale Unificata: Creazione di un algoritmo che combina test di randomizzazione e intervalli di confidenza asintotici per fornire inferenze valide in tutti i casi.

5. Significato e Impatto

Questo lavoro colma un divario significativo tra la teoria dell'esplicabilità causale (spesso basata su modelli generativi o oracoli) e la pratica statistica reale (dati osservati).

• Rigor Scientifico: Fornisce una base teorica solida per quantificare l'importanza delle variabili e delle loro interazioni in modo causale, superando le limitazioni delle misure di associazione.
• Applicabilità Pratica: Le metodologie sono direttamente applicabili in scienze sociali, genetica e medicina, dove i dati sono spesso raccolti tramite sondaggi o studi osservazionali con strutture di indipendenza note (es. randomizzazione di attributi).
• Innovazione Metodologica: L'integrazione di tecniche semi-parametriche avanzate (funzioni di influenza, cross-fitting) con l'inferenza randomizzata classica offre un nuovo paradigma per l'analisi di sensibilità e importanza delle variabili in contesti complessi.

In sintesi, il paper offre un toolkit statistico completo per rispondere alla domanda "quanto conta questo fattore?" in modo causalmente valido, efficiente e robusto, anche quando l'effetto è nullo.