Causal generalized linear models via Pearson risk invariance

Questo articolo propone un metodo per l'identificazione univoca di modelli lineari generalizzati causali sfruttando l'invarianza del rischio di Pearson e la massimizzazione della verosimiglianza, permettendo di scoprire le relazioni causali anche con un singolo ambiente di dati per distribuzioni come Poisson e logistica, e implementando tale strategia nel pacchetto R `causalreg`.

L'essenziale

Immagina di essere un detective che cerca di capire chi ha davvero commesso un crimine (la causa) e chi è solo un testimone che era lì per caso (una correlazione).

Nel mondo dei dati, spesso confondiamo le due cose. Se vedi che le vendite di gelati e gli incidenti stradali aumentano insieme, potresti pensare che i gelati causino incidenti. In realtà, la vera causa è il caldo: fa venire voglia di gelato e rende le strade più pericolose.

Questo articolo, scritto da Alice Polinelli e colleghi, presenta un nuovo metodo per risolvere questo enigma, specialmente quando i dati sono "strani" o non seguono le regole matematiche classiche (come quando contiamo cose, come il numero di figli o di incidenti, invece di misurare cose continue come il peso o l'altezza).

Ecco come funziona, spiegato con parole semplici e metafore:

1. Il Problema: Troppi "Falsi Amici"

Fino a poco tempo fa, per trovare le vere cause, gli scienziati avevano bisogno di guardare lo stesso fenomeno in molteplici ambienti diversi (ad esempio, guardare il clima in estate, in inverno, e in diverse città). Se una relazione rimaneva stabile in tutti questi ambienti, allora era probabilmente una causa vera.

• Il problema: Spesso non abbiamo dati da così tanti ambienti diversi. Abbiamo solo un "setaccio" di dati da un'unica fonte.

2. La Soluzione: La "Bilancia Perfetta" (Pearson Risk)

Gli autori hanno scoperto un trucco magico per i modelli statistici chiamati Generalized Linear Models (usati per cose come il conteggio di eventi o probabilità sì/no).

Immagina che ogni modello statistico sia un bilanciere.

• Se il modello è sbagliato (include variabili che non sono cause vere), il bilanciere oscilla e non si stabilizza mai.
• Se il modello è vero (include solo le cause reali), il bilanciere si stabilizza in una posizione perfetta e immutabile, indipendentemente da come cambiano le altre variabili nel sistema.

Questa "stabilità perfetta" è chiamata invarianza del rischio Pearson. È come se il modello vero avesse un "codice genetico" che non cambia mai, mentre i modelli falsi cambiano aspetto ogni volta che provi a spostarli.

3. Il Trucco da "Un Solo Ambiente"

La parte più rivoluzionaria è questa: per certi tipi di dati (come i conteggi di eventi, tipo il numero di figli o la probabilità di un incidente), questo "bilanciere perfetto" funziona anche se guardi un solo ambiente.
Non serve avere dati da 100 città diverse. Basta un solo set di dati ben analizzato. È come se il detective potesse capire chi è il colpevole guardando solo la scena del crimine, senza bisogno di interrogare 50 testimoni diversi.

4. Come funziona il metodo (La Caccia al Tesoro)

Il metodo proposto fa due cose principali:

1. Cerca i candidati: Prova a costruire modelli con diverse combinazioni di variabili.
2. Il Test della Stabilità: Controlla se il "bilanciere" (il rischio Pearson) è perfetto. Se lo è, quel modello è un sospettato valido.
3. Il Filtro Finale: Tra i sospettati validi, sceglie quello più semplice ed efficace (usando una regola chiamata BIC), eliminando le variabili superflue che sono solo "spettatori".

5. Esempi Reali (Dove l'hanno usato)

Gli autori hanno testato il loro metodo su due casi reali:

• La Fertilità delle Donne: Hanno analizzato dati su quante figli hanno le donne americane. Il metodo ha scoperto che l'istruzione, l'età e la razza sono le vere cause che influenzano il numero di figli, separandole da semplici correlazioni.
• I Redditi Alti: Hanno cercato di capire chi guadagna più di 50.000 dollari l'anno negli USA. Il metodo ha identificato che l'età, il livello di istruzione, lo stato civile e il tipo di lavoro sono i veri "motori" del reddito alto.

In Sintesi

Immagina di dover trovare la ricetta segreta di un piatto.

• I metodi vecchi ti dicevano: "Assaggia questo piatto in 10 ristoranti diversi; se il sapore è lo stesso, hai trovato la ricetta".
• Questo nuovo metodo dice: "Non serve assaggiarlo in 10 ristoranti. Se guardi bene la struttura degli ingredienti in un solo piatto, puoi capire quali sono gli ingredienti fondamentali che non cambiano mai, anche se il cuoco cambia il modo di mescolare le cose".

È un modo più intelligente, veloce e potente per capire la causalità senza bisogno di avere un'enorme quantità di dati diversi, rendendo possibile scoprire le vere cause anche in situazioni complesse e reali.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Causal generalized linear models via Pearson risk invariance" in italiano.

Titolo: Modelli Generalizzati Lineari Causali tramite Invarianza del Rischio di Pearson

1. Il Problema

L'inferenza causale mira a identificare le relazioni causali tra variabili, garantendo che i modelli di machine learning abbiano una generalizzazione fuori distribuzione (out-of-distribution) e un'interpretazione causale.

• Limitazioni degli approcci esistenti: I metodi recenti per la scoperta causale (come l'Invariant Causal Prediction - ICP) si basano sull'invarianza della distribuzione condizionale di una variabile target rispetto a perturbazioni in ambienti diversi. Tuttavia, questi metodi richiedono solitamente dati provenienti da molti ambienti sufficientemente diversi (es. diversi regimi di intervento), che raramente sono disponibili nella pratica.
• Limiti dei modelli lineari: La maggior parte delle teorie e degli algoritmi esistenti è sviluppata per modelli lineari con errori gaussiani. L'estensione a modelli non lineari o a tipi di risposta generale (es. conteggi, binari) è complessa e spesso richiede ancora dati multi-environment.
• Obiettivo: Sviluppare un metodo per la scoperta causale che funzioni con modelli generalizzati lineari (GLM) e, in casi specifici, che possa identificare la struttura causale utilizzando dati provenienti da un singolo ambiente osservazionale.

2. Metodologia Proposta

Gli autori propongono un approccio basato su un modello a equazioni strutturali (SEM) in cui la variabile target $Y$, condizionata ai suoi genitori causali ($X_{PA}$), segue una distribuzione della famiglia esponenziale a dispersione (Exponential Dispersion Family - EDF).

Ipotesi di base:

• $Y | X_{PA} \sim EDF(b(f_{PA}(x_{PA})), a(\phi))$, dove $f_{PA}$ è una funzione (potenzialmente non lineare e additiva) e $a(\phi)$ è il parametro di dispersione.
• Non vengono fatte assunzioni sulle distribuzioni condizionate delle altre variabili del sistema.

Caratterizzazione del Modello Causale (Teoremi 2 e 3):
Il modello causale vero è caratterizzato univocamente da due proprietà fondamentali:

1. Massimizzazione della verosimiglianza attesa: Il modello causale massimizza la log-verosimiglianza attesa rispetto ai genitori causali.
2. Invarianza del Rischio di Pearson: Il rischio di Pearson atteso del modello causale è uguale al parametro di dispersione $a(\phi)$, indipendentemente dalla distribuzione dei covariati $X$ (inclusi scenari di intervento).
   $$E_{X,Y} \left[ \frac{(Y - \dot{b}(f_{PA}(X)))^2}{\ddot{b}(f_{PA}(X))} \right] = a(\phi)$$
   A differenza del rischio quadratico (usato nei casi gaussiani), il rischio di Pearson normalizza l'errore quadratico per la varianza condizionale, gestendo così l'eteroschedasticità intrinseca dei GLM.

Algoritmi di Ricerca:

• Algoritmo Popolazionale (Teoria): Cerca tra tutti i sottoinsiemi di covariate quelli che soddisfano la condizione di rischio di Pearson perfettamente disperso, selezionando poi il modello più parsimonioso tramite BIC (Bayesian Information Criterion).
• Algoritmo Empirico (Campioni finiti):
  1. Stima i parametri tramite massima verosimiglianza penalizzata per ogni sottoinsieme di covariate.
  2. Testa l'ipotesi nulla che il rischio di Pearson sia uguale a $a(\phi)$ (usando statistiche bootstrap o, nel caso di Poisson, approssimazioni chi-quadro).
  3. Seleziona il modello tra quelli non rifiutati che minimizza il BIC.
• Algoritmo Stepwise: Per gestire sistemi con molte variabili ($2^p$ modelli), viene proposta una ricerca stepwise (aggiunta e rimozione di variabili) che riduce drasticamente il costo computazionale mantenendo alta l'accuratezza.

Punto di forza innovativo: Per i GLM con parametro di dispersione noto (es. Regressione di Poisson e Logistica, dove $a(\phi)=1$), il modello causale può essere identificato da un singolo dataset, senza bisogno di ambienti multipli.

3. Risultati Sperimentali

Lo studio presenta simulazioni e applicazioni empiriche:

• Scenario di Prova (Popolazione): Dimostra che il modello causale massimizza la verosimiglianza solo sui dati osservazionali, ma mantiene un rischio di Pearson stabile (uguale a 1 per Poisson) anche sotto perturbazioni, a differenza dei modelli puramente predittivi che falliscono fuori distribuzione.
• Regressione di Poisson (Simulazione):
  • Su dati simulati con $n=1000$, il metodo identifica correttamente i genitori causali nel 91% dei casi (vs 60% per l'algoritmo PC standard).
  • L'approccio stepwise riduce il tempo di calcolo di circa 5 volte rispetto alla ricerca esaustiva con minima perdita di accuratezza.
• Regressione Logistica (Simulazione): Conferma l'efficacia anche per variabili target binarie, con un aumento dell'accuratezza all'aumentare della dimensione del campione.
• Studi Empirici:
  1. Esperimento "Causal Chambers" (Luce): Identificazione dei genitori causali dell'intensità luminosa. Il metodo ha recuperato parzialmente la struttura vera, evidenziando come la specificazione del link additivo possa talvolta compensare variabili mancanti.
  2. Fertilità femminile (GSS): Identificazione dei determinanti causali del numero di figli. Il modello ha rilevato effetti non lineari dell'età e degli anni di studio (un calo netto della fertilità con alti livelli di istruzione) che i modelli lineari tradizionali non catturavano.
  3. Reddito elevato (Census USA): Identificazione dei fattori causali per redditi >$50k. Il metodo ha evidenziato l'effetto non lineare dell'età e l'impatto significativo di istruzione, stato civile e tipo di occupazione.

4. Contributi Chiave

1. Estensione ai GLM: Generalizzazione della teoria dell'invarianza causale ai modelli generalizzati lineari (Poisson, Logistica, ecc.), gestendo l'eteroschedasticità tramite il rischio di Pearson.
2. Identificabilità da Singolo Ambiente: Dimostrazione teorica e pratica che, per distribuzioni con dispersione nota, è possibile recuperare la causalità senza dati multi-environment, superando una delle principali limitazioni degli attuali metodi di causalità.
3. Flessibilità Non Lineare: Integrazione di strutture additive flessibili (GAM) che permettono di catturare relazioni causali non lineari complesse.
4. Efficienza Computazionale: Proposta di un algoritmo stepwise che rende il metodo scalabile per sistemi con molte variabili.
5. Implementazione Software: Il metodo è implementato nel pacchetto R causalreg.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso l'applicazione pratica della scoperta causale in contesti reali dove:

• I dati sono spesso limitati a un singolo ambiente osservazionale.
• Le variabili di risposta non sono continue e gaussiane (es. conteggi di eventi, esiti binari).
• Le relazioni causali sono intrinsecamente non lineari.

Il metodo offre un ponte tra la teoria dell'invarianza causale e l'uso diffuso dei GLM nelle scienze sociali, sanitarie ed economiche, permettendo di trasformare studi di associazione in studi causali più robusti e interpretabili, con garanzie di generalizzazione fuori distribuzione.