Econometric vs. Causal Structure-Learning for Time-Series Policy Decisions: Evidence from the UK COVID-19 Policies

Questo studio confronta i metodi econometrici con gli algoritmi di causalità machine learning nell'analisi delle serie temporali per le decisioni politiche, utilizzando il caso delle misure COVID-19 nel Regno Unito per dimostrare che, sebbene i primi offrano regole temporali chiare, i secondi esplorano uno spazio strutturale più ampio identificando relazioni causali più numerose.

L'essenziale

🕵️‍♂️ Il Grande Mistero della Pandemia: Chi ha fatto cosa?

Immaginate la pandemia di COVID-19 come un enorme labirinto di specchi. Da un lato, abbiamo i dati: il numero di contagi, le chiusure delle scuole, l'uso dei mezzi pubblici, le vaccinazioni. Dall'altro, abbiamo le decisioni politiche.

Il problema è che i dati ci dicono solo cosa è successo insieme (correlazione), non cosa ha causato cosa. È come vedere che quando piove, la gente apre gli ombrelli. I dati ci dicono che piove e gli ombrelli sono aperti, ma non ci dicono se aprire l'ombrello fa piovere! Per prendere decisioni giuste (come "dobbiamo chiudere i pub?"), dobbiamo capire la causalità: l'ombrello è la causa o l'effetto?

Questo studio mette a confronto due squadre di detective per risolvere questo mistero usando i dati del Regno Unito.

---

🥊 La Sfida: Due Squadre di Detective

Squadra A: Gli "Economisti" (I Metodi Econometrici)

Questi detective sono come orologiai esperti. Lavorano da decenni con le serie temporali (dati che cambiano nel tempo, come il prezzo del pane o il tasso di disoccupazione).

• Il loro approccio: Guardano il passato per prevedere il futuro. Per loro, la regola d'oro è: "Il passato influenza il futuro, mai il contrario". Se oggi piove, è perché ieri c'era una nuvola, non perché oggi ho aperto l'ombrello.
• I loro strumenti: Usano tecniche matematiche rigide (come LASSO, SIMONE) che cercano di semplificare il caos, eliminando le connessioni inutili per trovare solo i legami più forti e temporali.
• Il loro difetto: A volte sono troppo rigidi e potrebbero perdere dettagli complessi perché si concentrano troppo sulla sequenza temporale.

Squadra B: Gli "Intelligenze Artificiali" (Il Causal Machine Learning)

Questi detective sono come esploratori di mondi paralleli. Usano algoritmi moderni di Intelligenza Artificiale (come Hill-Climbing o Tabu Search) che cercano di costruire una mappa di tutte le possibili connessioni tra le variabili.

• Il loro approccio: "Lasciamo che i dati parlino!". Esplorano un numero enorme di possibili mappe per vedere quale si adatta meglio ai dati.
• I loro punti di forza: Sono molto bravi a trovare connessioni nascoste e a scoprire relazioni che gli economisti potrebbero ignorare.
• Il loro difetto: Tendono a creare mappe troppo affollate. Immaginate una mappa di Londra dove ogni strada è collegata a ogni altra strada: è difficile capire quale strada prendere! Spesso trovano troppe connessioni, alcune delle quali potrebbero essere false.

---

🧪 L'Esperimento: La Pandemia in Gran Bretagna

Gli autori hanno preso i dati reali del COVID-19 nel Regno Unito (dalle chiusure delle scuole all'uso di Google Maps per vedere dove la gente camminava) e hanno fatto gareggiare queste due squadre contro un "Mappa Maestra" (una conoscenza comune su come dovrebbe funzionare la pandemia).

Ecco cosa è emerso, tradotto in metafore:

1. Le Mappe degli Economisti (Squadra A):

   • Hanno creato mappe più pulite e ordinate. Sapevano che il tempo scorre in una direzione, quindi non hanno collegato il futuro al passato.
   • Tuttavia, le loro mappe erano spesso troppo semplici. Hanno perso molti dettagli e non sono riuscite a trovare molte delle relazioni che sapevamo esistere (come il fatto che chiudere i pub riduce i contagi).
   • Analogia: Hanno disegnato una mappa della metropolitana con solo le linee principali. È ordinata, ma non ti dice come arrivare a destinazione se devi fare un piccolo giro.

2. Le Mappe dell'AI (Squadra B):

   • Hanno creato mappe enormi e caotiche. Hanno trovato tantissime connessioni (migliaia di strade!).
   • Hanno trovato più relazioni causali "identificabili" (cioè hanno detto: "Ehi, se chiudi questo, cambia quello!"), ma il prezzo da pagare è stato una mappa così densa che è difficile da leggere.
   • Analogia: Hanno disegnato una mappa con ogni singolo vicolo, ogni sentiero e ogni passaggio segreto. È piena di informazioni, ma rischi di perderti perché ci sono troppe strade.

3. Il Verdetto sulla Decisione Politica:

   • Quando hanno provato a simulare decisioni (es. "Cosa succede se riduciamo i viaggi in autobus?"), la Squadra Economica (in particolare un metodo chiamato James-Stein) è riuscita a dire: "Sì, ridurre i viaggi riduce i contagi".
   • La Squadra AI ha trovato molte più risposte, ma alcune erano confuse o non rispettavano la logica del tempo (come dire che il futuro influenza il passato).
   • Il risultato chiave: Entrambe le squadre hanno concordato su un punto fondamentale: ridurre gli spostamenti e le interazioni sociali (come i viaggi su Citymapper o le prenotazioni ai ristoranti OpenTable) riduce il rischio di reinfezioni.

---

💡 Cosa Impariamo da Tutto Questo?

Immaginate di dover guidare un'auto in una nebbia fitta (la pandemia).

• Gli Economisti vi danno una bussola che indica solo il Nord (il tempo). È affidabile per la direzione, ma non vi dice dove sono le buche sulla strada.
• L'AI vi dà un radar che vede tutto, ma vi mostra anche fantasmi e ombre, rendendo difficile capire cosa è reale.

La lezione per i politici e per noi:
Non esiste un "super-detettive" perfetto.

• Se usate solo l'AI, rischiate di prendere decisioni basate su connessioni false (troppa confusione).
• Se usate solo gli economisti, potreste ignorare soluzioni innovative perché siete troppo legati alle regole del passato.

La soluzione migliore? Unire le forze. Usare la rigidità temporale degli economisti per tenere l'AI "in riga", e la capacità di esplorazione dell'AI per trovare connessioni che gli economisti non vedono.

In sintesi, lo studio ci dice che per prendere decisioni salvavita durante una crisi, abbiamo bisogno di mappe che rispettino il tempo (ieri causa oggi) ma che siano abbastanza flessibili da non perdere i dettagli importanti. E, fortunatamente, entrambe le squadre sono d'accordo su una cosa: stare a casa e ridurre gli spostamenti funziona. 🏠🚫🚌

Sommario tecnico

1. Il Problema

La progettazione e la valutazione delle politiche pubbliche richiedono la comprensione delle relazioni di causalità (cosa causa cosa), non semplici associazioni. I modelli di Machine Learning (ML) tradizionali sono inadeguati per questo scopo poiché si concentrano sulle correlazioni e non possono simulare l'impatto di azioni ipotetiche (interventi).

Sebbene il Causal Machine Learning (Causal ML) abbia fatto progressi significativi, la maggior parte degli algoritmi è stata sviluppata per dati trasversali (cross-sectional) senza ordine temporale esplicito. L'applicazione del Causal ML ai dati di serie temporali rimane una sfida aperta. Al contrario, l'econometria ha una lunga tradizione nell'analisi delle serie temporali e nello studio della causalità (es. modelli VAR).
Il problema centrale è determinare se i metodi econometrici possano offrire vantaggi rispetto agli algoritmi di Causal ML tradizionali nell'identificare strutture causali da dati di serie temporali reali, e se tali strutture siano sufficientemente robuste per supportare decisioni politiche critiche, come quelle prese durante la pandemia di COVID-19 nel Regno Unito.

2. Metodologia

Gli autori hanno confrontato quattro metodi econometrici con undici algoritmi di Causal ML su un dataset reale relativo al COVID-19 nel Regno Unito (dal 30 gennaio 2020 al 13 giugno 2022).

Dati e Preprocessing

• Dataset: 46 variabili (866 osservazioni giornaliere) che includono indici di mobilità, restrizioni (lockdown, mascherine), dati sanitari (ospedalizzazioni, varianti), test e vaccinazioni.
• Gestione dei dati mancanti: Utilizzo di un modello a spazio di stato con Filtro di Kalman per l'imputazione, preservando le dinamiche temporali.
• Discretizzazione: Le variabili continue sono state discretizzate in tre categorie (basso, medio, alto) tramite clustering k-means per adattarsi ai requisiti dei software di Bayesian Network (BN).

Metodi a Confronto

1. Metodi Econometrici (basati su processi VAR - Vector Auto-Regressive):
   • LASSO: Selezione delle variabili tramite penalizzazione L1 per ottenere grafi sparsi.
   • LAR (Least Angle Regression): Simile al LASSO, identifica sottoinsiemi di predittori.
   • James-Stein Shrinkage (JS): Trasforma le reti di correlazione in DAG (Directed Acyclic Graphs) orientando i collegamenti in base all'ordine temporale.
   • SIMONE: Inferenza di moduli (cluster) nella rete basata su un processo VAR.
   • Media dei modelli: Una combinazione dei grafi appresi dai quattro metodi sopra.
2. Algoritmi di Causal ML:
   • Basati su vincoli (Constraint-based): PC-Stable, GS, IAMB e varianti (Fast-IAMB, Inter-IAMB, IAMB-FDR).
   • Ibridi: H2PC, RSMAX2, MMHC.
   • Basati su punteggio (Score-based): Hill-Climbing (HC), Tabu Search.
   • Nota: Gli algoritmi ML non sono stati vincolati a rispettare l'ordine temporale a priori, a differenza dei metodi econometrici.

Valutazione

I modelli appresi sono stati convertiti in Dynamic Bayesian Networks (DBN) e valutati su cinque dimensioni:

1. Distanza di Hamming Strutturale (SHD): Quanto il grafo appreso si discosta da un "grafo della conoscenza" (basato su letteratura esistente).
2. Complessità del modello: Numero di parametri liberi e numero di archi (densità).
3. Punteggi di selezione del modello: BIC (Bayesian Information Criterion) e Log-Likelihood (LL).
4. Identificabilità degli effetti causali: Quanti effetti causali tra le variabili di interazione e i tassi di infezione sono identificabili dalla struttura.
5. Coerenza con la conoscenza comune: Se la direzione dell'effetto causale (es. lockdown -> riduzione casi) corrisponde all'intuizione medica e politica.

3. Contributi Chiave

• Confronto Sistematico: Prima valutazione diretta che mette a confronto metodi econometrici (spesso usati per policy) e algoritmi di Causal ML moderni su dati di serie temporali reali ad alta dimensionalità.
• Traduzione dei Risultati: Sviluppo di codice per tradurre i risultati dei metodi econometrici nella libreria R bnlearn, rendendoli utilizzabili per l'inferenza causale standard.
• Analisi di Policy Reale: Applicazione del framework a un caso di studio critico (COVID-19 UK) per testare l'utilità pratica delle strutture apprese nel simulare interventi (es. riduzione della mobilità).
• Ibridazione Concettuale: Proposta di integrare i vincoli temporali e le idee di modularità dell'econometria nel Causal ML per migliorare l'identificabilità e la robustezza delle policy.

4. Risultati Principali

• Struttura e Complessità:
  • I metodi Score-based (HC, Tabu) hanno recuperato il maggior numero di effetti identificabili (27 ciascuno), ma a costo di grafi estremamente densi e complessi (fino a 699 archi).
  • I metodi Econometrici hanno prodotto grafi più sparsi (es. SIMONE con 66 archi) ma con un'alta Distanza di Hamming (SHD) rispetto al grafo della conoscenza, indicando una scarsa sovrapposizione strutturale.
  • SIMONE ha ottenuto i migliori punteggi BIC e Log-Likelihood tra i metodi econometrici, superando anche la media dei modelli.
• Valutazione delle Policy:
  • La maggior parte degli algoritmi (inclusi LASSO, LAR, SIMONE e gli algoritmi basati su vincoli) non ha identificato alcun effetto causale coerente con la conoscenza comune.
  • Solo James-Stein (JS) (econometrico) e gli algoritmi Score-based (HC, Tabu) hanno identificato effetti coerenti.
  • Risultato Critico: L'unico effetto causale robusto e coerente tra i metodi econometrici (JS) e ML è che la riduzione degli spostamenti (es. "Citymapper journeys") e delle attività nei ristoranti ("OpenTable") riduce il rischio di reinfezioni. Questo conferma il meccanismo biologico che le interazioni a stretto contatto guidano la trasmissione.
• Limiti Temporali: Gli algoritmi ML, non vincolati all'ordine temporale, hanno prodotto archi che potrebbero violare la causalità temporale (es. effetti dal futuro al passato), rendendo le loro stime meno affidabili per la simulazione di policy temporali rispetto ai metodi econometrici che impongono vincoli VAR.

5. Significato e Conclusioni

Lo studio conclude che non esiste un metodo universalmente superiore, ma che le due famiglie di metodi presentano punti di forza complementari:

• Metodi Econometrici: Forniscono regole chiare per la struttura temporale (causalità passata->presente), sono più parsimoniosi e offrono una base solida per la simulazione di policy temporali, anche se faticano a recuperare tutte le relazioni causali in dataset complessi e rumorosi.
• Causal ML (Score-based): Esplorano uno spazio di strutture più ampio, recuperando più relazioni identificabili, ma tendono a produrre grafi troppo densi e privi di vincoli temporali, il che può portare a conclusioni errate se non regolarizzati adeguatamente.

Implicazioni per le Policy:
Per i decisori politici, i modelli che incorporano esplicitamente la precedenza temporale e penalizzano la complessità (come i metodi econometrici o ML regolarizzati) sembrano più affidabili per lo stress-test degli interventi. La ricerca futura dovrebbe concentrarsi sull'integrazione dei vincoli temporali e della modularità dell'econometria negli algoritmi di Causal ML per migliorare l'identificabilità degli effetti causali in scenari di serie temporali reali.

In sintesi, mentre l'econometria offre un quadro temporale robusto, il Causal ML offre una scoperta più ampia; la combinazione di entrambi è probabilmente la via migliore per supportare decisioni di policy in contesti dinamici come le pandemie.