Causal Mediation Analysis for an Interrupted Time Series: Stabilized Mediator Weighting with an Application to a Vehicle Emissions Policy

I decisori politici spesso introducono cambiamenti ampi, come nuove leggi o regolamenti ambientali, in una data specifica, sperando di vedere un netto mutamento nel modo in cui le cose funzionano. Per misurare il successo di questi cambiamenti, gli scienziati spesso osservano una singola, lunga linea di punti dati raccolti nel tempo, come le letture quotidiane della qualità dell'aria. Questo approccio, noto come serie temporale interrotta, è eccellente nel individuare il cambiamento totale che avviene dopo l'implementazione di una politica. Tuttavia, spesso lascia una domanda cruciale senza risposta: la politica ha funzionato cambiando direttamente l'esito, o ha funzionato cambiando prima un fattore intermedio che ha poi influenzato l'esito? Ad esempio, se una città vieta un certo tipo di auto, l'aria diventa più pulita perché ci sono meno auto, o perché le auto rimanenti viaggiano di meno? Sbrogliare questi due percorsi — la via diretta e la via indiretta attraverso un passaggio intermedio — è difficile quando i dati provengono da un solo luogo e da un unico flusso continuo di tempo, piuttosto che da molti gruppi separati di persone.

Un team di statistici dell'Università del Manitoba ha sviluppato un nuovo modo per risolvere questo enigma. Hanno creato un metodo che può separare l'effetto totale di una politica nelle sue parti dirette e indirette, anche lavorando con un singolo, ininterrotto record di dati giornalieri. Il loro approccio è stato testato prima su simulazioni al computer progettate per imitare i modelli quotidiani del mondo reale, dove hanno scoperto che metodi più vecchi e semplici producevano risultati fuorvianti quando fattori nascosti influenzavano i dati. Hanno poi applicato la loro nuova tecnica a un evento del mondo reale: la fine del programma di test delle emissioni dei veicoli "Drive Clean" dell'Ontario nel 2019. Analizzando i dati quotidiani sulla qualità dell'aria di quattro regioni di Toronto, hanno scoperto che la fine del programma di test ha portato a una riduzione misurabile dell'ozono a livello del suolo, ma il percorso verso tale calo è stato più complesso di una semplice catena di causa ed effetto.

I ricercatori si sono concentrati su un cambiamento politico specifico: la cessazione dei test obbligatori sulle emissioni dei veicoli per i veicoli leggeri in Ontario il 1° aprile 2019. Prima di questa data, le auto dovevano superare controlli regolari per garantire che non inquinassero troppo. Dopo la fine del programma, i ricercatori volevano sapere come questa decisione avesse influenzato l'ozono a livello del suolo. Sospettavano che l'effetto potesse viaggiare attraverso il biossido di azoto, un gas emesso dai veicoli che è strettamente legato alla formazione dell'ozono. In molte aree urbane, la relazione tra questi due inquinanti è controintuitiva; a volte, una diminuzione del biossido di azoto può effettivamente portare a un aumento dell'ozono, mentre in altri casi, porta a una diminuzione. Questa complessità rende difficile capire se un cambiamento nell'ozono sia un risultato diretto della politica o un effetto collaterale dei cambiamenti nel biossido di azoto.

Per capire questo, il team ha dovuto superare un grande ostacolo statistico. I metodi standard per analizzare tali dati spesso assumono che i punti dati siano indipendenti, come lanciare una moneta molte volte. Ma i dati quotidiani sulla qualità dell'aria non sono indipendenti; la qualità dell'aria di martedì è fortemente influenzata dal meteo e dai livelli di inquinamento di lunedì. Inoltre, il cambiamento politico è avvenuto in una data fissa, che è una certezza, non un evento casuale. I ricercatori si sono resi conto che gli strumenti esistenti per separare gli effetti diretti e indiretti erano costruiti per studi con molte persone o gruppi diversi, non per una singola, continua linea temporale. Hanno adattato una tecnica chiamata "pesatura del mediatore stabilizzato". In termini semplici, questo metodo crea una popolazione virtuale in cui il legame tra il fattore intermedio (biossido di azoto) e l'esito finale (ozono) non è distorto da altre condizioni meteorologiche variabili. Regolando i dati per tenere conto di queste influenze nascoste, hanno potuto isolare il vero effetto della politica.

Dovevano anche tenere conto di un secondo evento importante avvenuto in seguito: l'inizio della pandemia nel marzo 2020, che ha drasticamente cambiato i modelli di traffico e le emissioni. Per garantire che stessero misurando l'effetto del programma di test delle emissioni e non quello della pandemia, hanno trattato l'inizio della pandemia come una seconda interruzione nella loro linea temporale. Hanno testato estensivamente il loro nuovo metodo utilizzando simulazioni al computer che generavano migliaia di giorni di dati finti con modelli noti. In questi test, hanno scoperto che i vecchi metodi non pesati fallivano gravemente in presenza di fattori nascosti, mancando spesso l'effetto indiretto o sbagliando la direzione dell'effetto. Il loro nuovo metodo, che utilizzava l'approccio pesato, ha recuperato con successo i veri effetti nelle simulazioni, riducendo significativamente gli errori e fornendo un quadro molto più affidabile di ciò che stava accadendo.

Quando hanno applicato questo metodo raffinato ai dati reali di Toronto, i risultati hanno rivelato una storia sfumata. L'analisi ha coperto quattro regioni distinte della città: Downtown, East, West e North. I ricercatori hanno scoperto che la fine del programma di test delle emissioni era associata a una riduzione diretta dell'ozono a livello del suolo. In tutte e quattro le regioni, l'effetto diretto è stato un calo di circa 2,1 parti per miliardo. Ciò significa che il cambiamento politico stesso, o le condizioni circostanti, hanno portato a un'aria più pulita direttamente, indipendentemente da ciò che accadeva al biossido di azoto. Questo risultato è rimasto valido anche quando hanno esaminato i dati prima dell'inizio della pandemia, suggerendo che il risultato fosse robusto e non un artefatto dei lockdown.

Tuttavia, il percorso indiretto raccontava una storia diversa. L'effetto della politica sull'ozono che viaggiava attraverso il biossido di azoto non era costante in tutta la città. In tre delle quattro regioni, l'effetto indiretto era positivo, il che significa che i cambiamenti nel biossido di azoto spingevano effettivamente i livelli di ozono verso l'alto. Ma nel denso nucleo Downtown, l'effetto indiretto era negativo, abbassando i livelli di ozono. Quando i ricercatori hanno combinato i risultati regionali, gli effetti indiretti positivi e negativi si sono in gran parte annullati a vicenda, risultando in un effetto indiretto totale vicino allo zero e non statisticamente significativo. Ciò evidenzia un punto critico: se i ricercatori avessero guardato solo il cambiamento totale senza separare i percorsi diretti e indiretti, avrebbero potuto perdere la forte e costante riduzione diretta dell'ozono e le complesse forze opposte in atto nei diversi quartieri.

Lo studio conclude che il nuovo metodo fornisce uno strumento potente per comprendere come funzionano le politiche nel mondo reale. Separando l'impatto diretto di un intervento dall'impatto indiretto che fluisce attraverso passaggi intermedi, gli scienziati possono ottenere un quadro più chiaro di causa ed effetto. Nel caso del programma Drive Clean dell'Ontario, l'evidenza suggerisce che la cessazione dei test ha portato a un miglioramento diretto dei livelli di ozono, un risultato che si allinea con quanto osservato dagli scienziati atmosferici su come l'ozono si comporta nelle città trafficate. La ricerca dimostra anche che fare affidamento su metodi semplici e non regolati può portare a conclusioni errate, specialmente quando si trattano dati ambientali complessi e interconnessi. La capacità di distinguere tra un effetto politico diretto e una catena di reazioni indirette offre un modo più preciso per valutare il vero impatto delle regolamentazioni sulla salute pubblica e sull'ambiente.