Causal Mediation Analysis for an Interrupted Time Series: Stabilized Mediator Weighting with an Application to a Vehicle Emissions Policy

Beleidsmakers voeren vaak ingrijpende veranderingen door, zoals nieuwe wetten of milieuregels, op een specifieke datum, in de hoop een duidelijke verschuiving in de werking van zaken te zien. Om het succes van deze veranderingen te meten, kijken wetenschappers vaak naar een enkele, lange reeks datapunten die over een bepaalde tijd zijn verzameld, zoals dagelijkse luchtkwaliteitsmetingen. Deze aanpak, bekend als een onderbroken tijdreeksanalyse, is uitstekend in het opsporen van de totale verandering die optreedt nadat een beleid is geïmplementeerd. Het laat echter vaak een cruciale vraag onbeantwoord: heeft het beleid gewerkt door direct de uitkomst te veranderen, of werkte het door eerst een tussenliggende factor te veranderen die vervolgens de uitkomst beïnvloedde? Als een stad bijvoorbeeld een bepaald type auto verbiedt, wordt de lucht dan schoner omdat er minder auto's zijn, of omdat de resterende auto's minder rijden? Het ontwarren van deze twee paden — de directe route en de indirecte route via een tussenstap — is moeilijk wanneer de data afkomstig zijn van slechts één plek en één continue stroom van tijd, in plaats van van veel verschillende groepen mensen.

Een team van statistici aan de Universiteit van Manitoba heeft een nieuwe manier ontwikkeld om dit puzzelstuk op te lossen. Ze hebben een methode ontwikkeld die de totale effect van een beleid kan scheiden in de directe en indirecte delen, zelfs wanneer er wordt gewerkt met een enkele, ononderbroken reeks dagelijkse gegevens. Hun aanpak werd eerst getest op computersimulaties die ontworpen zijn om realistische dagelijkse patronen na te bootsen, waarbij ze ontdekten dat oudere, eenvoudigere methoden vaak misleidende resultaten produceerden wanneer verborgen factoren de data beïnvloedden. Vervolgens pasten ze hun nieuwe techniek toe op een echte gebeurtenis: het einde van het "Drive Clean" voertuigemissietestprogramma in Ontario in 2019. Door de dagelijkse luchtkwaliteitsgegevens van vier regio's in Toronto te analyseren, ontdekten zij dat het beëindigen van het testprogramma leidde tot een meetbare daling van het grondniveau van ozon, maar dat het pad naar die daling complexer was dan een eenvoudige oorzaak-gevolgketen.

De onderzoekers richtten zich op een specifieke beleidsverandering: de beëindiging van verplichte voertuigemissietests voor lichte voertuigen in Ontario op 1 april 2019. Vóór deze datum moesten auto's regelmatige controles ondergaan om te garanderen dat ze niet te veel vervuilen. Nadat het programma stopte, wilden de onderzoekers weten hoe deze beslissing de ozon op grondniveau beïnvloedde, een schadelijke component van smog. Ze vermoedden dat het effect zou reizen via stikstofdioxide, een gas dat door voertuigen wordt uitgestoten en nauw verbonden is met de vorming van ozon. In veel stedelijke gebieden is de relatie tussen deze twee verontreinigende stoffen contra-intuïtief; soms leidt een daling van stikstofdioxide tot een stijging van ozon, terwijl het in andere gevallen tot een daling leidt. Deze complexiteit maakt het moeilijk om te bepalen of een verandering in ozon een direct gevolg is van het beleid of een bijeffect van veranderingen in stikstofdioxide.

Om dit te achterhalen, moest het team een grote statistische hindernis overwinnen. Standaardmethoden voor het analyseren van dergelijke gegevens gaan er vaak van uit dat de datapunten onafhankelijk zijn, zoals het vele malen opgooien van een munt. Maar dagelijkse luchtkwaliteitsgegevens zijn niet onafhankelijk; de luchtkwaliteit op dinsdag wordt sterk beïnvloed door het weer en de vervuilingsniveaus van maandag. Bovendien vond de beleidsverandering plaats op een vaste datum, wat een zekerheid is en geen toevallige gebeurtenis. De onderzoekers realiseerden zich dat bestaande instrumenten voor het scheiden van directe en indirecte effecten gebouwd waren voor studies met veel verschillende mensen of groepen, en niet voor een enkele, continue tijdlijn. Ze pasten een techniek genaamd "stabilized mediator weighting" aan. In eenvoudige bewoordingen creëert deze methode een virtuele populatie waarin de link tussen de tussenliggende factor (stikstofdioxide) en de uiteindelijke uitkomst (ozon) niet wordt vertekend door andere veranderende weersomstandigheden. Door de data aan te passen om rekening te houden met deze verborgen invloeden, konden ze het ware effect van het beleid isoleren.

Ze moesten ook rekening houden met een tweede belangrijke gebeurtenis die later plaatsvond: het begin van de pandemie in maart 2020, wat het verkeerspatroon en de emissies drastisch veranderde. Om ervoor te zorgen dat ze het effect van het emissietestprogramma maten en niet dat van de pandemie, behandelden ze het begin van de pandemie als een tweede onderbreking in hun tijdlijn. Ze testten hun nieuwe methode uitgebreid met computersimulaties die duizenden dagen aan nepdata genereerden met bekende patronen. In deze tests ontdekten ze dat de oude, niet-gewogen methoden slecht presteerden wanneer verborgen factoren aanwezig waren, waarbij ze vaak het indirecte effect volledig misten of de richting van het effect fout kregen. Hun nieuwe methode, die gebruik maakte van de gewogen aanpak, slaagde erin de ware effecten in de simulaties te herstellen, waardoor de fouten aanzienlijk werden verminderd en een veel betrouwbaarder beeld ontstond van wat er aan de hand was.

Toen ze deze verfijnde methode toepasten op de echte data uit Toronto, onthulde de analyse een genuanceerd verhaal. De analyse besloeg vier verschillende regio's van de stad: Downtown, East, West en North. De onderzoekers vonden dat het beëindigen van het emissietestprogramma geassocieerd werd met een directe reductie van de ozon op grondniveau. Over alle vier de regio's heen was het directe effect een daling van ongeveer 2,1 parts per billion. Dit betekent dat de beleidswijziging zelf, of de omstandigheden rondom het beleid, direct leidden tot schonere lucht, ongeacht wat er met stikstofdioxide gebeurde. Deze bevinding bleef ook overeind toen ze naar de data keken van vóór de start van de pandemie, wat suggereert dat het resultaat robuust was en geen artefact van de lockdowns.

Het indirecte pad vertelde echter een ander verhaal. Het effect van het beleid op ozon dat via stikstofdioxide liep, was niet consistent over de stad. In drie van de vier regio's was het indirecte effect positief, wat betekent dat veranderingen in stikstofdioxide de ozonniveaus juist omhoog drukten. Maar in de dichtbevolkte binnenstad (Downtown) was het indirecte effect negatief, wat de ozonniveaus omlaag trok. Wanneer de onderzoekers deze regionale resultaten combineerden, werkten de positieve en negatieve indirecte effecten grotendeels tegen elkaar weg, wat resulteerde in een totaal indirect effect dat dicht bij nul lag en niet statistisch significant was. Dit benadrukt een cruciaal punt: als de onderzoekers alleen naar de totale verandering hadden gekeken zonder de directe en indirecte paden te scheiden, hadden ze wellicht de sterke, consistente directe reductie van ozon en de complexe, tegengestelde krachten in de verschillende wijken gemist.

De studie concludeert dat de nieuwe methode een krachtig instrument biedt om te begrijpen hoe beleid werkt in de echte wereld. Door de directe impact van een interventie te scheiden van de indirecte impact die via tussenliggende stappen stroomt, kunnen wetenschappers een duidelijker beeld krijgen van oorzaak en gevolg. In het geval van het Ontario Drive Clean-programma suggereert het bewijs dat de beëindiging van de testen leidde tot een directe verbetering van de ozonniveaus, een bevinding die overeenkomt met wat atmosferische wetenschappers hebben waargenomen over hoe ozon zich gedraagt in drukke steden. Het onderzoek toont ook aan dat het vertrouwen op eenvoudige, niet-aangepaste methoden kan leiden tot onjuiste conclusies, vooral bij het werken met complexe, onderling verbonden milieudata. Het vermogen om onderscheid te maken tussen een direct beleidseffect en een keten van indirecte reacties biedt een preciezere manier om de werkelijke impact van publieke gezondheids- en milieuregels te evalueren.