Causal Mediation Analysis for an Interrupted Time Series: Stabilized Mediator Weighting with an Application to a Vehicle Emissions Policy

Politikgestalter führen oft umfassende Änderungen ein, wie etwa neue Gesetze oder Umweltvorschriften, zu einem bestimmten Datum, in der Hoffnung, eine klare Veränderung in der Funktionsweise von Abläufen zu sehen. Um den Erfolg dieser Änderungen zu messen, suchen Wissenschaftler oft nach einer einzelnen, langen Linie von Datenpunkten, die über die Zeit gesammelt wurden, wie etwa tägliche Luftqualitätsmesswerte. Dieser Ansatz, bekannt als unterbrochene Zeitreihenanalyse (Interrupted Time Series), eignet sich hervorragend dazu, die gesamte Veränderung zu erkennen, die nach der Implementierung einer Richtlinie eintritt. Er lässt jedoch eine entscheidende Frage unbeantwortet: Hat die Richtlinie direkt das Ergebnis verändert, oder hat sie zuerst einen Zwischenfaktor verändert, der dann das Ergebnis beeinflusst hat? Wenn eine Stadt beispielsweise einen bestimmten Fahrzeugtyp verbietet, wird die Luft dann sauberer, weil es weniger Autos gibt, oder weil die verbleibenden Autos weniger fahren? Das Entwirren dieser zwei Pfade – des direkten Weges und des indirekten Weges über einen mittleren Schritt – ist schwierig, wenn die Daten aus nur einem Ort und einem einzigen, kontinuierlichen Zeitstrom stammen, anstatt aus vielen separaten Gruppen von Menschen.

Ein Team von Statistikern an der University of Manitoba hat einen neuen Weg entwickelt, um dieses Rätsel zu lösen. Sie entwickelten eine Methode, die in der Lage ist, den Gesamteffekt einer Richtlinie in seine direkten und indirekten Teile zu trennen, selbst wenn mit einer einzigen, ununterbrochenen Aufzeichnung von täglichen Daten gearbeitet wird. Ihr Ansatz wurde zuerst an Computersimulationen getestet, die reale tägliche Muster nachahmen sollen, wobei sie feststellten, dass ältere, einfachere Methoden oft irreführende Ergebnisse lieferten, wenn verborgene Faktoren die Daten beeinflussten. Sie wandten ihre neue Technik dann auf ein reales Ereignis an: das Ende des „Drive Clean“-Fahrzeugemissionsprüfungsprogramms in Ontario im Jahr 2019. Durch die Analyse täglicher Luftqualitätsdaten aus vier Regionen in Toronto entdeckten sie, dass das Ende des Prüfungsprogramms zu einem messbaren Rückgang des bodennahen Ozons führte, aber der Weg zu diesem Rückgang komplexer war als eine einfache Ursache-Wirkungs-Kette.

Die Forscher konzentrierten sich auf eine spezifische politische Änderung: die Einstellung der obligatorischen Emissionsprüfung für leichte Kraftfahrzeuge in Ontario am 1. April 2019. Vor diesem Datum mussten Autos regelmäßige Kontrollen bestehen, um sicherzustellen, dass sie nicht zu stark verschmutzen. Nach dem Ende des Programms wollten die Forscher wissen, wie sich diese Entscheidung auf das bodennahe Ozon auswirkte. Sie vermuteten, dass der Effekt über Stickstoffdioxid verlaufen könnte, einem Gas, das von Fahrzeugen ausgestoßen wird und eng mit der Ozonbildung verknüpft ist. In vielen städtischen Gebieten ist die Beziehung zwischen diesen beiden Schadstoffen kontraintuitiv; manchmal kann ein Rückgang von Stickstoffdioxid tatsächlich zu einem Anstieg von Ozon führen, während er in anderen Fällen zu einem Rückgang führt. Diese Komplexität macht es schwierig zu sagen, ob eine Änderung des Ozons ein direktes Ergebnis der Richtlinie oder eine Nebenwirkung von Änderungen im Stickstoffdioxid ist.

Um dies herauszufinden, musste das Team eine große statistische Hürde überwinden. Standardmethoden zur Analyse solcher Daten gehen oft davon aus, dass die Datenpunkte unabhängig sind, wie beim vielenfachen Werfen einer Münze. Aber tägliche Luftqualitätsdaten sind nicht unabhängig; die Luftqualität am Dienstag wird stark durch das Wetter und die Verschmutzung vom Montag beeinflusst. Zudem geschah die politische Änderung an einem festen Datum, was eine Gewissheit ist und kein Zufallsereignis. Die Forscher erkannten, dass bestehende Werkzeuge zur Trennung direkter und indirekter Effekte für Studien mit vielen verschiedenen Menschen oder Gruppen entwickelt wurden, nicht für eine einzige, kontinuierliche Zeitlinie. Sie passten eine Technik namens „stabilisierte Mediator-Gewichtung“ (stabilized mediator weighting) an. Vereinfacht ausgedrückt erstellt diese Methode eine virtuelle Population, in der die Verbindung zwischen dem Zwischenfaktor (Stickstoffdioxid) und dem endgültigen Ergebnis (Ozon) nicht durch andere wechselnde Wetterbedingungen verzerrt wird. Durch die Anpassung der Daten, um diese verborgenen Einflüsse zu berücksichtigen, konnten sie den wahren Effekt der Richtlinie isolieren.

Sie mussten auch ein zweites großes Ereignis berücksichtigen, das später eintrat: der Beginn der Pandemie im März 2020, die Verkehrsmuster und Emissionen drastisch veränderte. Um sicherzustellen, dass sie den Effekt des Emissionsprüfungsprogramms und nicht der Pandemie messen, behandelten sie den Pandemiebeginn als eine zweite Unterbrechung in ihrer Zeitlinie. Sie testeten ihre neue Methode intensiv mithilfe von Computersimulationen, die Tausende von Tagen mit künstlichen Daten und bekannten Mustern generierten. In diesen Tests fanden sie, dass die alten, ungewichteten Methoden versagten, wenn verborgene Faktoren vorhanden waren, indem sie den indirekten Effekt oft ganz übersahen oder die Richtung des Effekts falsch wiedergaben. Ihre neue Methode, die den gewichteten Ansatz nutzte, konnte die wahren Effekte in den Simulationen erfolgreich wiederherstellen, die Fehler erheblich reduzieren und ein viel zuverlässigeres Bild dessen liefern, was tatsächlich geschah.

Als sie diese verfeinerte Methode auf die realen Daten aus Toronto anwandten, offenbarten die Ergebnisse eine nuancierte Geschichte. Die Analyse deckte vier verschiedene Regionen der Stadt ab: Downtown, East, West und North. Die Forscher fanden heraus, dass das Ende der Emissionsprüfung mit einer direkten Reduktion des bodennahen Ozons verbunden war. Über alle vier Regionen hinweg betrug der direkte Effekt einen Rückgang von etwa 2,1 Teilen pro Milliarde (ppb). Das bedeutet, dass die politische Änderung selbst, oder die sie umgebenden Bedingungen, direkt zu saubererer Luft führten, unabhängig davon, was mit Stickstoffdioxid geschah. Dieses Ergebnis blieb auch bestehen, wenn sie die Daten vor der Pandemie betrachteten, was darauf hindeutet, dass das Ergebnis robust und kein Artefakt der Lockdowns war.

Der indirekte Pfad erzählte jedoch eine andere Geschichte. Der Effekt der Richtlinie auf das Ozon, der über Stickstoffdioxid verlief, war in der Stadt nicht konsistent. In drei der vier Regionen war der indirekte Effekt positiv, was bedeutet, dass Veränderungen im Stickstoffdioxid das Ozoniveau tatsächlich nach oben trieben. Aber im dichten Stadtkern (Downtown) war der indirekte Effekt negativ und senkte die Ozonwerte. Als die Forscher diese regionalen Ergebnisse kombinierten, hoben sich die positiven und negativen indirekten Effekte weitgehend gegenseitig auf, was zu einem gesamten indirekten Effekt führte, der nahe bei Null lag und statistisch nicht signifikant war. Dies unterstreicht einen kritischen Punkt: Wenn die Forscher nur auf die Gesamtveränderung geschaut hätten, ohne die direkten und indirekten Pfade zu trennen, hätten sie die starke, konsistente direkte Redukktion des Ozons und die komplexen, entgegengesetzten Kräfte in den verschiedenen Stadtvierteln möglicherweise übersehen.

Die Studie kommt zu dem Schluss, dass die neue Methode ein leistungsstarkes Werkzeug bietet, um zu verstehen, wie politische Maßnahmen in der realen Welt funktionieren. Indem Wissenschaftler den direkten Einfluss einer Intervention vom indirekten Einfluss trennen, der über Zwischenschritte fließt, können sie ein klareres Bild von Ursache und Wirkung gewinnen. Im Fall des „Drive Clean“-Programms in Ontario deutet die Evidenz darauf hin, dass die Einstellung der Tests zu einer direkten Verbesserung der Ozonwerte führte – eine Erkenntnis, die mit den Beobachtungen von Atmosphärenwissenschaftlern darüber, wie Ozon in belebten Städten reagiert, übereinstimmt. Die Forschung zeigt auch, dass das Vertrauen auf einfache, unbereinigte Methoden zu falschen Schlussfolgerungen führen kann, insbesondere wenn es um komplexe, miteinander verbundene Umweltdaten geht. Die Fähigkeit, zwischen einem direkten politischen Effekt und einer Kette indirekter Reaktionen zu unterscheiden, bietet eine präzisere Möglichkeit, die wahren Auswirkungen von Maßnahmen der öffentlichen Gesundheit und der Umweltregulierung zu bewerten.