Causal Mediation Analysis for an Interrupted Time Series: Stabilized Mediator Weighting with an Application to a Vehicle Emissions Policy

정책 입안자들은 종종 새로운 법률이나 환경 규제와 같은 광범위한 변화를 특정 날짜에 도입하며, 이를 통해 사물이 작동하는 방식에서 명확한 변화가 나타나기를 기대합니다. 이러한 변화의 성공 여부를 측정하기 위해, 과학자들은 흔-히 일일 대기 질 수치와 같이 시간에 따라 수집된 단일한 긴 데이터 지점의 선을 살펴봅니다. '중단 시계열(interrupted time series)'이라고 알려진 이 접근 방식은 정책이 시행된 후 발생하는 총체적인 변화를 포착하는 데 탁월합니다. 그러나 이 방식은 종종 핵심적인 질문에 답을 남겨둡니다. 즉, 정책이 직접적으로 결과를 변화시켜서 효과가 있었던 것인가, 아니면 중간 단계인 요인을 먼저 변화시킴으로써 결과에 영향을 미친 것인가 하는 점입니다. 예를 들어, 어떤 도시가 특정 유형의 자동차를 금지했다면, 공기가 깨끗해진 이유가 자동차가 줄어들었기 때문입니까, 아니면 남은 자동차들이 운행을 덜 하기 때문입니까? 단 하나의 장소와 하나의 연속적인 시간 흐름에서 나오는 데이터를 가지고 이 두 가지 경로, 즉 직접적인 경로와 중간 단계를 통한 간접적인 경로를 구분해 내는 것은 매우 어렵습니다.

매니토바 대학교의 통계학자 팀은 이 수수께끼를 풀 수 있는 새로운 방법을 개발했습니다. 그들은 단일하고 끊김 없는 일일 데이터 기록을 통해서도 정책의 효과를 직접적인 부분과 간접적인 부분으로 분리할 수 있는 방법을 만들어냈습니다. 그들의 접근 방식은 먼저 실제 세계의 일일 패턴을 모방하도록 설계된 컴퓨터 시뮬레이션에서 테스트되었는데, 여기서 숨겨진 요인들이 데이터에 영향을 미칠 때 기존의 더 단순한 방법들이 오해의 소지가 있는 결과를 낸다는 것을 발견했습니다. 그 후, 그들은 이 새로운 기술을 실제 사건인 2019년 온타리오주의 "드라이브 클린(Drive Clean)" 차량 배출가스 검사 프로그램 종료에 적용했습니다. 토론토의 네 개 지역에서 수집된 일일 대기 질 데이터를 분석함으로써, 그들은 배출 검사 프로그램의 종료가 지표면 오존 농도의 가시적인 감소로 이어졌으나, 그 감소로 가는 경로가 단순한 인과관계 체계보다는 더 복합적이었다는 사실을 발견했습니다.

연구진은 특정 정책 변화에 초점을 맞췄습니다. 바로 2019년 4월 1일, 온타리오주의 경량 차량에 대한 의무 배출가스 검사 종료입니다. 이 날짜 이전에는 자동차가 오염을 너무 많이 일으키지 않는지 확인하기 위해 정기적인 점검을 통과해야 했습니다. 프로그램이 종료된 후, 연구진은 이 결정이 지표면 오존(스모그의 해로운 구성 요소)에 어떤 영향을 미쳤는지 알고 싶어 했습니다. 그들은 정책의 효과가 차량에서 배출되는 가스인 이산화질소를 거쳐 전달될 것이라고 의심했는데, 이 가스는 오존 형성과 밀접하게 연관되어 있습니다. 많은 도시 지역에서 이 두 오염 물질 사이의 관계는 직관에 반할 때가 있습니다. 때로는 이산화질소의 감소가 오히려 오존의 상승을 초래하기도 하고, 다른 경우에는 오존의 하락을 이끌기도 합니다. 이러한 복잡성 때문에, 변화된 오존이 정책의 직접적인 결과인지, 아니면 이산화질소의 변화로 인한 부수적인 효과인지를 구별하기 어렵습니다.

이 팀은 이러한 데이터를 분석하기 위해 주요한 통계적 장애물을 극복해야 했습니다. 이러한 데이터를 분석하는 표준적인 방법들은 데이터 지점들이 마치 동전을 여러 번 던지는 것처럼 독립적이라고 가정합니다. 하지만 일일 대기 질 데이터는 독립적이지 않습니다. 화요일의 대기 질은 월요일의 날씨와 오염 수준에 의해 큰 영향을 받기 때문입니다. 더욱이, 정책 변화는 무작위 사건이 아니라 확정된 날짜에 발생했습니다. 연구진은 기존의 직접 효과와 간접 효과를 분리하는 도구들이 단일한 연속 타임라인이 아니라, 수많은 서로 다른 사람이나 집단을 대상으로 하는 연구를 위해 만들어졌다는 점을 깨달았습니다. 그들은 "안정화된 매개체 가중치(stabilized mediator weighting)"라고 불리는 기법을 응용했습니다. 쉽게 말해, 이 방법은 중간 요인(이산화질소)과 최종 결과(오존) 사이의 연결 고리가 변화하는 다른 기상 조건에 의해 왜곡되지 않도록 하는 가상의 인구 집단을 생성합니다. 데이터가 이러한 숨겨진 영향력을 고려하도록 조정함으로써, 그들은 정책의 진정한 효과를 분리해 낼 수 있었습니다.

그들은 또한 이후에 발생한 두 번째 주요 사건, 즉 교통 패턴과 배출량을 급격히 변화시킨 2020년 3월 팬데믹의 시작을 반드시 고려해야 했습니다. 배출 검사 프로그램의 효과를 팬데믹의 효과와 혼동하지 않기 위해, 그들은 팬데믹의 시작을 타임라인상의 두 번째 중단 사건으로 취급했습니다. 연구진은 알려진 패턴을 가진 수천 일 분량의 가짜 데이터를 생성하는 컴퓨터 시뮬레이션을 사용하여 새 방법을 광범위하게 테스트했습니다. 이 테스트에서 그들은 숨겨진 요인이 존재할 때 가중치를 적용하지 않은 기존 방식들이 매우 형편없이 실패하며, 종종 간접 효과를 완전히 놓치거나 효과의 방향을 잘못 짚는다는 것을 발견했습니다. 가중치 접근법을 사용한 그들의 새로운 방법은 시뮬레이션에서 실제 효과를 성공적으로 복구해 냈으며, 오류를 크게 줄여 훨씬 더 신뢰할 수 있는 그림을 제공했습니다.

이 정교한 방법을 토론토의 실제 데이터에 적용했을 때, 결과는 미묘한 이야기를 들려주었습니다. 분석은 다운타운, 동부, 서부, 북부라는 토론토의 네 가지 뚜렷한 지역을 대상으로 했습니다. 연구진은 배출 검사 프로그램의 종료가 지표면 오존의 직접적인 감소와 관련이 있다는 것을 발견했습니다. 네 개 지역 모두에서 직접적인 효과는 약 2.1ppb(parts per billion)의 하락이었습니다. 이는 정책 변화 자체가, 혹은 그와 관련된 조건들이 이산화질소의 상황과 관계없이 직접적으로 더 깨끗한 공기를 이끌어냈음을 의미합니다. 이 결과는 팬데믹이 시작되기 전의 데이터를 보았을 때도 유효했으며, 이는 결과가 봉쇄 조치로 인한 인위적인 현상이 아니라 견고하다는 것을 시사합니다.

그러나 간접적인 경로는 다른 이야기를 보여주었습니다. 이산화질소를 통해 오존에 미치는 정책의 간접적인 효과는 도시 전체에서 일관되지 않았습니다. 네 개 지역 중 세 곳에서 간접 효과는 양(+)의 값을 가졌는데, 이는 이산화질소의 변화가 실제로 오존 수치를 높였다는 것을 의미합니다. 하지만 인구 밀도가 높은 다운타운 중심가에서는 간접 효과가 음(-)의 값을 가져 오존 수치를 끌어내렸습니다. 연구진이 이러한 지역별 결과를 결합했을 때, 양의 간접 효과와 음의 간접 효과가 서로 상쇄되어 총 간접 효과는 0에 가깝고 통계적으로 유의미하지 않았습니다. 이는 연구진이 직접 경로와 간접 경로를 분리하지 않고 총체적인 변화만을 살펴보았다면, 일관된 직접적 오존 감소와 각 동네에서 일어나는 복잡하고 상충하는 힘들을 놓쳤을 수도 있음을 강조합니다.

본 연구는 새로운 방법이 현실 세계에서 정책이 어떻게 작동하는지 이해하는 강력한 도구를 제공한다는 결론을 내립니다. 개입의 직접적인 영향과 중간 단계를 통해 흐르는 간접적인 영향을 분리함으로써, 과학자들은 인과관계에 대한 더 명확한 그림을 얻을 수 있습니다. 온타리오의 드라이브 클린 프로그램의 경우, 증거는 검사 종료가 오존 수치의 직접적인 개선으로 이어졌음을 보여주며, 이는 대도시에서 오존이 어떻게 행동하는지에 대해 대기 과학자들이 관찰해 온 내용과 일치합니다. 또한 본 연구는 단순하고 조정되지 않은 방법에 의존하는 것이, 특히 복잡하고 상호 연결된 환경 데이터를 다룰 때 잘못된 결론을 도출할 수 있음을 입증합니다. 직접적인 정책 효과와 일련의 간접적인 반응 체인을 구별하는 능력은 공중 보건 및 환경 규제의 진정한 영향을 평가하는 데 있어 더욱 정밀한 방식을 제공합니다.