Evaluating the effects of policy interventions subject to early adoption: A case study of prescription drug monitoring programs and opioid dispensing

기술 요약: 조기 도입이 수반되는 정책 개입의 효과 평가

문제 정의
본 논문은 조기 도입(early adoption)이 발생하는 시차적 정책 시행(staggered policy implementations)에 대한 합성 대조법(Synthetic Control Methods, SCM) 적용 시 발생하는 결정적인 한계를 다룬다. 처방 약물 모니터링 프로그램(PDMP)과 같은 많은 정책은 초기 자발적 접근 단계(조기 도입)를 거쳐 의무적 준수 단계로 이어지는 단계적 방식으로 시행된다. 표준 SCM은 처치 단위가 실제 처치 효력이 발생하는 시점 이전에 결과의 변화를 경험하지 않는다는 '무예측(no-anticipation)' 가설에 의존한다. 그러나 조기 도입이 발생하는 경우, 의무화가 시행되기 전 자발적 단계 동안 결과값이 이미 변하기 시작한다. 이는 무예측 가설을 위반하며, 처치 전 결과값이 처치의 일종에 의해 "오염"되게 만든다. 결과적으로 표준 SCM 추정치는 이러한 오염된 경로를 바탕으로 반사실(counterfactual)을 구성하게 되어, 정책 효과를 편향되게 추정한다. 기존의 임시방편적 해결책들, 예를 들어 처치 전 데이터를 폐기하는 방식은 데이터가 제한적이거나 행동 변화의 시점이 불확실한 경우 실용적이지 못한 경우가 많다.

방법론
저자들은 시차적 도입이 있는 패널 데이터의 잠재적 결과 프레임워크 내에서 조기 도입을 정식화한다. 이들은 세 가지 뚜렷한 인과적 양을 정의한다:

1. 조기 도입 효과 ($\beta$): 자원은 사용 가능하지만 아직 의무화되지 않은 기간 동안의 결과 변화.
2. 의무화 효과 ($\tau$): 의무적 준수가 요구되는 시점에서의 추가적인 변화.
3. 총 정책 효과 ($\Delta$): 정책이 없는 반사실 대비 두 단계의 결합된 영향.

이러ic한 효과들을 추정하기 위해, 본 논문은 2단계 조기 도입 인지 추정 절차를 제안한다:

• 1단계 (조기 도입 추정): 의무화 전 데이터를 사용하여, 저자들은 상호작용 고정 효과(interactive fixed effects, IFE) 모델을 적합시켜 조기 도입 효과의 궤적($\beta(g)$)을 추정한다. 이 단계는 자원 가용성을 별도의 처치 단계로 취급하며, 결과를 자원 가용 이후 경과 시간, 단위 고정 효과, 시간 고정 효과 및 잠재 요인(latent factors)의 함수로 모델링한다.
• 2단계 (의무화 및 총 효과 추정): 추정된 조기 도입 효과를 관찰된 결과값에서 차감하여 "잔차화된(residualized)" 결과값($\tilde{Y}_{it}$)을 생성한다. 이 단계는 조기 도입에 의한 오염을 효과적으로 제거함으로써, 의무화 단계에 대한 무예측 가설의 타당성을 회복시킨다. 그 후, 의무화 효과($\tau$)를 추정하기 위해 표준 SCM 변형 모델(구체적으로 일반화된 SCM 및 확장된 SCM)을 적용한다. 총 정책 효과는 추정된 조기 도입 성분과 의무화 성분을 합산하여 회수한다.

저자들은 불확실성 정량화를 위해 비모수적 단위 수준 부트스트랩을 활용하며, 실증 적용 시 잠재 요인의 수와 스플라인(spline) 사양을 선택하기 위해 데이터 기반 절차를 채택한다.

주요 기여

1. 엄격한 정의: 본 논문은 잠재적 결과 프레임워크 내에서 조기 도입을 엄격하게 정식화하여, 이를 일반적인 예측 효과(anticipation effects)와 구분하고 총 정책 효과를 조기 도입과 의무화 성분으로 분해한다.
2. 새로운 추정 절차: 조기 도입 효과를 의무화 효과와 명확히 분리하는 2단계 잔차화 방법을 도입하여, 조기 도입이 존재하고 잠재 요인과 상관관계가 있는 경우에도 편향되지 않은 추정을 가능하게 한다.
3. 시뮬레이션 증거: 다양한 시나리오(조기 도입과 잠재 요인 간의 공선성이 존재하는 상황 포함)를 포함한 광범각한 시뮬레이션을 통해, 저자들은 제안된 방법이 조기 도입을 무시하는 기존 SCM 추정치에 비해 편향을 유의미하게 줄이고 불확실성 정량화(피복 확률)를 개선함을 입증한다.
4. 실증 적용: 이 프레임워크를 2000~2016년 미국 주별 PDMP 정책 및 1인당 마약성 진통제 처방량 데이터에 적용하여, 이전 연구들보다 더 미묘한 정책 영향 평가를 제공한다.

결과

• 시뮬레이션: 조기 도입이 존재함에도 이를 무시하는 설정에서, 기존 SCM 추정치는 상당한 음의 편향(예: 조기 도입 효과에 대해 -60% ~ -100%)과 거의 0에 가까운 피복 확률을 보인다. 제안된 2단계 방법은 복잡한 요인 구조를 가진 다양한 시뮬레이션 시나리오에서도 명목 수준인 0.95에 근접한 피복률과 함께 거의 편향되지 않은 추정치를 산출한다.
• 실증 적용 (PDMP): 미국 주별 데이터에 이 방법을 적용했을 때, 저자들은 조기 도입을 고려한 후 다음과 같은 사실을 발견했다:
  • 평균 총 정책 효과는 분기당 1인당 약 23.6 MME(morphine milligram equivalents)의 마약성 진통제 처방 감소를 시사한다.
  • 평균 조기 도입 효과는 음수(-1.7 MME)이나 정밀도가 낮다.
  • 평균 의무화 효과 또한 음수(-15.2 MME)이나 정밀도가 낮다.
  • 결정적으로, 점 추정치는 PDMP의 가용성과 의무화 이후 모두 처방 감소를 나타내지만, 저자들은 이 추정치들이 통계적으로 유의미하지 않음(95% 신뢰 구간이 0을 포함함)을 보고한다.

의의 및 주장
본 논문은 조기 도입을 무시하는 것이 특히 공중 보건 및 경제학에서 흔히 발생하는 시차적 도입 설정에서 편향된 정책 평가를 초래한다고 주장한다. 조기 도입 효과를 명시적으로 모델링하고 제거하는 방법을 제안함으로써, 저자들은 보다 정확한 인과 추론 도구를 제공한다. 그러나 저자들은 실증적 결과에 대해 신중한 어조를 유지한다. 그들은 PDMP가 마약성 진통제 처방을 확실히 줄였다고 주장하는 것이 아니라, 만약 감소가 발생했다면 그들의 방법이 자발적 접근과 의무적 준수의 효과를 분리해낼 수 있음을 보여주는 것이다. 주요 기여는 방법론적인 데 있다: 즉, 조기 도입을 처리하는 강건한 프레임워크를 제공함으로써, 점 추정치는 정책의 효능을 시사할지라도 특정 데이터셋에서는 증거가 통계적으로 불충분하다는 점을 밝혀낸 것이다. 이 연구는 정책의 영향력을 오해하지 않기 위해 정책 인프라의 가용성과 의무화 집행을 구분하는 것이 필수적임을 강조한다.