State policy heterogeneity analyses: considerations and proposals

기술 요약: 주 정책 이질성 분석: 고려 사항 및 제안

문제 제기
주 단위의 정책 연구는 맥락에 특화된 정책 결정을 뒷받침하기 위해 처리 효과(treatment effects)가 주 특성에 따라 어떻게 변하는지 정량화하는 이질성 분석을 자주 채택한다. 그러나 저자들은 다양한 맥락, 다수의 정책 버전, 그리고 차별적인 이행이 특징인 환경에서 표준 분석이 암묵적으로 목표로 하는 인과적 양(causal quantities)이 추론 목적과 일치하지 않는 경우가 많다고 주장한다.

세 가지 주요 문제가 이러한 분석을 복잡하게 만든다:

1. 추정량의 불일치(Misalignment of Estimands): 표준 이질성 분석은 일반적으로 조건부 평균 처리 효과(CATE) 또는 그 선형 투영을 추정한다. 이러한 양은 인과적 효과와 주 특성 사이의 연관성을 보여주지만, "이 특정 주에서 이 정책을 채택했을 때의 인과적 효과는 무엇인가?" 또는 "이 정책이 다른 정책과 결합된다면 더 잘 작동할 것인가?"와 같은 정책 관련 질문에 반드시 답을 주는 것은 아니다.
2. 처리의 조대화(Treatment Coarsening): 분석가들은 서로 다른 정책 버전이나 이행 방식(예: 의무적 vs 자율적 처방 약물 모니터링 프로그램(PDMP))을 단일 이진 처리 지표로 통합하곤 한다. 이러한 "조대화"는 이질성 분석과 명확히 정의된 인과적 양 사이의 연결 고리를 모호하게 만들며, 잠재적으로 실제 기저 효과가 일정함에도 불구하고 가공의 이질성을 만들어낼 수 있다.
3. 데이터 제한: 최대 50개 주라는 데이터 규모로 인해, 복잡하고 식별된 추정량(CATE 또는 통제된 직접 효과(CDE)와 같은)을 정밀하게 추정하기에는 통계적 검정력이 부족한 경우가 많다. 이는 분석가들이 모델 설정 오류 가능성이 높은 모수적 모델과 해석력이 떨어지는 대상 추정량을 사용하도록 강요한다.

방법론
본 논문은 추론의 초점을 평균 효과의 점 식별(point identification)에서 이중차분법(DiD) 프레ка임워크 내에서의 **주별 특정 처리 효과(State-Specific Treatment Effects, ITE)의 부분 식별(partial identification)**로 전환할 것을 제안한다.

• 인과적 프레임워크: 저자들은 ITE(특정 주의 효과), CATE(공변량에 따른 평균 효과), 그리고 CDE(통제된 직접 효과)를 구분한다. 이들은 처리의 조대화가 이러한 양의 정의를 복잡하게 만들며, 종종 CATE를 불분명한 정책적 함의를 가진 별개의 인과적 효과들의 가중 평균으로 만든다는 점을 입증한다.
• 경계값 접근법(Bounding Approach): 저자들은 평행 추세(parallel trends)가 정확히 성립한다고 가정하는 대신, 반사실적 추정치와 실제 관측되지 않은 결과 사이의 오차가 유계(bounded)되어 있다고 가정한다.
  • 이들은 민감도 매개변수 $\hat{\tau}^m_i$를 정의하며, 이는 평행 추세 가정으로부터의 최대 편차를 나타낸다.
  • 이 매개변수는 사전 처리 데이터(예: 사전 처리 예측 오차 또는 평행 추세 위반의 크기)를 통해 정보를 얻는다.
  • 결과적인 ITE의 경계값은 $\hat{\psi}^{DiD}_{i,m} \pm \hat{\tau}^m_i$로 계산된다.
• 조대화 및 공변량 처리: 이 방법은 (처리되지 않은 주에서 구체적인 정책 버전을 알 수 없는 경우의) 처의 조대화를 처리하기 위해, 보수적인 민감도 매개변수를 사용하거나, 예상되는 정책 버전에 대한 지식을 가정하거나, 가능한 정책 버전들에 대한 경계값의 합집합을 사용하는 방식으로 확장된다. 공변량은 반사실적 추세 추정치를 조정함으로써 포함되지만, 궁극적으로 민감도 매개변수는 이러한 조정에 따른 불확실성을 설명하는 데 사용된다.
• 시뮬레이션 및 적용: 저자들은 시뮬레이션을 통해 제안된 ITE 경계값을 기존의 CATE 기반 신뢰 구간과 비교하여 검증한다. 또한, 이 방법을 실제 사례 연구에 적용한다: 2014년 ACA 메디케이드 확대가 고용량 부프레노르핀 처방에 미치는 영향을 조사하며, 의무적 PDMP 법률 및 농촌 의료진 구성에 따른 이질성을 검토한다.

주요 기여

1. 개념적 명확화: 본 논문은 효과 이질성의 원천(인구 구성, 맥락적 요인, 정책적 환경, 정책 그룹화, 이행)을 체계적으로 정리하고, 왜 표준 추정량(CATE, CDE, ITE)이 처의 조대화 하에서 서로 다른지, 특히 조대화 상황에서 어떻게 다른지를 명확히 한다.
2. 대안적 추론 목표: 점 식별이 불가능하거나 CATE가 정책적으로 유의미하지 않을 때, ITE 경계값을 구하는 것이 실행 가능한 대안임을 제안한다. 이 접근 방식은 명시적인 가정 하에 각 주의 정책 효과에 대한 범위를 제공한다.
3. 실질적 구현: 저자들은 사전 처리 데이터를 활용하여 민감도 매개변수를 도출하는 DiD 프레임워크 내의 구체적인 구현 방법을 개발하여, 연구자들이 이상적인 식별 조건으로부터의 이탈에 대한 결과의 강건성을 평가할 수 있도록 한다.
4. 실증적 예시: 메디케이드 확대에 대한 적용 사례는 기존의 이질성 분석이 작은 표본 크기와 모델 설정 오류로 인해 통계적 검정력이 부족하거나 결론을 내리지 못하는 경우가 많은 반면, 경계값 접근법은 (일리노이의 음(-)의 효과와 뉴멕시코의 양(+)의 효과와 같이) 부호가 확정적인 주별 효과를 식별할 수 있음을 보여준다.

결과

• 시뮬레이션: $N \in \{25, 25, 50\}$개 주의 시뮬레이션 설정에서, 제안된 ITE 경계값은 기존의 CATE 기반 신뢰 구간보다 실제 ITE에 대해 더 높은 커버리지를 달 나타냈으며, 효과의 올바른 부호를 더 신뢰성 있게 회복했다. CATE 구간은 투영된 평균을 목표로 할 뿐 특정 단위 효과를 목표로 하지 않기 때문에 실제 주별 효과를 포착하는 데 실패하는 경우가 많았다.
• 적용: 메디케이드 확대와 부프레노르핀 처방에 관한 분석에서, 전통적인 이중 고정 효과(two-way fixed-effects) 모델은 통계적으로 유의미한 평균 효과를 찾지 못했다. 반면, 경계값 접근법은 여러 민감도 설정 및 강건성 검사 전반에 걸쳐 일리노이에서는 효과가 엄격히 음(-)이고, 뉴멕시코에서는 엄격히 양(+)임을 식별해 냈다. 다른 주들은 0을 포함하는 경계값을 나타내어 불확실성을 투명하게 전달했다.

의의 및 주장
저자들은 많은 주 정책 설정에서 CATE가 이질성의 진정한 원인을 밝혀낼 수 없고 주로 상관관계적 해석만을 제공하기 때문에 부적절한 추론 대상이라고 주장한다. 이들은 더 유의미한 주별 효과들이 불가능할 정도로 강력한 가정을 전제하지 않는 한 점 식별이 어렵다는 점을 강조한다.

따라서 본 논문은 주별 효과의 부분 식별을 원칙적이고 투명한 대안으로서 옹호한다. 이 접근 방식의 의의는 다음과 같다:

• 데이터가 정밀한 점 추정을 수행하기에 불충분하더라도 정책적으로 유의미한 정보(특정 주에서 무엇이 일어났거나 일어날 것인가)를 제공한다.
• "효과가 얼마나 클 수 있는가"로 직접 해석 가능한 경계값을 통해 불확실성을 명시적으로 정량화한다.
• 잘못 설정된 모수적 모델의 함정과 조대화된 추정량의 오해 소지를 피한다.

저자들은 연구자들이 이질성 분석을 포기하는 것이 아니라, 추론의 목표를 신중하게 선택해야 한다고 결론짓는다. 점 식별이 불가능할 때, 주별 효과의 경계값을 구하는 것은 유효한 경계값을 보장하기 위해 필요한 가정들을 투명하게 유지하면서, 인과 추론을 정책 결정자들이 구하고자 하는 질문에 더 밀접하게 일치시키는 방법이다.