Valid Inference when Testing Violations of Parallel Trends for Difference-in-Differences

기술적 요약: 차이의 차이 (Difference-in-Differences) 분석에서 평행 추세 위반을 검증할 때의 유효한 추론

문제 제기
차이의 차이 (DID) 설계는 측정되지 않은 교란 변수가 존재하는 상황에서 인과 효과를 추정하기 위한 주요 전략이며, 이는 평행 추세 가정에 결정적으로 의존합니다. 이 가정은 사후 처리 기간에 대해서는 반사실적이며 검증할 수 없으나, 연구자들은 일반적으로 사전 처리 기간을 검토하여 추세 위반 여부를 확인합니다. 그러나 최근 문헌 (예: Freyaldenhoven, Hansen, Shapiro, 2019; Roth, 2022) 은 평행 추세를 검증하기 위해 기존의 예비 검정을 사용하는 것이 이후 추론에 심각한 통계적 결함 (편향, 낮은 검정력, 신뢰구간의 과소 피복 등) 을 초래함을 입증했습니다. 응용 연구자들은 딜레마에 직면해 있습니다. 예비 검정은 연구 설계의 타당성을 평가하는 데 직관적으로 필요하지만, 이러한 검정 결과에 조건을 부여할 때 표준 통계 방법은 실패하기 때문입니다.

방법론
저자들은 새로운 가정을 통해 예비 검정의 암묵적 논리를 형식화하고 이에 상응하는 추론 절차를 도출하는 프레임워크를 제안합니다.

1. 조건부 외삽 가정 (The Conditional Extrapolation Assumption):
   핵심 이론적 기여는 "조건부 외삽 가정"입니다. 이는 (위반이 0 임을 전제하는) 고전적 평행 추세 가정이나 (사전 처리 위반이 무조건적으로 사후 처리 위반을 상한으로 묶는다고 가정하는) 부분적 식별 가정과 달리, 조건부 관계를 전제합니다:

   • 사전 처리 평행 추세 위반의 심각도 ($S_{pre}$) 가 사전에 지정된 허용 가능한 임계값 ($M$) 보다 낮다면, 사후 처리 위반의 심각도 ($S_{post}$) 는 $S_{pre}$에 의해 상한이 묶입니다 (즉, $S_{post} \leq S_{pre}$).
   • 만약 $S_{pre} > M$이라면, $S_{post}$에 대한 상한은 정당화되지 않으며 DID 설계는 부적절하다고 간주됩니다.
     여기서 심각도는 반복적 평행 추세 위반 ($R(t)$) 의 $L_p$ 노름으로 측정됩니다.

2. 예비 검정:
   저자들은 외삽 조건이 성립하는지 ($S_{pre} \leq M$) 여부를 판단하기 위한 간단한 예비 검정을 제안합니다. 검정 통계량은 추정된 사전 처리 위반의 심각도 ($\hat{S}_{pre}$) 입니다. $\hat{S}_{pre} \geq M$인 경우 이 검정은 외삽 조건을 기각합니다.

   • 점근적 일관성: 이 검정은 "분리 조건 (separation condition)" 하에서 점근적으로 일관성이 있음이 입증되었습니다. 구체적으로, 실제 $S_{pre}$가 시퀀스 $s_n$ (여기서 $s_n = \omega(n^{-1/2})$) 에 의해 임계값 $M$과 분리되어 있다면, 표본 크기 $n \to \infty$에 따라 제 1 종 오류와 제 2 종 오류 모두 소멸합니다. 이는 고정된 제 1 종 오류 수준에서 제 2 종 오류를 최소화하려는 기존 가설 검정과 다르며, 대신 잘 분리된 영역에서의 일관성을 우선시합니다.

3. 조건부 유효 신뢰구간:
   예비 검정을 통과한 경우 (즉, 외삽 조건이 참으로 선언된 경우), 저자들은 처치받은 집단의 평균 처리 효과 (ATT) 에 대한 신뢰구간을 구성합니다.

   • 구조: 이 구간은 표준 DID 추정량 ($\hat{\tau}_{DD}$) 을 중심으로 하지만 잠재적 편향을 고려하여 확장됩니다. 구간 너비는 두 가지 구성 요소를 포함합니다:
     1. 편향 항: $\kappa \cdot \hat{S}_{pre}$. 여기서 $\kappa$는 사후 처리 기간 길이와 $p$-노름 선택에서 유도된 상수입니다. 이 항은 Proposition 3.1 에서 유도된 편향에 대한 날카로운 상한을 나타냅니다.
     2. 통계적 변동 항: $f(\alpha, \hat{\Sigma}) / \sqrt{n}$. 이는 DID 추정량과 심각도 추정의 결합 불확실성을 반영합니다.
   • 유효성: Theorem 5.1 은 데이터 생성 과정이 분리 조건을 만족할 때, 예비 검정을 통과하는 사건에 조건을 부여하면 이러한 구간이 명목 피복률 ($1-\alpha$) 을 달성함을 입증합니다.

주요 결과

• 일관성: 제안된 예비 검정은 사전 처리 위반 심각도가 임계값 $M$으로부터 충분히 멀리 떨어진 가설을 분리하는 데 점근적으로 일관성이 있습니다.
• 조건부 피복률: 제안된 신뢰구간은 검정을 통과하는 조건 하에서 유효한 피복률을 제공합니다. 이는 표준 사전 검정을 통과하는 조건에 의존하는 기존 방법과 관련된 과소 피복 문제를 해결합니다.
• 구간 너비 행동: 신뢰구간의 너비는 $\max(S_{pre}, n^{-1/2})$로 스케일링됩니다.
  • 사전 처리 위반이 "존재하지만 무시할 수 있는" 경우 (차수 $n^{-1/2}$), 구간 너비는 표준 모수적 속도 ($n^{-1/2}$) 로 수렴합니다.
  • 위반이 무시할 수 없는 경우 (차수 $O(1)$), 구간 너비는 일정하게 유지되어 지속적인 편향 상한을 반영합니다.
• 유효 보고 확률: Theorem 5.2 는 검정을 통과하고 구간이 실제 효과를 포함하는 (유효 보고) 결합 확률이 잘 분리된 귀무가설 하에서도 명목 수준으로 수렴함을 보여줍니다.

실증 사례
저자들은 다음을 사용하여 방법을 검증했습니다:

1. 합성 시뮬레이션: 외삽 조건이 참일 때 그들의 구간의 조건부 피복률이 명목 수준을 유지하는 반면, 기존 구간은 과소 피복함을 입증했습니다. 시뮬레이션은 또한 구간 너비가 사전 처리 기간 수 ($T_{pre}$) 와 심각도 매개변수 ($p$) 에 따라 어떻게 스케일링되는지 보여줍니다.
2. 베트남 재중앙화 데이터: Malesky, Nguyen, Tran (2014) 연구를 재분석했습니다. 예비 검정은 심각한 사전 처리 추세 위반이 있는 결과 (농업 중심지) 에 대해 외삽 조건을 올바르게 기각하여 유효하지 않은 추론을 방지하는 반면, 경미한 위반이 있는 결과에 대해서는 더 넓고 유효한 구간을 제공했습니다.
3. 휴대권법 (Virginia/Maryland): 반복적 위반과 전체적 위반을 비교하는 준합성 사례 연구입니다. 결과는 위반 지표 (반복적 $R(t)$ 대 전체적 $\Delta(t)$) 와 임계값 $M$의 선택이 외삽 조건이 수용되는지 여부와 결과 구간 너비에 상당한 영향을 미친다는 것을 강조합니다.

의의 및 주장
이 논문은 예비 검정을 필수적으로 만드는 최초의 형식적 가정 (조건부 외삽) 을 제공함으로써, 이전까지 표준 추론을 무너뜨리는 것으로 입증된 일반적인 실증 관행에 대한 이론적 정당성을 제시한다고 주장합니다.

• 형식화: 연구자들이 "허용 가능한" 사전 처리 추세를 본 후에야 DID 분석을 진행하기로 결정할 때 내리는 암묵적 가정을 형식화합니다.
• 대안: 분리 조건이 충족된다면, 검정 결과에 조건을 부여한 후에도 유효한 추론 절차를 제공함으로써 "예비 검정 역설"에 대한 실용적인 해결책을 제시합니다.
• 겸손함: 저자들은 조건부 외삽 가정 자체가 평행 추세 가정과 마찬가지로 반사실적이며 검증 불가능함을 인정합니다. 그들은 가정을 검증한다고 주장하는 것이 아니라, 만약 이 가정이 성립하고 사전 처리 위반이 임계값으로부터 충분히 작게 (분리되어) 있다면 유효한 추론이 가능하다는 프레임워크를 제공합니다. 또한 그들의 결과는 분리 조건에 의존하므로, 위반이 임계값 $M$에 임의로 가까워지는 경우에는 추론이 보장되지 않음을 지적합니다.

이 논문은 향후 연구가 이러한 절차를 단계적 채택 설계 및 대안적 식별 전략으로 확장할 수 있음을 시사하며, 현재 기여는 블록 채택 DID 설계에서의 예비 검정 논리를 형식화한 것임을 강조합니다.