Design-Based Variance Estimation for Modern Heterogeneity-Robust Difference-in-Differences Estimators

기술적 요약: 현대적 이질성 강건한 차이의 차분 (DiD) 추정량을 위한 설계 기반 분산 추정

문제 제기
현대적 이질성 강건한 차이의 차분 (DiD) 추정량 (예: Callaway and Sant'Anna, 2021; Sun and Abraham, 2021; Borusyak et al., 2024) 은 정책 평가에서 널리 사용되고 있습니다. 그러나 이들의 점근적 성질은 일반적으로 복잡한 표본 추출을 추상화한 독립 동일 분포 (iid), 클러스터, 또는 고정 설계 프레임워크 하에서 유도됩니다. 실제 연구에서는 연구자들이 NHANES, ACS, CPS 와 같은 국가 대표성 표본 조사 (stratified multi-stage cluster designs 사용) 에 이러한 추정량을 자주 적용합니다.

기존 문헌과 소프트웨어 구현 (예: R 의 did, Stata 의 csdid) 은 일반적으로 점 추정을 위한 조사 가중치를 지원하지만, 층화 (strata), 주표본단 (PSU) 클러스터링, 유한모집단 보정 (FPC) 을 모두 고려한 완전한 조사 설계 기반 분산 추정을 위한 메커니즘은 부족합니다. 결과적으로 실무자들은 종종 표준 이분산성 강건 (HC1) 표준오차나 임시적인 클러스터링 휴리스틱에 의존합니다. 이러한 불일치는 무효한 추론으로 이어집니다: 조사 설계를 무시하면 표준오차가 심각하게 과소평가되고, 신뢰구간 피복률이 명목 수준보다 훨씬 낮아집니다 (예: 시뮬레이션에서 34% 이하로 하락).

방법론
본 논문은 현대적 DiD 추정량의 영향함수 (IF) 표현에 테일러 급수 선형화를 적용함으로써 현대적 DiD 이론과 표본 추출 이론 간의 간극을 메웁니다.

1. 이론적 연결: 저자들은 다양한 현대적 DiD 추정량에 대한 원래 논문에서 제시된 영향함수들이 **Binder (1983)**가 요구하는 매끄러움 (smoothness) 조건을 만족함을 검증합니다. Binder 의 정리에 따르면, 분포의 임의의 매끄러운 함수에 대해 분산은 선형화된 변수 (가중치 부여된 영향함수) 에 표준 층화 - 클러스터 분산 공식을 적용함으로써 일관되게 추정될 수 있습니다.
2. 분산 추정:
   • 영향함수 (IF) 기반 추정량: Callaway-Sant'Anna (DR) 및 Imputation DiD 와 같은 추정량의 경우, 분산은 PSU 수준에서 가중치 부여된 IF 값을 집계하고 층화 - 클러스터 공식을 적용하여 계산합니다.
   • 회귀 기반 추정량: Sun-Abraham 및 TWFE 와 같은 추정량의 경우, 분산은 층화 - 클러스터 "샌드위치" 추정량 (TSL) 을 사용하여 계산하며, 여기서 샌드위치의 "고기" 부분은 PSU 수준의 가중치 부여된 점수 합계로 구성됩니다.
   • 반복 가중치: 층화/PSU 식별자가 마스킹된 조사의 경우, 반복 가중치 방법 (BRR, Jackknife, SDR) 도 이 프레임워크에서 수용됩니다.
3. 시뮬레이션 설계: 66,000 회 반복을 포함한 몬테카를로 연구가 다음 네 가지 시나리오를 평가합니다:
   • 복잡한 조사 설계를 가진 무조건적 평행 추세.
   • 이질적 처리 효과와 함께 정보적 표본 추출 (결과와 상관된 가중치).
   • 반복 횡단면.
   • 공변량 조정이 필요한 조건부 평행 추세.
     이 연구는 세 가지 추론 접근법을 비교합니다: (i) HC1 (가중치 없음, 클러스터링 없음), (ii) "클러스터만" (가중치 부여된 점 추정 + PSU 클러스터링, 층화/FPC 없음), (iii) 완전한 설계 기반 (가중치 + 층화 + PSU + FPC).

주요 결과

• HC1 의 실패: 복잡한 조사 설계 하에서 HC1 표준오차는 극도로 낮은 피복률을 보입니다. 기준 시나리오에서 $n=8,000$일 때 피복률은 **34.2%**까지 하락합니다. 정보적 표본 추출 하에서는 피복률이 11% 미만으로 떨어집니다. 설계 효과 (DEFF) 는 기준 시나리오에서 2 에서 17 사이이며, 정보적 표본 추출 하에서는 100 을 초과합니다.
• "Cluster=PSU" 휴리스틱의 타당성: 조사 가중치 부여된 점 추정량과 PSU 수준 클러스터링 (층화와 FPC 무시) 을 결합하면 정보적 표본 추출을 포함한 모든 시나리오에서 명목에 가까운 피복률 (93–97%) 을 회복합니다. 이는 PSU 수준에서 클러스터링하는 일반적인 실무자 휴리스틱을 검증합니다.
• 층화와 FPC 의 역할: 층화와 유한모집단 보정 (FPC) 을 추가하면 정밀도가 점진적으로 향상되어 (신뢰구간을 좁혀) 지만, 시뮬레이션된 설계에서 유효한 피복률을 위해 반드시 필요한 것은 아닙니다. 유효한 추론의 주요 동인은 정보적 표본 추출 편향을 교정하는 조사 가중치 부여된 점 추정량과 클러스터 내 상관관계를 교정하는 PSU 수준 클러스터링입니다.
• 이중 강건 추정: 평행 추세가 조건부적으로만 성립하는 시나리오에서 공변량 조정을 갖춘 조사 가중치 부여된 이중 강건 (DR) 추정은 잘 보정된 추론 (피복률 약 94%) 을 산출하는 반면, 조정되지 않은 추정량은 편향되어 0% 피복률을 보입니다.
• 실증 사례 (NHANES/ACA): NHANES 데이터를 이용한 ACA 종속 보장 조항에 대한 분석은 조사 설계를 무시하는 것이 점 추정치 (가중치 부여 시 6.5% 에서 9.6% 로 48% 증가) 와 유의성 결론 모두를 변경함을 보여줍니다. 가중치 없는 HC1 접근법은 유의하지 않은 결과 ($p > 0.05$) 를 산출하는 반면, 설계 기반 접근법은 점 추정치 교정에 주로 기인하여 유의한 결과 ($p < 0.05$) 를 산출합니다.

의의와 기여
본 논문의 주요 기여는 현대적 이질성 강건한 DiD 추정량이 Binder (1983) 의 설계 기반 분산 이론의 범주에 속한다는 것을 명시적으로 식별하고 검증했다는 점입니다. 매끄러운 함수가 설계 일관성 분산을 허용한다는 명제는 기존 표본 추출 이론의 직접적인 귀결이지만, 본 논문은 복잡한 가중치, 대체, 및 회귀 구조를 포함하는 특정 DiD 추정량들이 필요한 매끄러움 조건을 만족함을 검증합니다.

저자들은 15 가지 현대적 DiD 추정량에 대해 층화, PSU 클러스터링, FPC, 및 반복 가중치 방법을 동시에 지원하는 최초의 오픈소스 구현 (diff-diff Python 패키지) 을 제공합니다. 이 연구는 응용 계량경제학의 중요한 공백을 해소하여, 연구자들이 현대적 이질성 강건 방법을 포기하지 않고도 복잡한 조사 데이터에 대해 유효한 추론을 수행할 수 있는 이론적으로 근거 있고 실증적으로 검증된 경로를 제시합니다.

한계 및 향후 방향
저자들은 테일러 급수 선형화 (TSL) 가 층당 최소 2 개의 PSU ($n_h \ge 2$) 를 필요로 한다고 지적하며, 단일원 (singleton) 층을 가진 설계는 특별한 처리가 필요하다고 언급합니다. $t$-분포 근사는 전체 PSU 수가 매우 적을 경우 반보수적일 수 있습니다. 이 프레임워크는 유한모집단 내에서 평행 추세가 성립한다고 가정하며, 가중치는 표본 추출 편향을 교정하지만 식별 가정 자체를 검증하지는 않습니다. 향후 연구로는 비매끄러운 추정량 (예: Synthetic Control), 다수준 처리 설계, 및 보정 가중치와 분산 추정 간의 상호작용에 대한 작업이 제안됩니다.