기술적 요약: 요인 설계(Factorial Designs) 및 불완전한 순응을 가진 패널 실험에서의 유한 모집단 추론

1. 문제 제기

표준 도구 변수(Instrumental Variables, IV) 방법, 특히 Imbens & Angrist (1994)가 확립한 국소 평균 처치 효과(Local Average Treatment Effect, LATE) 프레임워크는 단일 이진 처치와 단일 이진 도구를 사용하는 횡단면 설정에는 적합하다. 그러나 많은 실증적 적용은 이러한 표준적인 설정에서 벗어난다. 두 가지 두드는 예로는 요인 설계(여러 처치가 동시에 할당되는 경우)와 패널 실험(처치와 결과가 시간에 따라 관찰되는 경우)이 있다. 두 설정 모두에서 **불완전한 순응(imperfect compliance)**은 흔하게 나타난다. 즉, 처치를 할당받은 단위가 항상 처치를 받는 것은 아니며, 통제 집단으로 할당된 단위가 항상 처치를 받지 않는 상태를 유지하는 것도 아니다.

이러한 복잡한 설정에서 표준 IV 추정량(예: 2단계 최소제곱법, 2SLS)은 명확한 인과적 해석을 결여하는 경우가 많다. 표준 방법들은 처치의 특정 순서나 처치 수용의 동적인 특성을 고려하지 못할 수 있으며, 이는 잠재적으로 오해의 소지가 있는 결론으로 이어질 수 있다. 또한, IV 설정에서의 설계 기반 추론(design-based inference)에 관한 기존 문헌은 주로 단일 처치 시나리오에 집중되어 왔으며, 다중 요인 및 동적 설정을 가진 유한 모집단 추론 절차에 대해서는 공백을 남겨두었다.

2. 방법론 및 프레임워크

본 논문은 인과 추론을 위한 유한 모집단, 설계 기반 프레임워크를 개발한다. 이 접근법은 잠재적 결과와 잠재적 처치를 $N$개의 단위로 구성된 유한 모집단의 고정된 양으로 취급하며, 불확실성은 오직 할당의 무작위성으로부터 발생한다고 가정한다.

2.1 핵심 가정

식별 전략은 다중 요인 및 동적 설정에 맞게 조정된 일련의 표준 가정들에 의존한다:

• 무상호작용(No-Spillovers, SUTVA): 단위의 잠재적 결과와 처치는 해당 단위 자신의 할당 및 처치에만 의존하며, 단위 간의 간섭을 배제한다.
• 배제 제약(Exclusion Restrictions):
  • 결과 배제(Outcome Exclusion): 할당은 처치 수용에 미치는 효과를 통해서만 결과에 영향을 미친다.
  • 처치 배제(Treatment Exclusion): 요인 설계에서 요인 $k$에 대한 처치 수용은 요인 $k$에 대한 할당에 의리만 의존한다. 패널 실험에서 시간 $t$에서의 처치 수용은 시간 $t$에서의 할당에 의리만 의존한다.
• 단조성(Monotonicity): 처치를 할당받은 단위는 통제 집단으로 할당받은 단위보다 처치를 받을 가능성이 적어도 높다. 이를 통해 단위를 항상 수용자(Always-takers), 절대 미수용자(Never-takers), 순응자(Compliers)로 분류할 수 있다.
• 개별적/순차적 무작위화(Individualistic/Sequential Randomization): 할당은 잠재적 결과 및 처치와 독립적이며, 단위 간에 독립적이다(또는 패널 설정에서 순차적으로 무작위화된다).
• 공통 지지(Common Support): 모든 가능한 할당 시퀀스에 대한 성향 점수(propensity scores)는 0과 1 사이에서 제한된다.

2.2 식별 전략

본 논문은 처치 시퀀스(요인들의 벡터 또는 시간 경로)에 대한 인과 효과를 정의한다.

• 대상 파라미터: 특정 할당 시퀀스에 대한 순응자 하위 집단의 평균 인과 효과에 초점을 맞춘다. 여기에는 다중 요인의 결합 효과(요인 설계)와 시차-$p$ 동적 효과(패널 실험)가 포함된다.
• 다중 차분 접근법(The Multiple-Differences Approach): 핵심적인 식별 통찰은 인과 효과가 다중 차분(multiple-differences) 형식을 사용하여 그에 상응하는 할당의 변동을 활용함으로써 식별될 수 있다는 것이다.
  • 단일 요인의 경우, 이는 표준 Wald 추정량으로 축소된다.
  • 두 개의 요인(또는 두 시점)의 경우, 이는 이중 차분(difference-in-differences) 형태를 취한다.
  • 세 개의 요인(또는 시점)의 경우, 이는 삼중 차분(triple-differences) 형태를 취하며, 그 이상도 마찬가지이다.
• 호르비츠-톰슨 추정량(Horvitz-Thompson Estimators): 저자는 국소 반응 함수를 식별하기 위해 할당 확률(성향 점수)의 역수로 가중치를 둔 호르비츠-톰슨 추정량을 활용한다. 인과 효과는 이러한 식별된 반응 함수들 사이의 차이로 도출된다.

2.3 추정 및 추론

• 비모수적 추정량(Nonparametric Estimators): 본 논문은 식별된 인과 효과를 위한 비모수적 추정량을 제안한다. 이 추정량들은 호르비츠-톰슨 양의 표본 유사체(sample analogs)를 대입하여 구축된다.
• 점근적 성질(Asymptotic Properties): 모집단 크기 $N$이 증가함에 따라 이 추정량들의 유한 모집단 점근 분포를 도출한다. 이 추정량들은 무작위 분포에 대해 일치성을 가지며 점근적으로 정규 분포를 따름이 입증되었다.
• 추론(Inference): 개별 잠재적 결과를 관찰할 수 없다는 점(이는 정확한 분산 계산을 방해함)을 처리하기 위해, 본 논문은 Bloom (1984)의 접근 방식을 따라 축약형(reduced form)의 분산 상한을 기반으로 한 **보수적인 신뢰 구간(conservative confidence intervals)**을 제안한다. 이 구간은 명시된 가정하에서 유효하지만, 이질적인 인과 효과가 존재하는 경우 보수적일 수 있다.

3. 주요 기여

1. 다중 요인/동적 설정을 위한 새로운 식별법: 본 논문은 불완전한 순응을 가진 요인 설계 및 패널 실험에서의 인과 효과에 대한 비모수적 식별 접근법을 제공한다. 이는 대안적 처치 시퀀스의 상대적 효과를 포착하는 풍부한 클래스의 인과 효과(결합 및 동적 효과)를 정의한다.
2. 설계 기반 유한 모집단 추론: 초집단(super-population) 가정에 의존하는 경우가 많은 기존 연구들과 달리, 본 논문은 순수하게 설계 기반 관점을 개발한다. 다중 처치 및 도구가 있는 설정에서 IV 추정량에 대한 유한 모집단 점근 분포를 도출한다.
3. 동적 IV 문헌의 확장: 본 논문은 Bojinov et al. (2021)의 결과를 불완전한 순응을 가진 패널 실험으로 확장한다. 이는 동적 인과 효과가 존재할 때, 표준 IV 추정량(예: 시기별 2SLS)이 일반적으로 명확한 인과적 해석을 갖지 못함을 보여준다. 이는 배제 제약이 성립하더라도 마찬가지이다.
4. 새로운 추정량: 특정 호르비츠-톰슨 유형의 추정량(단일 요인에 대해서는 단일 단계, 시퀀스에 대해서는 다중 차분)을 도입하고, 이 추정량들을 위한 유효한 추론 절차(보수적 신뢰 구간)를 제공한다.

4. 결과

4.1 몬테카를로 시뮬레이션

본 논문은 제안된 추정량의 유한 표본 성질을 평가하기 위해 광범한 몬테카를로 시뮬레이션을 수행한다.

• 요인 설계: $N=1,000$ 및 $K=2$ 요인인 시뮬레이션에서, 제안된 추정량은 무시할 만한 편향을 보였으며 신뢰 구간의 피복률(coverage rates)은 명목 95% 수준에 근접했다.
• 패널 실험: $N=1,000$ 및 $T=2$ 시기인 시뮬레이션에서, 제안된 호르비츠-톰슨 추정량은 일치성과 불편성을 유지한다. 반면, 표준 시기별 2SLS 추정량과 다변량 2SLS 추정량은 동적 효과가 존재할 때 심각한 편향과 낮은 피복률(95%보다 훨씬 낮음)을 보인다. 시뮬레이션은 동적 효과가 존재할 때 표준 2SLS 방법이 시간 가변적 이질성으로 인해 점점 더 성능이 저하됨을 강조한다.

4.2 실증 적용: GOTV 실험

본 논문은 자원봉사 및 전문 전화 캠페인이 청년 투표율에 미치는 영향을 연구한 Nickerson (2007)의 유명한 유권자 동원 실험에 요인 설계 추정량을 적용한다.

• 결과: 분석 결과, 자원봉사 및 전문 전화 모두 투표율에 긍정적인 인과 효과가 있음을 확인했다.
• 상호작용 효과: 결과는 GOTV 노력에 대한 **수익 체감(diminishing returns)**을 시사한다. 두 종류의 전화를 모두 받는 효과는 하나만 받는 것보다 유의미하게 크지 않으며, 상호작용 항은 처치를 결합했을 때의 음(-)의 효과를 암시한다.
• 추론: 추정치들은 제안된 보수적 추론 프레임워크 하에서 통계적으로 유의하다. 본 논문은 이전 연구들(Nickerson 2007, Blackwell 2017)이 유사한 점 추정치를 발견했으나, 불확실성의 해석은 다르다고 언급한다. 본 논문은 모집단을 고정된 것으로, 할당을 확률적인 것으로 취급하여 유효한 유한 모집단 신뢰 구간을 제공한다.

5. 의의 및 주장

본 논문은 표준 IV 방법과 다중 처치 및 시간 역학을 포함하는 복잡한 실험 설계 사이의 간극을 메움으로써 인과 추론 문헌에 중요한 기여를 한다고 주장한다.

• 오해의 소지가 있는 결론 해결: 요인 및 패널 설정에서 표준 IV 방법이 초래할 수 있는 오해의 소지가 있는 결론의 위험을 다룬다.
• 이론적 엄밀성: 유한 모집단 프레임워크를 제공함으로써, 무작위 실험에서 특히 중요한, 초집단 가정에 의존하지 않는 추론의 엄격한 기초를 제공한다.
• 실용적 유용성: 제안된 추정량과 추론 절차는 시뮬레이션에서 우수한 성능을 보였으며, GOTV 적용 사례에서 입증된 바와 같이 기존 실험 데이터를 재분석하기 위한 강력한 도구를 제공한다.

본 논문은 표준 IV 가정과 처치 배제 제약 하에서, 처치 시퀀스와 관련된 인과 효과가 다중 차분 접근법을 통해 식별되고 추정될 수 있으며, 이는 복잡한 실험적 설정에서 신뢰할 수 있는 대안이 된다고 결론짓는다.