A Design-Based Approach to Testing and Inference in (Quasi-)Experiments with Spillovers

기술 요약: (준)실험에서의 파급 효과를 위한 설계 기반 접근법: 테스트 및 추론

1. 문제 제기
경제 정책은 직접적인 대상 범위를 넘어 공간적, 시장적, 사회적 네트워크를 통해 전파되는 파급 효과(spillover effects)를 생성하는 경우가 많다. 이러한 효과를 다루기 용이하게 만들기 위해, 응용 연구자들은 일반적으로 복잡한 처치 할당 벡터를 저차원의 "노출 매핑(exposure mappings)"(예: 특정 반경 내 처치된 이웃의 비율)으로 요약한다. 그러나 두 가지 결정적인 과제가 남아 있다:

1. 명세 불확실성(Specification Uncertainty): 경제 이론은 이러한 매핑의 정확한 함수 형태(예: 링 커널 대 그래비티 커널)나 파라미터(예: 특정 반경 또는 감쇠율)를 명확히 규정하지 않는다. 연구자들은 종종 제도적 직관이나 비공식적인 진단에 기초하여 이를 선택하며, 이를 고정된 것이 아니라 추정해야 하는 대상으로 취급한다.
2. 추론의 한념: 기존 문헌의 표준 오차와 신뢰 구간은 대개 선택된 명세를 조건부로 설정하며, 노출 맵 자체의 선택에서 발생하는 불확실성을 무시한다. 또한, 제안된 매핑이 알려진 할당 메커니즘 하에서 관측된 데이터와 일치하는지 테스트할 수 있는 공식적인 설계 기반 방법론이 존재하지 않는다.

2. 방법론
본 논문은 처치 할당의 무작위성(또는 준무작위성)을 유일한 무작위성의 원천으로 삼아, 노출 매핑을 테스트하고 추정하기 위한 **설계 기반 프레임워크(design-based framework)**를 제안한다. 잠재적 결과(potential outcomes)는 실험 표본에 대해 고정된 것으로 간주된다.

• 노출 충분성 및 직교성(Exposure Sufficiency and Orthogonality): 핵심적인 이론적 통찰은, 올바르게 명세된 노출 매핑 $g(W; X_i, \theta_0)$는 노출 충분성 속성을 함의한다는 것이다. 즉, 노출 $g(W; X_i, \theta_0)$가 주어졌을 때, 나머지 할당 벡터 $W$의 세부 사항은 결과 $Y_i$에 대해 추가적인 정보를 제공하지 않는다. 이는 일련의 **직교 조건(orthogonality conditions, 모멘트 제약)**을 의미한다. 구체적으로, 임의의 결과 변환 $\phi$와 설계 함수 $\psi$에 대하여, "설계 측 잔차(design-side residual)" $R_{i,\theta}\psi(W) = \psi(W) - E[\psi(W) | g(W; X_i, \theta)]$는 $\theta_0$에서 $\phi(Y_i)$와 직교한다.
• 설계 측 잔차화(Design-Side Residualization): 저자들은 설계 함수를 "재중심화(recentering)"함으로써 이러한 모멘트를 구성한다. 조건부 기대값 $E[\psi(W) | g(W; X_i, \theta)]$는 알려진 할당 분포 $D_n$을 사용하여 계산되며(시뮬레이션 또는 열거를 통해), 이는 결과 모델에 대한 어떠한 가정도 필요로 하지 않는다.
• 추정과 테스트:
  • 추정: 튜닝 파라미터 $\theta$는 표본 모멘트의 이차 형식을 최소화하는 일반화 적률법(GMM)을 통해 추정된다.
  • 명세 테스트: 시스템이 과식별(overidentified, 모멘트 수가 파라미터보다 많은 경우)되었을 때, 설계 기반 $J$-테스트를 통해 제안된 노출 매핑이 할당 설계와 일치하는지 평가한다. 기각될 경우, 이는 잔여 할당 변동이 여전히 결과의 예측력을 가지고 있음을 의미하며, 이는 매핑이 잘못 명세되었음을 시사한다.
• 대표본 이론: 본 논문은 공간적 및 네트워크 의존성 하에서 GMM 추정량의 일치성과 점근적 정규성을 어피니티 세트 의존성 프레임워크(affinity-set dependence framework)(Chandrasekhar et al., 2023)를 활용하여 입증한다. 이 프레임워크는 매끄러운 커널(예: 그래비티)과 비매끄러운 명세(예: 링 반경)를 모두 수용한다. 저자들은 단위 수준의 곱 잔차화된 모멘트 클래스에 대한 효율성 경계(efficiency bound)를 도출하고, 성장하는 딕셔너리를 가진 시브 GMM(sieve GMM) 추정량이 이 경계에 도달함을 보여준다.
• 2단계 추론: 본 프레임워크는 추정된 노출 맵 $\hat{\theta}$로부터 발생하는 불확실성을 스택형 Z-추정량(stacked Z-estimator) 접근법을 통해 하위 정책 추정치(예: 평균 처치 효과 또는 승수)로 전파하며, 이를 통해 표준 오차가 실험적 변동과 명세 불확실성을 모두 반영하도록 보장한다.

3. 주요 기여

• 노출 맵 선택의 공식화: 본 논문은 비공식적인 민감도 분석을 넘어, 노출 매핑의 파라미터를 공식적으로 테스트하고 추정하기 위한 최초의 설계 기반 방법론을 제공한다.
• 설계 기반 직교성: 결과 모델에 대한 구조적 가정을 요구하지 않고도 노출 충분성을 테스트하기 위한 유효한 모멘트 조건을 생성하는 새로운 "설계 측 잔차화" 전략을 도입한다.
• 의존성 하에서의 강건한 추론: 복잡한 공간적 및 네트워크 의존성이 존재하는 상황에서 GMM 추정량의 균등 일치성과 점근적 정규성을 확립하며, 이는 매끄러운 및 비매끄러운 노출 맵을 모두 포괄한다.
• 효율성 특성화: 단위 수준 모멘트 클래스 내에서의 효율성 경계를 규명하고, 실행 가능한 시브(sieve) 추정량이 이 경계에 도달할 수 있음을 입증한다.

4. 실증 결과
프레임워크는 두 가지 대규모 빈곤 퇴치 프로그램에 적용되었다:

• Muralidharan et al. (2023) (인도 NREGS): 이 연구는 고정된 20km 반경의 링 기반 노출 측량을 사용하여 공공 근로 개혁의 파급 효과를 조사한다.
  • 결과: 설계 기반 과식별 테스트는 링 명세를 기각하지 않는다. 데이터에 의해 선택된 반경(총 소득에 대해 약 23.7km)은 원래의 20km 선택치와 유사하다.
  • 함의: 데이터에 의해 지지되는 원래의 제도적 선택이 타당함을 보여준다. 소득 증가가 주로 비프로그램 소득(일반 균형 효과)에서 발생한다는 핵심 결과는 반경을 추정하더라도 견고하게 유지된다.
• Egger et al. (2022) (케냐 GiveDirectly): 이 연구는 2km 반경을 사용하여 현금 지원의 파급 효과를 분석한다.
  • 결과: 설계 기반 테스트는 모든 핵심 결과에 대해 원래의 2km 지지를 기각한다. 기각되지 않은 가장 작은 지지 반경은 통상 4~6km이다.
  • 함의: 2km 링을 설계된 인덱스로 대체하면 정책 결론이 크게 달라진다. 원래의 2.5에서 1.57로 감소한 추정된 국지적 재정 이전 승수(local fiscal transfer multiplier)는 Walker et al. (2024)의 구조 모델 예측치(1.54)와 밀접하게 일치한다. 이는 원래의 2km 반경이 시장 수준의 주변 파급 효과를 포착하기에는 너무 국지적이었음을 시사한다.

5. 의의 및 주장
본 논문은 노출 매핑을 고정된 연구자의 선택으로 취급하는 방식에 대한 엄격한 대안을 제공한다고 주장한다. 노출 매핑을 설계 기반 추론의 대상으로 다룸으로써, 이 프레임워크는 다음을 수행할 수 있다:

1. 경제적 동기에 의한 매핑이 무작위성과 일치할 경우 이를 **검증(Validate)**한다.
2. 선택된 명세가 데이터와 일치하지 않을 경우 **수정 방향을 탐지하고 안내(Detect and guide revisions)**한다(케냐 사례에서 나타난 바와 같이).
3. 추정된 $\theta$로부터 발생하는 불확실성을 하위 정책 추정치로 **전파(Propagate uncertainty)**하여, $\theta$를 기지의 값으로 취급할 때 발생하는 표준 오차의 과소 추정 문제를 방지한다.

저자들은 자신들의 접근법이 가능한 모든 대안에 대해 "진정한" 간섭 구조를 식별한다고 주장하는 것이 아니라(Gao et al., 2026의 불가능성 결과 언급), 응용 연구에서 흔히 사용되는 파라미터 클래스 내에서의 테스트 가능한 제약을 제공한다고 강조한다. 이 프레임워크를 통해 연구자들은 알려진 무작위성 설계를 활용하여 노출 매핑을 규제함으로써, 정책적 추론이 선택된 함수 형태나 파라미터에 관계없이 견고하도록 보장할 수 있다.