On the Impossibility of Specification Testing of Interference Models Based on Exposure Mappings

기술적 요약: 노출 매핑에 기반한 간섭 모델의 사양 검정 불가능성에 관한 논의

문제 제기
스필오버 (간섭) 가 의심되는 무작위 실험에서 분석가는 인과 효과를 추정하기 위해 간섭 모델을 가정해야 합니다. 실증 연구에서 지배적인 접근법은 노출 매핑 (exposure mappings)(Aronow & Samii, 2017) 을 활용하는 것으로, 이는 고차원 처리 벡터를 각 단위에 대한 저차원 요약으로 축소합니다. 중요한 도전 과제는 스플리오버의 실제 본질이 거의 알려지지 않았기 때문에, 연구자들이 선택한 간섭 모델이 올바르게 사양되었는지 판단하기 위해 **사양 검정 (specification tests)**을 사용하게 된다는 점입니다.

기존 문헌은 올바른 모델을 기각하는 제 1 종 오류를 통제하는 사양 검정 (종종 피셔 스타일 무작위화 검정에 기반함) 을 개발해 왔으나, 이러한 검정의 제 2 종 오류(잘못된 모델을 수용하는 오류) 는 여전히 poorly understood(잘 이해되지 않음) 합니다. 본 논문이 다루는 핵심 질문은, 특히 오사양이 귀무가설과 '잘 분리 (well-separated)'되어 있을 때, 올바르게 사양된 노출 매핑 모델과 오사양된 모델을 신뢰성 있게 구별할 수 있는 사양 검정을 구성할 수 있는지 여부입니다.

방법론 및 프레임워크
저자들은 무작위 실험에 대한 설계 기반 (design-based) 프레임워크를 채택합니다. 그들은 다음과 같은 구성 요소를 사용하여 문제를 형식화합니다:

• 모델: 귀무 모델 ($M_0$) 과 대안 모델 ($M_1$) 은 잠재 결과 함수의 집합입니다. 두 모델 모두 잘 정의된 결과를 보장하기 위해 균일한 모멘트 제한 ($\|y\|_\infty \le 1$) 으로 제한됩니다.
• 노출 모델: 본 논문은 단위 $i$의 잠재 결과가 노출 매핑 $h_i(z)$에만 의존하는 모델에 초점을 맞춥니다. 모델은 노출 $h_i(z)$를 변경하지 않는 처리 벡터 $z$의 변화에 대해 결과가 불변일 때 올바르게 사양된 것으로 간주됩니다.
• 분리: 검정력을 평가하기 위해 저자들은 잠재 결과 함수가 귀무 모델로부터 벗어난 정도를 측정하는 분리 함수 (separation functional) $g(y)$를 정의합니다. 대안이 $g(y) \ge \delta$일 때 $\delta$-분리되었다고 합니다.
• 성능 지표: 본 논문은 전체 검정 오차 (overall testing error) $R(D, \phi, \delta)$를 사용하여 검정을 평가하며, 이는 $\delta$-분리된 대안에 대한 최악의 제 1 종 오류와 최악의 제 2 종 오류의 합으로 정의됩니다.
• 불가능성 기준: 검정 문제가 **불가능 (impossible)**하다고 간주되는 것은 미니맥스 검정 오차 $R^*(\delta) = 1$인 경우입니다. 이는 모든 데이터를 폐기하고 무작위로 귀무가설을 기각하는 단순한 절차보다 더 나은 성능을 보이는 어떤 검정 절차도 존재하지 않음을 의미합니다.

주요 기여 및 결과

1. 노출 매핑에 대한 불가능성 정리:
   본 논문의 주요 결과 (정리 3.1) 는 강력한 불가능성 결과를 확립합니다: 노출 매핑 모델의 사양 검정은 불가능합니다.

   • 구체적으로, 임의의 귀무 노출 모델 $M_0$와 임의의 대안 노출 모델 $M_1$(여기서 $M_0 \subseteq M_1$) 에 대해, 모든 비자명한 분리 값 $\delta$에 대해 미니맥스 검정 오차는 정확히 1 입니다.
   • 이 결과는 모든 표본 크기($n$)에 대해, 균일하게 제한된 결과에 대해, 그리고 귀무가설과 최대 분리된 대안에 대해 성립합니다.
   • 증명 개요: 저자들은 관찰된 결과의 분포 간의 총변동 거리 (total variation distance) 가 모든 처리 할당 $z$에 대해 0 이 되도록 ($d_{TV}(Q_0(z), Q_1(z)) = 0$) $M_0$에서 지지되는 명시적 혼합 분포 $\Pi_0$와 $\delta$-분리된 $M_1$에서 지지되는 $\Pi_1$을 구성합니다. 관찰된 데이터 분포가 어떤 실험 설계 하에서도 구별할 수 없기 때문에, 어떤 검정도 무작위 추측보다 나은 검정력을 달성할 수 없습니다.

2. 엄격한 귀무가설에 대한 부록:
   이 불가능성은 "처리 효과 없음"과 "간섭 없음 (SUTVA)"을 구별하는 것과 같은 일반적인 특정 사례로 확장됩니다. 처리 효과가 최대 크기 (모멘트 제한에 의해 분리됨) 라 하더라도, 귀무 및 대안 혼합 하의 데이터 분포는 동일하여 모델들이 경험적으로 구별 불가능하게 됩니다.

3. 비노출 대안에 대한 일관된 검정:
   저자들은 불가능성 결과가 노출 매핑 모델 클래스에 특유한 것임을 보여줍니다. 대안 모델을 노출 매핑이 아닌 구조로 제한함으로써, 정보적 검정이 가능해집니다.

   • 그들은 간섭 없음 (SUTVA) 에 대한 귀무가설을 네트워크 선형 평균 모델(결과가 처리된 이웃의 비율에 선형인 모델) 에 대한 대안과 대비하여 **균일하게 일관된 검정 (uniformly consistent test)**을 구성합니다.
   • 이 검정은 베르누이 설계 하의 잠재 결과에 대한 2 차 함수량의 일관된 추정치를 활용합니다.
   • 이 검정은 네트워크의 최대 차수 ($d_{max}$) 가 $d_{max} = o(n^{1/5})$를 만족할 때 일관성을 가집니다.

의의 및 주장
본 논문은 실험 데이터만을 사용하여 노출 매핑 모델을 검증할 수 없는 능력이 방법론적 정교함의 부재가 아닌 근본적인 한계임을 주장합니다.

• 인식론적 함의: 모델 사양 문제는 실험 데이터만으로는 해결될 수 없습니다. 저자들은 연구자들이 노출 모델의 모든 잠재적 오사양을 배제하기 위해 데이터에 의존할 수 없다고 주장합니다.
• 실무적 지침: 저자들은 사양 검정이 연구자들이 노출 매핑의 구조적 제약을 넘어선 사후 (a priori) 제한을 대안 모델에 부과할 때만 유용하다고 주장합니다. 실험자가 사후에 귀무가설로부터의 이탈을 배제할 의사가 없다면, 유일한 유효한 결론은 귀무가설이 오사양되었을 수 있다는 것입니다.
• 초점의 전환: 본 논문은 특정 노출 모델이 "올바른"지 여부를 검증하려는 시도 (불가능한 것으로 입증된 작업) 에서 벗어나, 구체적이고 사전에 지정된 유형의 이탈을 대상으로 하는 검정을 구축하는 방향으로 학계가 초점을 옮겨야 함을 시사합니다 (선형 평균 예시가 이를 보여줍니다).
• 외부 데이터의 역할: 저자들은 모델 사양을 해결하기 위해 외부 데이터나 질적 방법을 통합해야 할 수 있다고 언급하지만, 이는 새로운 검증 불가능한 가정을 도입한다고 지적합니다.

요약하자면, 본 논문은 표본 크기나 분리 크기와 관계없이 어떤 사양 검정도 중첩된 노출 매핑 모델 간을 균일하게 구별할 수 없다는 형식적 증명을 제공합니다. 따라서 정보적 사양 검정은 노출 매핑 클래스를 넘어 대립가설의 범위를 좁히는 것을 요구합니다.