Transporting causal effects from a randomized trial without "transportability:" a case study of political advertising during U.S. elections

기술 요약: "전이 가능성(Transportability)" 없이 무작위 대조 시험으로부터 인과 효과를 전이하기

문제 제기
본 논문은 무작위 대조 시험(RCT)이 수행된 소스 집단(source population)으로부터, 측정되지 않은 방식으로 서로 다른 타겟 집단(target population)으로 인과 효과를 일반화(전이)하는 문제에 대해 다룬다. 구체적인 동기가 되는 적용 사례는 2020년 미국 대통령 선거 당시 도널드 트럼프를 겨냥한 디지털 정치 광고에 관한 대규모 RCT 결과의 일반화이다. Aggarwal 등(2023)은 5개의 경합주(펜실베이니아, 위스콘신, 미시간, 노스캐롤라이나, 애리조나)에서 투표율에 대한 효과가 없다는(null effect) 결과를 발견했다. 저자들은 이 무효 결과가 조지아주로 일반화될 수 있는지 조사한다. 조지아주는 독특한 유권자 인구 통계(특히 높은 흑인 유권자 비율)와 소스 주들과는 다른 측정되지 않은 사회경제적 요인(예: 건강 보험, 소득)을 가진 독특한 경합주이다.

표준적인 전이 가능성 방법론은 소스와 타겟 집단 사이의 모든 차이가 관측된 공변량에 의해 포착된다는 가정(전이 가능성)에 의존한다. 그러나 본 맥락에서는 측정되지 않은 차이로 인해 이 가정이 위배될 가능성이 높다. 또한, 기존 방법론들은 소스와 타겟 데이터 간에 동일한 공변량 세트를 요구하는 경우가 많은데, 본 사례는 그렇지 않다(소스 데이터에는 정당 지지 및 투표 이력이 포함되어 있으나, 조지아의 유권자 등록부 데이터인 타겟 데이터에는 연령, 인종, 성별과 같은 인구 통계 정보만 포함되어 있다).

방법론
저자들은 측정되지 않은 차이와 불일치하는 공변량($V \subset X$)을 처리하기 위해 민감도 분석(sensitivity analysis)과 전이 가능성 방법론을 결합한 전이 학습 프레임워크를 제안한다.

1. 민감도 모델: 이 프레임워크는 공유된 공변량 $V$에 대해 조건부인 두 집단 간의 잠재적 결과에 대한 오즈비(odds ratio)를 나타내는 민감도 파라미터 $\Gamma_a$ (처치 수준 $a \in \{0, 1\}$에 대해)를 도입함으로써 전이 가능성 가정을 완화한다. $\Gamma_a = 1$일 때 전이 가능성이 성립하며, 1로부터의 편차는 전이 가능성 위반의 정도를 정량화한다. 이 모델은 두 집단 간의 조건부 밀도 관계에 지수적 틸팅(exponential tilting) 관계를 가정한다.
2. 식별(Identification): 이 민감도 모델 하에서, 타겟 평균 처치 효과(TATE)는 $\Gamma_a$와 nuisance 함수들(결과 회귀, 성향 점수, 밀도 비율)의 함수로서 식별된다.
3. 추정(Estimation): 두 가지 추정량이 제안된다:
   • 결과 회귀(Outcome Regression, OR) 추정량: 추정된 결과 회귀 함수 $\hat{\rho}_a(V)$에 민감도 파라미터를 가중치로 부여하는 단순 플러그인(plug-in) 추정량이다. 저자들은 추론을 위해 비모수 백분위수 붓스트랩(nonparametric percentile bootstrap)을 권장하며, 이에 대한 일치성과 점근적 정규성을 이론적으로 정당화한다.
   • 효율적 영향 함수(Efficient Influence Function, EIF) 추정량: 교차 적합(cross-fitting)을 기반으로 하는 준모수적 효율적 추정량이다. 이는 민감도 모델을 위해 유도된 EIF를 활용한다. 저자들은 표준 전이 가능성 추정량과 달리, 이 추정량이 전이 가능성이 위반되었을 때 이중 강건성(doualty robust)을 갖지 않으며, 특히 결과 회귀 함수 $\rho_a$의 일치된 추정이 필요하다고 언급한다.
4. 교정 절차(Calibration Procedure): 식별 불가능한 민감도 파라미터의 의미 있는 값을 선택하는 어려움을 해결하기 위해, 저자들은 설계 민감도(design sensitivity)에서 영감을 얻은 데이터 기반 교정 절차를 제안한다. 이는 소스 데이터를 두 개의 이질적인 하위 집단(예: 러스트 벨트 vs 선 벨트, 또는 높은 트럼프 지지층 vs 낮은 트럼프 지지층)으로 나누는 것을 포함한다. 이 절차는 두 하위 집단 간의 전이된 추정치가 "오라클(oracle)" 추정치(직접 추정치를 타겟으로 취급한 값)와 일치하는 $\Gamma_a$ 값의 범위를 찾아낸다. 이를 통해 소스 데이터 자체에 존재하는 측정되지 않은 차이의 크기를 반영하는 참조용 민감도 파라미터 세트를 생성한다.

주요 기여

• 완화된 공변량 요구사항: 본 프레임워크는 소스 데이터가 타겟 데이터보다 더 많은 공변량($X$)을 포함할 수 있도록 허용하며, 이는 RCT에서 수집된 상세 변수가 부족한 타겟 관측 데이터의 일반적인 시나리오를 반영한다.
• 붓스트랩 추론에 대한 이론적 정당화: 저자들은 전이 학습 환경에서 추론을 위해 비모수 백분위수 붓스트랩을 사용하는 것의 이론적 정당성을 공식적으로 입증하였다. 이는 과거에 질적으로만 제안되었던 관행이다.
• 민감도 분석 하의 EIF 추정량: 저자들은 민감도 파라미터가 포함된 설정으로 효율적 영향 함수 이론을 확장하였다. 그들은 이 추정량이 준모수적으로 효율적이지만, 전이 가능성이 위반될 경우 이중 강건성 속성을 상실하여 결과 회귀 함수의 올바른 명세(specification)를 요구한다는 점을 입증하였다.
• 데이터 기반 교정: 측정된 공변량을 누락하지 않으면서도 민감도 파라미터의 해석 가능한 참조 크기를 생성하는 새로운 교정 방법을 도입하여, 전통적인 누락 변수 교정의 함정을 피하였다.

결과
조지아주 2020년 선거 데이터에 프레임워크를 적용한 결과:

• 전이 가능성 가정 하: 만약 전이 가능성이 성립한다고 가정하면($\Gamma_0 = \Gamma_1 = 1$), 광고 캠페인은 조지아의 159개 모든 카운티에서 효과가 없는 것으로 나타난다.
• 민감도 분석 하: 전이 가능성으로부터의 작은 이탈이 극적으로 다른 결론을 이끌어낸다.
  • 사전 지정된 민감도 파라미터(예: $\Gamma_0=0.99, \Gamma_1=1.01$)를 사용할 경우, 광고 효과는 154개 카운티에서 유의미하게 양(+)의 값을 갖는다.
  • 반대되는 파라미터($\Gamma_0=1.01, \Gamma_1=0.99$)를 사용할 경우, 효과는 158개 카운티에서 유의미하게 음(-)의 값을 갖는다.
• 교정된 결과: 소스 데이터를 분할하여 도출된 교정 세트를 사용했을 때:
  • 러스트 벨트 vs 선 벨트 분할: 많은 카운티가 효과의 방향에 민감하다. 백인 인구가 많고 흑인 인구가 적은 카운티는 양(+)의 효과를 보이는 경향이 있는 반면, 라틴계 인구가 많은 카운티는 음(-)의 효과를 보이는 경향이 있다.
  • 트럼프 지지층 분할: 대부분의 카운티는 전이 가능성 위반의 이 정도 규모에는 둔감하며, 이는 트럼프 지지자와 비지지자 사이의 측정되지 않은 차이가 충분히 커서 특정하고 큰 민감도 파라미터 편차만이 결론을 바꿀 수 있음을 시사한다.
• 하위 집단 분석: 전이 가능성이 위반될 때, 광고 효과는 성별, 인종, 투표 이력으로 정의된 8개 하위 집단 중 6개에서 민감하게 나타나며, 특히 흑인이나 라틴계가 아닌 여성 재투표자에게서 두드러진다.

의의 및 주장
본 논문은 엄격한 전이 가능성 가정이 유지되기 어렵고 공변량이 불일치할 때, 인과 효과를 일반화하기 위한 통계적으로 유효한 접근법을 제공한다고 주장한다. 저자들은 자신들의 연구 결과가 "작은 효과는 작은 [측정되지 않은] 편향에도 민감하다"는 Rosenbaum(2010)의 견해를 뒷받침한다고 강조한다. 즉, 원래의 소스 집단에서의 효과가 0에 가까웠기 때문에, 본 연구는 두 집단 사이의 사소한 측정되지 않은 차이만으로도 결론이 매우 취약해질 수 있음을 보여준다. 저자들은 완벽한 전이 가능성이라는 비현식적인 가정에 의존하지 않고, 일반화 주장의 견고성을 평가하기 위해 이론적으로 유효하고 단순한 접근법(특히 붓스트랩을 동반한 OR 추정량)을 필요로 하는 실무자들을 위한 도구로서 이 프레임워크를 제시한다. 또한, 이 프레임워크가 임상 시험 대상 환자가 더 넓은 대상 인구와 측정되지 않은 방식으로 다른 경우와 같이 선거 외의 분야에도 적용 가능하다는 점을 명시하고 있다.