Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes

기술적 요약: 가우시안 프로세스를 통한 소수 위약군 regime 에서의 CATE 보정 추론

문제 제기
본 논문은 "소수 위약군 regime"에서 보정된 불확실성 구간을 갖는 조건부 평균 치료 효과 (CATE), $\tau(x) = E[Y(1) - Y(0) | X=x]$ 추정의 과제를 다룹니다. 이 regime 은 치료군 간의 표본 크기에서 심각한 불균형 ($N_0 \ll N_1$) 으로 정의되며, 이는 불균형 배분 임상 시험, 예산 제약이 있는 A/B 테스트, 그리고 드문 regime 연구에서 흔히 발생하는 시나리오입니다.

불균형한 군을 위한 표준 메타 러너인 X-Learner 는 점 추정치만 제공합니다. 저자들은 X-Learner 의 두 번째 단계를 베이지안 방식으로 확장하여 신뢰 구간을 생성하는 자연스러운 확장을 조사했습니다. 그들은 이 접근법이 특히 소수 위약군 regime 에서 보정된 커버리지 (즉, 구간이 nominal 수준보다 실제 효과를 포함하는 빈도가 더 낮음) 를 제공하지 못함을 입증했습니다.

실패 원인 진단
본 논문은 베이지안 X-Learner 구간의 커버리지 부족에 대한 구조적 원인을 규명합니다:

1. 1 차 nuisance 편향: X-Learner 는 치료 효과를 추정하기 위해 의사 결과 (pseudo-outcomes, 예: $D_1 = Y - \hat{\mu}_0(X)$) 를 구성합니다. 머신 러닝 nuisance 모델 (예: 정규화 트리) 은 편향을 대가로 분산을 교환하므로, 추정치 $\hat{\mu}_0$는 조건부 불편향되지 않습니다. 결과적으로, 의사 결과의 조건부 평균은 $\tau(x) - b_0(x)$가 되며, 여기서 $b_0(x)$는 작은 통제군에 적합된 nuisance 모델의 정규화 편향입니다.
2. 후방 분포의 이동: 이러한 편향된 의사 결과에 대한 베이지안 회귀는 실제 효과가 아닌 편향된 대상 ($\tau - b_0$) 을 중심으로 한 후방 분포를 생성합니다. 편향이 위치 이동이므로, 후방 분산 (구간을 넓히는 것) 을 증가시켜도 커버리지를 교정하지 못합니다. 구간은 여전히 진실로부터 이동된 채로 남습니다.
3. 직교 점수의 실패: nuisance 편향에 대한 표준적인 해결책은 Neyman-직교인 이중 강건 (DR) 점수를 회귀하는 것입니다. 저자들은 이 방법도 소수 위약군 regime 에서 실패함을 보여줍니다. 이 regime 은 본질적으로 중첩 (overlap) 이 불량하여 (통제군의 성향 점수가 작음, $1-\pi \approx 0$) 발생합니다. DR 점수의 "2 차" 잔차는 $1/(1-\pi)^2$ 인자로 증폭되어 잔차를 무시할 수 없게 만듭니다. 또한, 통제군의 높은 분산을 안정화하기 위해 역분산 가중치를 적용하면 무편향성을 보장하는 교차군 상쇄 메커니즘이 붕괴되어, 추정기가 편향된 X-Learner 형태로 사실상 되돌아갑니다.

방법론: GP-CATE
이러한 문제들을 해결하기 위해 저자들은 GP-CATE를 제안합니다. 이는 점 추정치와 사후 분산 패러다임을 버리고 nuisance 함수 자체에 대한 완전한 베이지안 접근법을 채택합니다.

• 모델링: 점 추정치 $\hat{\mu}_0$와 $\hat{\mu}_1$을 적합하는 대신, GP-CATE 는 각 군 ($\mu_0$ 및 $\mu_1$) 에 대한 결과 표면을 독립적인 가우시안 프로세스 (GPs) 를 사용하여 모델링합니다.
• 후방 분포 구성: GP 는 평균 $m_w(x)$와 점별 표준 편차 $s_w(x)$로 구성된 함수에 대한 전체 후방 분포를 반환합니다. 불확실성 $s_w(x)$는 데이터가 희소한 곳 (통제군) 에서는 자연스럽게 크고, 데이터가 밀집된 곳에서는 작습니다.
• CATE 추론: CATE 후방 분포는 두 군 후방 분포의 차이로 유도됩니다:
  $$\tau(x) | D \sim \mathcal{N}(m_1(x) - m_0(x), s_1(x)^2 + s_0(x)^2)$$
  이 구성은 작은 통제군의 불확실성이 모델링되지 않은 편향이 아닌 분산으로 CATE 후방 분포에 직접 들어오도록 보장합니다.
• 계산 전략: 정확한 GPs 는 $O(N^3)$이지만, 저자들은 소수 위약군 regime 에서 통제군 ($N_0$) 이 작아 정확한 적합이 계산적으로 무시할 수 있음을 지적합니다. 큰 치료군 ($N_1$) 에 대해서는 확장 가능한 대리 모델 (예: 희소/유도점 GP) 로 충분합니다. 이는 통제군의 불확실성이 전체 CATE 분산을 지배하기 때문입니다.

주요 기여

1. 진단: 본 논문은 불균형 데이터에 대한 베이지안 X-Learner 의 커버리지 부족이 후방 평균을 이동시키는 비직교 의사 결과로부터의 1 차 nuisance 편향에 기인함을 확립합니다.
2. 부정적 결과: 중첩 증폭과 효율성 가중치와 무편향성 간의 근본적인 충돌로 인해 propensity score 를 알고 있더라도 이중 강건/직교 점수 해결책이 이 regime 에서 실패함을 입증합니다.
3. 근본 원인 분석: 저자들은 "학습하기 어려운" nuisance (희소 데이터에 적합된 것) 의 점 추정치에 분산을 부착하는 것은 사후 분산 추정치에 정규화 편향이 보이지 않기 때문에 구조적으로 결함이 있다고 주장합니다.
4. 방법론 및 경험적 검증: GP-CATE 는 점 추정치를 베이지안 후방 분포로 대체하는 해결책으로 제안됩니다. 경험적 결과는 소수 위약군 regime 에서 선형, 비선형, 반합성 (IHDP) 벤치마크 전반에 걸쳐 보정된 커버리지를 달성한 유일한 방법임을 보여줍니다.

실험 결과
저자들은 세 가지 설계에서 GP-CATE 를 Causal Forest, BART, 그리고 표준 메타 러너 (X-Learner, DR-Learner) 와 비교 평가했습니다:

• 커버리지: 소수 위약군 regime ($N_0=30$) 에서 표준 구간 추정기는 심각하게 커버리지를 누락했습니다. Causal Forest 의 커버리지는 IHDP 벤치마크에서 0.34 까지 떨어졌고, BART 는 0.59 로 떨어졌습니다. 반면, GP-CATE 는 모든 설계와 표본 크기에서 0.94 에서 0.99 사이의 커버리지를 유지했습니다.
• 구간 폭: GP-CATE 가 생성한 보정 구간은 통제군이 적은 고차원 설정에서 대안들보다 훨씬 넓습니다. 저자들은 이것이 결함이 아니라 특징이라고 주장합니다. 넓은 구간은 희소 데이터에서 표면을 추정하는 데 내재된 높은 불확실성을 올바르게 반영하는 반면, 다른 방법들의 더 좁은 구간은 오보정된 것입니다.
• 점 정확도: GP-CATE 는 점 추정 정확도 ($\sqrt{\epsilon PEHE}$로 측정) 에서 여전히 경쟁력이 있으며, 종종 Causal Forest 와 BART 를 능가하거나 일치합니다. 특히 $N_0$가 증가함에 따라 두드러집니다.

의의 및 주장
본 논문은 소수 위약군 regime 이 고정된 중첩을 가정하는 표준 점근적 오라클 속성이 붕괴되는 구조적 경계를 나타낸다고 주장합니다. 이 연구의 의의는 이 regime 에서 보정된 추론이 점 추정치와 수정된 분산이 아닌 완전한 베이지안 nuisance 모델이 필요하다는 것을 규명하는 데 있습니다.

저자들은 그들의 기여를 새로운 추정기 아키텍처 (GPs 를 사용한 베이지안 T-러너는 Alaa 와 van der Schaar, 2017 의 이전 작업과 유사하다고 지적) 로가 아니라 진단적 통찰력으로 겸손하게 제시합니다. 즉, 이 regime 에서 메타 러너의 실패는 편향과 분산 추정의 분리 때문입니다. GP-CATE 는 근본 원인 분석이 요구하는 추정기로 제시됩니다. 논문은 실무자들이 표준 방법의 더 좁지만 오보정된 구간에 의존하기보다, 데이터 희소성의 정직한 반영으로 더 넓은 구간을 수용하며 불균형 설정에서 GP-CATE 를 선호해야 한다고 결론지었습니다.