Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap

1. 문제 정의 (Problem Statement)

• 배경: 관찰 데이터 기반의 인과 추론 (Causal Inference) 에서 무작위성 (Ignorability) 가정과 함께 중첩 (Overlap, 또는 Positivity) 가정이 필수적입니다. 이는 처리군 (Treatment) 과 대조군 (Control) 의 공변량 (Covariates) 분포가 공통 지지집합 (Common Support) 을 가져야 함을 의미합니다.
• 도전 과제:
  • 고차원 데이터 (High-dimensional settings) 에서는 차원의 저주 (Curse of dimensionality) 로 인해 중첩 가정이 성립하기 어렵거나, 설령 성립하더라도 처리군과 대조군 간의 분포 차이가 매우 커질 수 있습니다.
  • 이러한 약한 중첩 (Weak Overlap) 상황에서는 중요도 가중치 (Importance Weighting) 나 더블 로버스트 (Doubly Robust) 추정량 등의 성능이 급격히 저하되며, 추정의 분산 (Variance) 이 매우 커져 신뢰구간이 넓어집니다.
• 기존 방법의 한계: 기존에는 중첩을 개선하기 위해 공변량을 제거하거나, 추정 대상 (Estimand) 을 변경하거나, 경향성 점수 (Propensity Score) 를 자르는 (Trimming) 등의 방법을 사용했으나, 이는 편향 (Bias) 을 유발하거나 정보 손실을 초래할 수 있습니다.

2. 방법론 (Methodology)

저자들은 교란 제거 점수 (Deconfounding Scores) 라는 새로운 표현 (Representation) 클래스를 제안하고, 이를 통해 중첩을 개선하면서도 편향 없는 추정을 가능하게 하는 방법을 제시합니다.

2.1. 교란 제거 점수 (Deconfounding Scores)

• 정의: 교란 제거 점수 $\phi(X)$ 는 원본 공변량 $X$ 를 변환한 표현으로, 교란 편향 (Confounding Bias) 이 0이 되도록 하는 조건을 만족해야 합니다. 즉, $\tau = \tau_{\phi(X)}$ 가 성립해야 합니다.
• 범주: 경향성 점수 (Propensity Score, $e(X)$) 와 예후 점수 (Prognostic Score, $m_0(X)$) 는 모두 교란 제거 점수의 특수한 경우입니다.
• 특징: 이 두 점수 사이의 연속선상에 위치하는 다양한 표현들이 존재하며, 이들은 모두 무편향 추정을 보장합니다.

2.2. 중첩 발산 (Overlap Divergence)

• 정의: 표현 $\phi(X)$ 에 대한 중첩의 부족을 정량화하기 위해 $\chi^2$-발산 (Chi-squared divergence) 을 기반으로 한 중첩 발산 (Overlap Divergence, $O(\phi(X))$) 을 도입했습니다.
  $$O(Z) = E_{P^0} \left[ \left( \frac{dP^1_Z}{dP^0_Z}(Z) \right)^2 \right]$$
• 역할: 이 발산 값은 추정량의 반모수적 효율성 하한 (Semiparametric Efficiency Bound) 과 밀접하게 연결됩니다. 발산 값이 작을수록 (중첩이 좋을수록) 추정량의 점근적 분산이 감소함을 이론적으로 증명했습니다.

2.3. 최적화 및 분석 (Gaussian Design Setting)

• 가정: 공변량이 가우시안 분포를 따르고, 처리 및 결과 모델이 일반화 선형 모델 (GLM) 을 따른다고 가정합니다.
• 해석적 특성: 이 설정 하에서 교란 제거 점수들의 집합은 쌍곡선 (Hyperbola) 상에 위치함을 증명했습니다.
  • 쌍곡선의 한 끝점은 경향성 점수 (Balancing Score) 에 해당합니다.
  • 다른 끝점은 예후 점수 (Prognostic Score) 에 해당합니다.
• 핵심 발견: 이 쌍곡선 상에서 예후 점수 (Prognostic Score) 가 중첩 발산을 최소화하여 중첩을 가장 잘 개선하는 최적의 표현임을 분석적으로 증명했습니다. 반면, 경향성 점수는 중첩 발산을 최대화합니다.

3. 주요 기여 (Key Contributions)

1. 교란 제거 점수 클래스의 정의: 무편향 추정을 보장하는 표현의 완전한 클래스를 정의하고, 이를 계산하기 위한 조건을 명시했습니다. 이는 경향성 점수와 예후 점수를 포괄하는 연속적인 개념입니다.
2. 중첩 발산의 도입 및 효율성 연결: 중첩의 부족을 측정하는 새로운 지표인 '중첩 발산'을 제안하고, 이것이 추정량의 효율성 하한을 통제함을 보였습니다.
3. 표현 학습의 이론적 근거:
   • 원본 공변량보다 표현 (Representation) 을 사용하는 것이 항상 중첩을 개선함을 증명했습니다.
   • 처리 할당에만 예측력이 있는 변수를 배제해야 함을 수학적으로 입증했습니다.
   • 가우시안/GLM 설정 하에서 예후 점수가 중첩 최적 (Overlap-optimal) 임을 증명했습니다.
4. 실험적 검증: 시뮬레이션 및 반합성 데이터 (IHDP, ACIC 2016, HC-MNIST) 를 통해 이론적 결과를 검증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 결과:
  • 결과 모델 (Outcome Model) 이 잘 지정되었을 때, 예후 점수 기반 추정량이 원본 공변량 및 다른 교란 제거 점수보다 가장 낮은 RMSE (평균 제곱근 오차) 를 보였습니다.
  • 경향성 모델이 잘못 지정되었을 때에도 예후 점수가 우월한 성능을 보였습니다.
  • 두 모델 모두 잘못 지정된 경우에도 교란 제거 점수 기반 방법이 원본 공변량보다 일반적으로 더 좋은 성능을 발휘했습니다.
  • 균등 각도 점수 (Equiangular Score, $w=0$) 는 두 모델 중 하나만 잘못 지정되었을 때 안정적인 중간 지점 (Robust Compromise) 으로 작용했습니다.
• 반합성 데이터 (Semi-synthetic Datasets):
  • IHDP, ACIC 2016, HC-MNIST 데이터셋에서 항상 적어도 하나의 교란 제거 점수가 원본 공변량보다 성능을 향상시켰습니다.
  • 특히 예후 점수가 가장 빈번하게 최상의 성능을 보였으나, 데이터셋과 모델 사양에 따라 균등 각도 점수가 더 나은 결과를 내기도 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 통찰: 고차원 데이터에서 약한 중첩 문제를 해결하기 위해, 단순히 공변량을 줄이는 것이 아니라 교란 정보를 유지하면서 중첩을 최적화하는 표현 학습이 필요함을 이론적으로 정립했습니다.
• 실용적 적용: 제안된 교란 제거 점수는 AIPW, TMLE, 더블 디바이스드 머신러닝 등 기존 인과 추론 방법론의 공변량 입력으로 대체 (Drop-in replacement) 될 수 있어 적용이 용이합니다.
• 미래 과제: 현재 분석은 가우시안 및 GLM 가정에 의존하므로, 더 일반적인 설정 (예: 신경망 모델, 비선형 관계) 으로 확장하고, 유한 표본에서의 추정 오차가 중첩 최적화에 미치는 영향을 분석하는 것이 향후 연구 방향입니다.

요약하자면, 이 논문은 약한 중첩 하에서 인과 효과 추정의 분산을 줄이기 위해 예후 점수 (Prognostic Score) 가 이론적으로 최적의 표현임을 증명하고, 이를 위한 일반적인 프레임워크인 교란 제거 점수를 제안하여 인과 추론의 실용성과 이론적 엄밀성을 동시에 높인 연구입니다.