Causal Effect Estimation with Learned Instrument Representations

논문 요약: 학습된 도구 변수 (Instrument) 표현을 통한 인과 효과 추정

1. 문제 제기 (Problem)

관측 데이터 (Observational Data) 에서 인과 효과를 추정할 때, 관찰되지 않은 교란 변수 (Unobserved Confounding) 로 인한 편향은 큰 장애물입니다. 이를 해결하기 위해 도구 변수 (Instrumental Variable, IV) 회귀가 널리 사용되지만, 실제 적용에는 다음과 같은 한계가 있습니다.

• 유효한 IV 의 부재: IV 는 치료 (Treatment) 에 영향을 주지만 결과 (Outcome) 에는 직접적인 영향을 주지 않아야 하며, 관찰되지 않은 교란 변수와 무관해야 합니다. 이러한 조건을 만족하는 유효한 IV 를 실제 데이터에서 찾기 어렵거나 불가능한 경우가 많습니다.
• 표형 데이터의 한계: 기존 IV 방법은 주로 표형 (Tabular) 데이터에 국한되어 명시적으로 관측된 변수를 IV 로 사용해야 합니다. 텍스트, 이미지, 멀티모달 데이터와 같은 고차원 비정형 데이터에서는 명시적인 IV 가 존재하지 않더라도 데이터 내에 잠재된 인과적 신호를 활용하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 관찰된 공변량 (Covariates) $X$로부터 **학습된 도구 변수 표현 (Learned Instrument Representations)**을 구축하는 새로운 접근법인 ZNet을 제안합니다.

• 핵심 아이디어:

  • 입력 특징 공간 $X$를 **교란 성분 (Confounding Component, $\tilde{X}$)**과 **도구 변수 성분 (Instrumental Component, $\tilde{Z}$)**으로 분해합니다.
  • 이 분해는 구조적 인과 모델 (SCM) 을 모방하는 인코더 아키텍처를 통해 수행됩니다.
  • 명시적인 IV 가 없더라도, 데이터의 잠재적 패턴 (예: 의료 기록의 텍스트, 의료진의 처방 경향 등) 을 추출하여 유효한 IV 역할을 할 수 있는 잠재 변수를 학습합니다.

• ZNet 아키텍처:

  • 인코더: $f(\cdot)$는 교란 변수 $\tilde{X}$를, $g(\cdot)$는 도구 변수 $\tilde{Z}$를 학습합니다.
  • 두 단계 추정기 호환성: 학습된 $\tilde{X}$와 $\tilde{Z}$는 기존의 2 단계 IV 추정기 (TSLS, DeepIV, DFIV 등) 에 입력으로 사용되어 인과 효과를 추정합니다.

• 손실 함수 및 제약 조건 (Moment Conditions):
  모델은 유효한 IV 의 세 가지 정의적 속성을 경험적 모멘트 조건 (Empirical Moment Conditions) 으로 강제하여 학습합니다.

  1. 관련성 (Relevance): $\tilde{Z}$는 치료 $T$와 상관관계가 있어야 함 ($Cov(\tilde{Z}, T) \neq 0$).
  2. 배제 제한 (Exclusion Restriction): $\tilde{Z}$는 결과 $Y$에 직접 영향을 주지 않아야 함 (오차항 $\tilde{\epsilon}_Y$와 무관해야 함, $Cov(\tilde{Z}, \tilde{\epsilon}_Y) = 0$).
  3. 교란되지 않음 (Unconfoundedness): $\tilde{Z}$는 관찰되지 않은 교란 변수 $U$와 무관해야 함 (또는 $\tilde{X}$와 무관해야 함, $Cov(\tilde{Z}, \tilde{X}) = 0$).

  이러한 조건들은 피어슨 상관관계 (Pearson Correlation) 또는 상호 정보 (Mutual Information) 를 근사하여 손실 함수에 정규화 항으로 추가됩니다.

3. 주요 기여 (Key Contributions)

1. 명시적 IV 없이 IV 추정 가능: 관찰된 데이터 $X$로부터 IV 역할을 할 수 있는 잠재 표현을 자동으로 학습하여, IV 가 존재하지 않거나 찾기 어려운 상황에서도 인과 추정이 가능하게 합니다.
2. 고차원/비정형 데이터 적용: 텍스트, 이미지, ECG(심전도) 데이터와 같은 고차원 데이터에서 잠재된 인과적 신호를 추출할 수 있음을 입증했습니다.
3. 범용성: 학습된 표현은 TSLS, DeepIV, DFIV 등 다양한 하류 (Downstream) IV 추정기와 호환됩니다.
4. 포괄적인 평가: IHDP(반합성 데이터) 와 실제 의료 데이터 (ECG) 를 포함한 다양한 시나리오 (명시적 IV 존재, 잠재 IV 존재, IV 부재, 관찰되지 않은 교란 변수 존재 여부 등) 에서 광범위한 실험을 수행했습니다.

4. 실험 결과 (Results)

• IV 복원 능력:
  • 데이터 내에 명시적인 IV 가 존재하는 경우, ZNet 은 이를 높은 상관관계로 복원했습니다.
  • IV 가 없는 경우에도, ZNet 은 치료와 관련되고 교란 변수와 무관한 유효한 잠재 표현을 생성했습니다.
• 인과 효과 추정 성능:
  • ATE (Average Treatment Effect) 및 CATE (Conditional ATE) 오차: ZNet 은 기존 IV 생성 방법 (AutoIV, VIV, GIV 등) 과 교란 변수를 무시하는 TARNet 보다 낮은 오차를 보였습니다.
  • 특히 어려운 시나리오: 관찰되지 않은 교란 변수가 관찰 데이터 ($U \to X$) 에 영향을 미치는 경우나, IV 후보가 전혀 없는 경우에서 ZNet 의 성능 우위가 두드러졌습니다.
• 실제 데이터 적용 (ECG):
  • 35,000 개 이상의 심전도 (ECG) 데이터를 사용하여 실험한 결과, ZNet 은 명시적인 IV 가 없는 환경에서도 일반 최소제곱법 (OLS) 보다 훨씬 정확한 치료 효과 추정을 가능하게 했습니다. 이는 의료 데이터의 비정형적 특성 (병원별 차이, 의사의 처방 경향 등) 을 IV 로 활용했기 때문입니다.

5. 의의 및 결론 (Significance)

• 자동화된 인과 추론: 도메인 지식 없이도 관찰 데이터에서 IV 를 자동으로 생성할 수 있게 함으로써, IV 회귀의 적용 범위를 크게 확장했습니다.
• 비정형 데이터의 인과적 활용: 고차원 데이터 (이미지, 텍스트 등) 에 내재된 인과적 신호를 추출하여 예측 모델에 인과적 통찰력을 부여할 수 있는 길을 열었습니다.
• 실용적 가치: 이론적 가정 (SCM 의 특정 조건 등) 이 완벽하게 충족되지 않는 실제 세계의 복잡한 데이터 환경에서도 교란 편향을 완화하는 강력한 도구로 작용할 수 있음을 시사합니다.

이 연구는 기계 학습과 인과 추론의 융합을 통해, 전통적으로 IV 가 필요했던 분야에서 데이터 기반의 자동화된 해결책을 제시했다는 점에서 중요한 의의를 가집니다.