Regularizing Extrapolation in Causal Inference

1. 연구 배경 및 문제 정의 (Problem)

인과 추론 (Causal Inference) 과 머신러닝의 도메인 적응 (Domain Adaptation) 에서 핵심적인 과제는 서로 다른 집단 (예: 대조군과 치료군, 또는 소스 도메인과 타겟 도메인) 간의 데이터 분포를 조정하여 특징 (features) 을 비교 가능하게 만드는 것입니다. 이를 위해 가중치 추정기 (Weighting Estimators) 나 선형 스무더 (Linear Smoothers) 가 널리 사용됩니다.

현재의 주요 딜레마는 가중치의 부호 제약 (Non-negativity Constraint) 여부에 있습니다.

• 음수 가중치 금지 (Non-negative weights): 전통적인 역확률 가중치 (IPW), 매칭, 합성 통제법 (Synthetic Control) 등.
  • 장점: 외삽 (Extrapolation, 관측된 데이터 범위를 벗어난 예측) 을 제한하여 모델 의존성을 줄임.
  • 단점: 고차원 환경이나 양의 조건 (Positivity) 이 위반될 경우, 가중치가 0 에 수렴하거나 불균형이 심화되어 편향 (Bias) 이 커질 수 있음.
• 음수 가중치 허용 (Unconstrained weights): OLS, 커널 릿지 회귀 등.
  • 장점: 특징 불균형 (Covariate Imbalance) 을 개선하고 분산 (Variance) 을 줄일 수 있음.
  • 단점: 관측되지 않은 영역으로의 무제한 외삽을 허용하여 모델의 파라미터적 가정 (예: 선형성) 에 대한 의존도가 높아지고, 추정의 분산이 증가할 수 있음.

이 논문은 이 두 극단 (완전한 외삽 금지 vs 통제되지 않은 외삽) 사이의 간극을 메우기 위해, 외삽을 직접적으로 규제 (Regularize) 하는 새로운 프레임워크를 제안합니다.

---

2. 방법론 (Methodology)

저자들은 외삽을 단위 가중치 (Unit Weights) 의 관점에서 정의하고, 부정적 가중치에 대한 소프트 제약 (Soft Constraint) 을 도입하여 기존의 하드 제약 (Hard Constraint) 을 대체합니다.

2.1 핵심 아이디어: 반사 표현 (Reflection Representation)

• 선형성 가정 하에서, 음수 가중치 $w_i < 0$은 원점을 기준으로 반사된 점 $-X_i$에 양수 가중치 $|w_i|$를 부여하는 것과 수학적으로 동치입니다 ($w_i \mu(X_i) = |w_i| \mu(-X_i)$).
• 이를 통해 추정량을 "반사된 추정량 (Reflected Estimator)"과 "모델 위반 편향 (Model Violation Bias)"으로 분해합니다.
• 모델 위반: 만약 실제 결과 함수 $\mu(x)$가 선형 (기함수, odd function) 이 아니라면, 음수 가중치는 추가적인 편향을 발생시킵니다. 이 편향의 크기는 $\mu$의 짝수 성분 (Even component) 과 Hölder 연속성 상수에 의해 결정됩니다.

2.2 제안된 추정기: 정규화된 최적화 문제

기존의 균형 가중치 (Balancing Weights) 최적화 문제에 외삽 페널티 항을 추가한 새로운 목적 함수를 제안합니다:

$$\hat{w} \in \arg \min_{w} \underbrace{\left\| \sum w_i X_i - x^* \right\|_2^2}_{\text{(a) 불균형 (Imbalance)}} + \underbrace{\lambda \|w\|_2^2}_{\text{(b) 분산 (Variance)}} + \underbrace{\gamma \sum_{i: w_i < 0} |w_i| \|X_i\|^\alpha}_{\text{(c) 외삽 (Extrapolation)}}$$

• 항 (a): 타겟 점 $x^*$와 재가중치된 훈련 데이터 간의 특징 불균형을 최소화합니다.
• 항 (b): 가중치의 분산을 제어하여 노이즈 영향을 줄입니다.
• 항 (c) (핵심): 외삽 페널티입니다. 음수 가중치의 크기와 해당 데이터 포인트의 노름 (Norm) 에 비례하여 패널티를 부과합니다.
  • $\gamma = 0$: 제약 없는 균형 가중치 (OLS 등) 와 동일.
  • $\gamma \to \infty$: 모든 가중치가 음수가 되지 않도록 강제 (IPW, 매칭 등).
  • $0 < \gamma < \infty$: 외삽을 허용하되 그 정도를 조절하는 연속적인 추정기 (Continuum of Estimators) 를 제공합니다.

이 최적화 문제는 볼록 (Convex) 하여 전역 최적해를 가지며, QP(Quadratic Program) 또는 SOCP(Second-Order Cone Program) 로 변환되어 효율적으로 풀 수 있습니다.

---

3. 주요 기여 (Key Contributions)

1. 편향 - 편향 - 분산 트레이드오프 (Bias-Bias-Variance Tradeoff) 정립:

   • 기존 '편향 - 분산' 트레이드오프를 확장하여, 분포 불균형으로 인한 편향, 모델 오지정 (Model Misspecification) 으로 인한 편향, 추정기 분산이라는 세 가지 요소를 동시에 고려하는 새로운 프레임워크를 제시했습니다.
   • 특히 고차원 환경과 양의 조건 위반 상황에서 이 세 요소 간의 균형이 중요함을 이론적으로 증명했습니다.

2. 최악의 경우 오차 한계 (Worst-case Error Bound) 유도:

   • Hölder 연속성 가정을 바탕으로 외삽으로 인한 추가 편향을 정량화한 오차 상한선을 유도했습니다.
   • 이 오차 한계를 최소화하는 최적화 절차를 통해, 모델 가정 위반에 대한 민감도를 조절할 수 있음을 보였습니다.

3. 민감도 분석 프레임워크 (Sensitivity Analysis Framework):

   • 하이퍼파라미터 $\gamma$를 '튜닝 파라미터'가 아닌 민감도 파라미터로 간주합니다.
   • $\gamma$를 0 에서 무한대까지 스윕 (Sweep) 하여 추정치가 어떻게 변하는지 관찰함으로써, 파라미터적 가정 (예: 선형성) 이 결과에 미치는 영향을 체계적으로 평가할 수 있는 도구를 제공합니다.

---

4. 실험 결과 (Results)

4.1 합성 데이터 실험 (Synthetic Data)

• 선형 DGP: 모델 가정이 정확할 때, 외삽을 규제 ($\gamma$ 증가) 하면 오차가 증가합니다 (정확한 모델 가정을 활용하는 것이 유리).
• 비선형 DGP: 모델 가정이 틀린 경우 (선형성 위반), $\gamma$가 너무 작으면 모델 오지정 편향이, 너무 크면 불균형 편향이 커집니다.
• 결과: 중간 정도의 $\gamma$에서 U 자형 오차 곡선이 관찰되어, 이론적으로 예측된 "편향 - 편향 - 분산" 트레이드오프가 실제로 존재함을 확인했습니다.

4.2 실제 데이터 적용: 오피오이드 사용 장애 치료 (START Trial)

• 문제: 무작위 대조 시험 (START) 의 결과를 타겟 인구 (TEDS-A 데이터, 히스패닉 여성 중 암페타민/벤조디아제핀 사용 이력자) 로 일반화하는 문제. 이 하위 집단은 시험에서 과소 대표되어 양의 조건 (Positivity) 이 위반되었습니다.
• 적용: 제안된 프레임워크를 사용하여 $\gamma$를 0.01 에서 10 까지 변화시키며 추정치를 분석했습니다.
• 발견:
  • $\gamma$가 작을 때 (선형 회귀에 가까움): 추정치는 특정 값을 보이지만 모델 가정에 크게 의존함.
  • $\gamma$가 커질수록: 추정치가 0 에 수렴하거나 부호가 바뀌는 등 민감하게 반응함.
  • 트레이드오프 확인: $\gamma$를 증가시키면 음수 가중치의 영향 (Negative Influence) 은 줄어들지만, 공변량 불균형 (RMSE) 은 악화됨.
  • 이는 특정 하위 집단에 대한 치료 효과 추정이 모델 가정에 매우 민감함을 시사하며, 연구자들은 이를 주의 깊게 해석해야 함을 보여줍니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 통제된 외삽의 체계화: 기존의 "외삽 금지" 또는 "외삽 허용"이라는 이분법적 접근을 넘어, 외삽의 정도를 연속적으로 조절할 수 있는 유연한 프레임워크를 제시했습니다.
• 실용적 민감도 분석: 연구자가 모델 가정 (선형성 등) 이 결과에 미치는 영향을 정량적으로 평가할 수 있는 실용적인 도구를 제공합니다. 단순히 하나의 점 추정치 (Point Estimate) 를 보고하는 것을 넘어, 가정 변화에 따른 추정치의 안정성을 보여줍니다.
• 이론적 기반: Hölder 연속성과 반사 (Reflection) 개념을 결합하여 외삽 편향을 이론적으로 정립하고, 이를 최적화 문제로 해결하는 방법을 제시했습니다.

이 연구는 고차원 데이터와 양의 조건 위반이 빈번한 현대적 인과 추론 및 머신러닝 응용 분야에서, 더 견고하고 해석 가능한 추정치를 도출하는 데 중요한 기여를 합니다.