Instrumental and Proximal Causal Inference with Gaussian Processes

이 논문은 관측되지 않은 교란변수가 존재하는 상황에서의 인과 추론을 위해, 예측 정확도와 잘 교정된 인식적 불확실성 정량화를 동시에 제공하는 데컨디셔널 가우시안 프로세스 (DGP) 프레임워크를 제안합니다.

핵심

🕵️‍♂️ 상황: 보이지 않는 '요령' (Unobserved Confounding)

상상해 보세요. 어떤 약 (X) 을 먹었을 때 병이 낫는지 (Y) 확인하고 싶다고 칩시다. 하지만 문제는 **환자들의 건강 상태 (U)**라는 '보이지 않는 요령'이 있다는 거예요.

• 건강이 좋은 사람들은 약도 잘 먹고 병도 잘 낫습니다.
• 건강이 나쁜 사람들은 약도 못 먹고 병도 낫지 않습니다.

이때 단순히 "약 먹은 사람 vs 안 먹은 사람"을 비교하면, 약이 낫게 한 건지 아니면 원래 건강했던 건지 알 수 없죠. 이것이 **'교란 (Confounding)'**입니다.

🛠️ 기존 방법들의 한계: "정답은 맞는데, 확신은 없어요"

기존 연구자들은 이 문제를 해결하기 위해 **'도구 (Instrumental Variable)'**나 **'대리 변수 (Proxy)'**라는 특수한 도구를 사용했습니다.

• 도구 (IV): 약을 처방받은 이유 (예: 의사의 임의 배정) 를 이용해 약의 진짜 효과를 추측합니다.
• 대리 변수 (Proxy): 건강 상태를 직접 볼 수 없으니, 건강과 관련된 다른 지표 (예: 혈압, 운동량) 를 통해 간접적으로 추측합니다.

하지만 기존 방법들은 **"이게 정답일 확률이 얼마나 될까?"**에 대한 답을 주지 못했습니다. 마치 "이 약이 낫습니다"라고 말만 하고, "하지만 제가 100% 확신할 수는 없어요"라는 말을 안 하는 것과 같습니다. 특히 데이터가 부족하거나 상황이 복잡할 때는 이 '불확실성'을 무시하면 큰 실수를 할 수 있습니다.

✨ 이 논문의 해결책: "신뢰할 수 있는 GPS" (가우시안 프로세스)

이 논문은 **가우시안 프로세스 (Gaussian Process, GP)**라는 기술을 도입해서 두 가지 중요한 것을 동시에 해결합니다.

1. 정확한 정답 찾기 (평균값): 기존에 쓰이던 복잡한 수학적 방법들 (커널 방법 등) 과 똑같이 정확한 정답을 찾아냅니다.
2. 신뢰도 표시 (분산값): 여기서 멈추지 않고, **"이 답을 얼마나 믿어도 될까?"**를 숫자로 보여줍니다.

🎨 비유: 날씨 예보관 vs 이 논문의 AI

• 기존 방법 (날씨 예보관 A): "내일 비가 올 것입니다." (정답만 말함)
  • 만약 비가 안 오면? "아, 제가 잘못 예측했네요." (왜 틀렸는지, 얼마나 틀렸는지 모름)
• 이 논문의 방법 (날씨 예보관 B): "내일 비가 올 확률이 80% 입니다. 하지만 20% 는 맑을 수도 있으니 우산은 챙기세요." (정답 + 불확실성)
  • 이 예보관은 **"우리가 모르는 부분 (비행기 지연, 기압 변화 등)"**까지 고려해서 "이건 확실히 비가 오겠구나" 혹은 "이건 좀 애매하네"라고 구분해 줍니다.

🚀 이 방법이 왜 특별한가요?

이 논문은 GPIV와 GPProxy라는 두 가지 새로운 도구를 만들었습니다.

1. 한 번에 해결 (Unified Framework):

   • '도구 (IV)'를 쓰는 경우와 '대리 변수 (Proxy)'를 쓰는 경우, 두 가지 다른 상황을 하나의 같은 방식으로 해결합니다. 마치 스마트폰 하나로 카메라, 음악 플레이어, 내비게이션을 모두 다 쓰는 것과 같습니다.

2. 자동으로 최적화 (Model Selection):

   • 기존 방법들은 "이 설정을 쓰면 잘 될까?"를 실험해 보느라 데이터를 반반씩 나누어 써야 했습니다 (데이터 낭비).
   • 하지만 이 방법은 데이터를 다 쓰면서 자동으로 가장 좋은 설정을 찾아냅니다. 마치 요리사가 재료를 다 써서 최고의 맛을 내는 것과 같습니다.

3. 위험한 결정을 피하게 함 (Uncertainty-Aware Decision):

   • 이 도구는 "이 경우는 너무 불확실해서 예측을 안 하겠다"라고 스스로 판단할 수 있습니다.
   • 예시: 자율주행차가 길을 가는데, 안개가 너무 짙어 (불확실성이 너무 높음) "이건 내가 못 봐. 멈춰!"라고 신호를 보냅니다. 이렇게 하면 위험한 사고를 미리 막을 수 있습니다.

📊 실제 성과: "더 정확하고, 더 안전하다"

연구자들은 인공 데이터와 실제 항공기 티켓 수요 데이터로 실험을 해보았습니다.

• 정확도: 기존 최고의 방법들과 비슷하거나 더 좋은 정답을 냈습니다.
• 신뢰도: 기존 방법들은 "내가 95% 확신해!"라고 말했는데 실제로는 60% 만 맞았습니다 (과신). 하지만 이 방법은 **"내가 95% 확신해"**라고 말할 때 실제로 95% 를 맞았습니다.
• 결정: 불확실성이 높은 데이터는 과감히 제외하고, 확실한 데이터만 골라 예측해서 전체적인 정확도를 높였습니다.

💡 결론

이 논문은 "원인과 결과를 찾을 때, 정답만 알려주는 게 아니라 그 정답에 대한 '신뢰도'까지 함께 알려주는" 새로운 시스템을 개발했습니다.

이는 의료, 금융, 정책 결정 등 실수하면 큰 피해가 발생하는 분야에서, AI 가 "이건 확실하지 않으니 인간이 다시 한번 확인해 주세요"라고 말하며 더 안전하고 책임감 있는 의사결정을 돕는 데 큰 역할을 할 것입니다.

기술 요약

이 논문은 **관측되지 않은 교란변수 (unobserved confounding)**가 존재하는 환경에서 인과적 추론을 수행할 때 발생하는 인지적 불확실성 (Epistemic Uncertainty, EU) 의 정량화 부족 문제를 해결하기 위해 제안된 새로운 프레임워크에 관한 것입니다. 저자들은 **가우시안 프로세스 (Gaussian Processes, GP)**를 기반으로 한 조건부 해제 (Deconditional) 접근법을 도입하여, 인과 효과 추정의 정확성과 신뢰할 수 있는 불확실성 측정을 동시에 달성하는 통합된 방법을 제시합니다.

다음은 논문의 상세한 기술적 요약입니다.

---

1. 문제 정의 (Problem Statement)

• 배경: 관측 데이터로부터 인과 효과를 추정할 때, 관측되지 않은 교란변수 (Unobserved Confounders) 는 표준 추정량을 편향시키고 인과적 타당성을 훼손합니다. 이를 해결하기 위해 **계량변수 (Instrumental Variables, IV)**와 근접 인과 학습 (Proximal Causal Learning, Proxy) 방법이 널리 사용됩니다.
• 한계: 기존 머신러닝 기반의 IV 및 Proxy 추정 방법 (커널 기반, 딥러닝 등) 은 주로 **점 추정 (Point Estimation)**에 집중되어 있습니다. 따라서 모델이 인과 추정치에 대해 얼마나 확신하는지를 나타내는 예측 불확실성 (Predictive Uncertainty) 을 체계적으로 정량화하는 방법이 부재합니다.
• 필요성: 안전이 중요한 의사결정, 위험 인식형 의사결정 (신뢰도가 낮은 경우 추정을 유보하거나 지연), 그리고 하류 작업 (데이터 퓨전, 능동 학습 등) 에서는 신뢰할 수 있는 불확실성 정량화가 필수적입니다. 기존 불확실성 정량화 방법 (부트스트랩 등) 은 확률론적 해석이 부족하거나 계산 비용이 과도하다는 단점이 있습니다.

2. 방법론 (Methodology)

저자들은 Deconditional Gaussian Process (DGP) 프레임워크를 제안하여 IV 및 Proxy 설정 모두에 적용 가능한 베이지안 비모수적 접근법을 개발했습니다.

2.1 핵심 아이디어: 조건부 해제 (Deconditioning)

• IV 및 Proxy 설정에서 인과 함수 $f$를 학습하는 문제는 **프레드홀름 적분 방정식 (Fredholm Integral Equation)**을 푸는 문제로 귀결됩니다.
• 기존 커널 방법론들은 이 방정식을 풀기 위해 조건부 기대 연산자의 의사역 (pseudo-inverse) 을 사용합니다. 저자들은 조건부 해제 커널 임베딩 (Deconditional Kernel Embeddings) 이론을 차용하여, 이 연산자를 가우시안 프로세스 (GP) 의 조건부 평균 과정으로 해석하고 이를 베이지안 프레임워크에 통합했습니다.

2.2 제안된 모델: GPIV 및 GPProxy

1. GPIV (Instrumental Variable 설정):

   • 구조 함수 $f$에 GP 사전분포를 부여합니다.
   • 관측된 데이터 $(x, y, z)$를 기반으로 $f$의 사후분포를 유도합니다.
   • 사후 평균 (Posterior Mean): 기존 빈도주의적 커널 IV (KIV) 추정량과 수학적으로 동치임을 증명했습니다. 즉, 기존 방법의 강력한 예측 성능을 계승합니다.
   • 사후 분산 (Posterior Variance): 인과 추정치의 인지적 불확실성을 제공합니다. 이는 모델이 데이터를 얼마나 잘 설명하는지에 대한 신뢰 구간을 형성합니다.

2. GPProxy (Proximal Causal Learning 설정):

   • 교란변수에 대한 정보 제공을 위해 처리 대리변수 (Treatment Proxy, $Z$) 와 결과 대리변수 (Outcome Proxy, $W$) 를 사용합니다.
   • 브리지 함수 (Bridge function) $h$에 GP 사전분포를 부여하고, 이를 통해 평균 치료 효과 (ATE) $f$를 추정합니다.
   • 사후 평균: 기존 커널 Negative Control (KNC) 추정량과 동치입니다.
   • 사후 분산: Proxy 설정에서의 불확실성을 정량화합니다.

2.3 하이퍼파라미터 선택

• 기존 커널 방법들은 데이터 분할 (Data Splitting) 과 교차 검증 (CV) 에 의존하여 하이퍼파라미터를 선택하는 반면, 제안된 방법은 **주변 로그 가능도 (Marginal Log-likelihood)**를 최적화하여 하이퍼파라미터를 체계적으로 선택합니다. 이는 데이터 분할로 인한 정보 손실을 방지하고 소규모 데이터셋에서도 효과적입니다.

3. 주요 기여 (Key Contributions)

1. 통합된 베이지안 프레임워크: IV 및 Proxy 설정 모두에 적용 가능한 일관된 GP 기반 프레임워크 (GPIV, GPProxy) 를 제시했습니다.
2. 이중 해석 가능성 (Dual Interpretation):
   • 점 추정: 사후 평균은 널리 사용되는 기존 커널 기반 추정량 (KIV, KNC) 과 동치이므로, 기존 방법의 점근적 보장과 예측 정확도를 유지합니다.
   • 불확실성 정량화: 사후 분산을 통해 원칙에 기반한 (Principled) 인지적 불확실성을 제공합니다.
3. 체계적인 모델 선택: 주변 가능도 최적화를 통해 하이퍼파라미터를 자동으로 조정하여, 데이터 분할 없이도 강력한 성능을 발휘하도록 했습니다.
4. 실증적 검증: 불확실성의 질을 평가하기 위해 단순한 커버리지 (Coverage) 지표뿐만 아니라, **Accuracy-Rejection Curve (ARC)**와 같은 의사결정 인지적 지표를 도입하여 불확실성 추정이 실제 의사결정에 얼마나 유용한지 입증했습니다.

4. 실험 결과 (Results)

• 예측 정확도: 합성 데이터 (Sine, Log, Linear) 및 실제 유사한 항공권 수요 데이터셋에서 GPIV와 GPProxy는 기존 KIV, MMRIV, QBIV, KNC 등 최첨단 베이스라인과 비교해 **동등하거나 더 낮은 평균 제곱 오차 (MSE)**를 기록했습니다. 특히 데이터 분할을 하지 않고 전체 데이터를 활용함으로써 소규모 데이터셋에서도 우수한 성능을 보였습니다.
• 불확실성 정량화 품질:
  • 커버리지 (Coverage): 제안된 방법은 95% 신뢰구간이 실제 값을 포함하는 비율이 이론적 값 (0.95) 에 근접했습니다. 반면, 부트스트랩 기반 방법이나 QBIV는 신뢰구간이 지나치게 좁아 과신 (Overconfidence) 하는 경향을 보였습니다.
  • Accuracy-Rejection Curve (ARC): 불확실성이 높은 샘플을 유보 (Reject) 할 때, 제안된 방법은 정확도가 점진적으로 향상되는 정보성 있는 (Informative) 불확실성을 보여주었습니다. 이는 모델이 자신의 예측이 틀릴 가능성이 높은 경우를 잘 식별한다는 것을 의미합니다.
  • 능동 학습 (Active Learning): 불확실성을 기반으로 가장 유익한 데이터를 선택하는 시나리오에서 제안된 방법이 더 빠른 수렴 속도를 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 관측되지 않은 교란변수가 존재하는 인과 추론 분야에서 신뢰할 수 있는 불확실성 정량화의 공백을 메웠다는 점에서 중요한 의의를 가집니다.

• 실용성: 단순히 인과 효과의 점 추정만 제공하는 것을 넘어, 의사결정자가 추정의 신뢰도를 고려하여 리스크를 관리할 수 있는 체계를 제공합니다.
• 이론적 통합: 빈도주의적 커널 방법론과 베이지안 GP 이론을 '조건부 해제'라는 개념을 통해 자연스럽게 연결하여, 기존 방법의 장점을 모두 취하면서도 불확실성 추정을 가능하게 했습니다.
• 미래 방향: 이 프레임워크는 안전이 중요한 의료, 정책 결정, 자율 주행 등 불확실성 관리가 필수적인 분야에서 인과적 의사결정을 지원하는 강력한 도구가 될 것입니다.

요약하자면, 이 연구는 GPIV와 GPProxy를 통해 인과 추정의 정확성을 유지하면서 신뢰할 수 있는 불확실성 측정을 가능하게 하는 통합된 베이지안 비모수적 솔루션을 제시했습니다.