기술 요약: 연속적 처치에 대한 인과 효과의 공형 예측 (Conformal Prediction)

1. 문제 정의

본 논문은 **연속적 처치(continuous treatments)**에 대한 **불확실성 정량화(Uncertainty Quantification, UQ)**라는 인과 머신러닝의 핵심적인 필요성을 다룹니다. 인과 머신러닝은 개인 맞춤형 의료(예: 화학 요법 용량 결정)와 같은 안전이 중요한 도메인에서 널리 사용되고 있지만, 기존 방법론들은 대개 점 추정치(point estimates)만을 제공하며 예측 불확실성을 간과합니다.

저자들은 연속적 인과 효과에 **공형 예측(Conformal Prediction, CP)**을 적용할 때 발생하는 세 가지 구체적인 과제를 식별했습니다:

1. 분포 변화 (Challenge a): 처치 변수에 개입(intervening)하면 공변량 분포(특히 성향 점수, propensity score)가 변화합니다. 이는 표준 CP의 내재된 **교환 가능성 가정(exchangeability assumption)**을 위반하며, 이로 인해 관측 분포와 개입 분포 사이의 표준 구간은 유효하지 않게 됩니다.
2. 알려지지 않은 성향 점수 (Challenge b): 관측 데이터에서 성향 점수는 알려져 있지 않으며 반드시 추정되어야 합니다. 이러한 추정은 표준 CP 방법이 고려하지 못하는 추가적인 불확실성을 도입하여, 결과적으로 커버리지 미달(under-coverage)을 초래할 수 있습니다.
3. 연속적 값에 대한 데이터 희소성 (Challenge c): 이진 처치와 달리, 특정 연속적 처치 값은 데이터 내에서 드물게 관찰되므로, 이산적 CP 방법을 직접 적용하는 것이 불가능합니다.

본 연구의 목적은 성향 점수가 알려지지 않았거나 추정된 경우에도, 하드 개입($a^*$) 또는 소프트 개입($A^*(X_{n+1})$) 하에서의 잠재적 결과 $Y_{n+1}(\diamond)$에 대해 유한 표본 유효 예측 구간(finite-sample valid prediction intervals) $C(X_{n+1}, \diamond)$를 도출하는 것입니다.

2. 방법론

제안된 방법은 분포 변화를 유도하는 개입과 성향 추정으로부터 발생하는 불확실성을 처리하기 위해 **분할 공형 예측(Split Conformal Prediction)**을 확장합니다.

핵심 프레임워크

이 방법은 일반적으로 비공식성 점수(non-conformity score)인 잔차 $S_i = |Y_i - \phi(X_i, A_i)|$를 활용합니다 (여기서 $\phi$는 임의의 머신러닝 모델). 목표는 $P(Y_{n+1}(\diamond) \in C) \geq 1 - \alpha$를 만족하는 구간을 구축하는 것입니다.

저자들은 성향 점수 $\pi(a|x)$의 가용성에 따라 두 가지 시나리오를 구분합니다.

시나리오 1: 알려진 성향 점수

관측 정책이 알려진 경우(예: 무작위 대조 시험 또는 알려진 정책 설정), 변화는 $\pi(a|x)$에서 $\pi(a+\Delta A|x)$로의 변화로 모델링됩니다.

• 접근 방식: 저자들은 이를 **증강 분위 회귀(augmented quantile regression)**로 재구성합니다. 성향 변화를 나타내는 함수 클래스 $\mathcal{F}$를 정의합니다.
• 최적화: 이들은 변화된 분포 하에서의 비공식성 점수의 $(1-\alpha)$-분위수를 찾기 위해 쌍대 최적화 문제(dual optimization problem)(정리 4.2)를 도출합니다. 이는 모든 가능한 임퓨테이션 점수를 해결하는 것의 불가능성을 피하기 위해 강한 쌍대성(strong duality) 특성을 활용합니다.
• 결과: 정리 4.2는 알려진 성향 변화 하에서의 잠재적 결과에 대한 유한 표본 커버리지 보장을 제공합니다.

시나리오 2: 알려지지 않은 성향 점수

정책을 알 수 없는 경우, 방법론은 성향이 디락 델타 함수(Dirac delta function)가 되는 하드 개입($a^*$)을 처리해야 하며, 이때 $\pi$는 추정치 $\hat{\pi}$를 사용해야 합니다.

• 가정: 추정 오차는 유계(bounded)되어 있으며, 비율 $c_a = \hat{\pi}/\pi$는 어떤 상수 $M$에 대해 $[1/M, 1/M]$ 범위 내에 존재합니다.
• 평활화(Smoothing): 디락 델타 함수의 불연속성을 처리하기 위해, 분산 $\sigma^2 \to 0$인 가우시안 커널을 사용하여 이를 근사합니다.
• 최적화: 문제는 평활화 파라미터 $\sigma$와 오차 경계 $c_a$를 포함하는 비볼록 최적화(Eq. 18)로 정식화됩니다.
• 이론적 보장: 저자들은 이 문제가 Type-I invex이며 **선형 독립 제약 조건(LICQ)**을 만족함을 증명합니다(Lemma 4.4). 이를 통해 카루쉬-쿤-터커(KKT) 조건을 사용하여 전역 최적해를 도출할 수 있습니다.
• 결과: 정리 4.5는 불확실성 경계와 평활화 파라미터를 최적화함으로써 알려지지 않은 성향 점수에 대한 유한 표본 커버리지 보장을 확립합니다.

3. 주요 기여

1. 연속적 처치를 위한 새로운 방법론: 기존 방법들이 이진/이산 처치에 국한되어 남겨둔 간극을 메우며, 연속적 처치의 잠재적 결과에 대한 공형 예측 구간을 최초로 제안했습니다.
2. 알려지지 않은 성향 점수 하에서의 유한 표집 보장: 점근적 가정(asymptotic assumptions)에 의존하지 않고, 성향 점수 추정에서 발생하는 불확실성을 고려하는 유효한 예측 구간을 도출했습니다.
3. 알고리즘 구현: 브루트 포스(brute-force) 탐색을 피하고 쌍대 정식화와 KKT 조건을 사용하는 효율적인 알고리즘(Alg. 1)을 제공합니다.
4. 실험적 검증: 합성 및 실제 데이터셋을 통한 효과성 입증을 수행했습니다.

4. 실험 결과

저자들은 Monte Carlo (MC) Dropout, Deep Ensembles, 그리고 Gaussian Process (GP) 회귀를 포함한 베이스라인 모델들과 비교하여 제안 방법론을 평가했습니다.

• 합성 데이터셋:

  • 충실도(Faithfulness): 제안된 CP 구간은 다양한 소프트 및 하드 개입에 대해 목표 유의 수준($1-\alpha$)과 일치하는 경험적 커버리지를 달려했습니다.
  • 베이스라인: MC Dropout과 Deep Ensembles는 현저히 낮은 커버리지를 보였으며(불충실한 구간), 종종 실제 결과를 포착하는 데 실패했습니다. GP 회귀는 매우 작은 분포 변화에 대해서는 유효한 커버리지를 제공했으나, 더 큰 변화 하에서는 좁은 구간으로 인해 실패했습니다.
  • 안정성: 제안된 방법은 MC Dropout에서 관찰되는 높은 분산에 비해 경험적 커버리지가 낮은 변동성을 보였습니다.

• 실제 데이터셋 (MIMIC-III):

  • 태스크: 기계 환기(mechanical ventilation) 지속 시간에 따른 혈압 결과 예측.
  • 관찰: CP 구간은 훈련 데이터가 희소한 처치 영역(높은 환기 지속 시간)에서 더 높은 불확실성을 정확하게 반영했습니다. 반면, MC Dropout 구간은 더 좁게 나타나, 이러한 중요한 영역에서 커버리지 미달이 발생할 수 있음을 시사했습니다.

5. 의의 및 주장

본 논문은 성향 점수가 알려지지 않아 데이터로부터 추정해야 하는 연속적 처치에 대한 공형 예측을 제안한 최초의 연구라고 주장합니다.

• 안전 중심 애플리케ชัน 적합성: 본 방법론은 **유한 표본 유효성 보장(finite-sample validity guarantees)**을 제공하므로, 점근적 보장(소규모 표본에서는 실패할 수 있음)이 불충족할 수 있는 개인 맞춤형 의료와 같은 안전 중심 분야에 적합합니다.
• 모델 불가지론(Model Agnosticism): 이 접근 방식은 결과 예측을 위한 임의의 머신러닝 모델 $\phi$와 함께 작동합니다.
• 분포 변화에 대한 강건성: 표준 CP와 달리, 개입에 의해 발생하는 분포 변화를 명시적으로 고려하여 테스트 분포가 훈련 분포와 다르더라도 유효성을 보장합니다.
• 실용적 유용성: 저자들은 성향 추정이 부정확하거나 데이터가 희소할 때 방법론이 보수적(잠재적으로 더 넓은 구간)이 될 수 있다고 언급하지만, 이러한 보수성은 신뢰성을 확보하여 다른 UQ 방법론에서 나타나는 위험한 커버리지 미달을 방지합니다.

이 연구는 연속적 처치 변수에 대해 실험적 및 관측적 환경 모두에서 불확실성 하의 신뢰할 수 있는 의사결정을 가능하게 함으로써 인과 머신러닝의 중요한 공백을 메웁니다.