기술 요약: 효율적인 합동 반사실 추론을 위한 합성 반사실 라벨 (SP-CCI)

1. 문제 정의 및 동기

본 논문은 **치료 불균형 (treatment imbalance)**이 존재하는 환경에서 개별 반사실 결과에 대한 신뢰할 수 있는 예측 구간을 구축하는 과제를 다룹니다. 인과 추론에서 공변량 $X$와 관측된 치료 $T$를 가진 단위 (unit) 에 대해서는 하나의 잠재적 결과 $Y(T)$만 관측되며, 반사실 결과 $Y(1-T)$는 관측되지 않습니다.

기존 방법인 합동 반사실 추론 (Conformal Counterfactual Inference, CCI)(Lei and Candès, 2021) 은 이러한 반사실 예측에 대해 주변 커버리지 (marginal coverage) 보장을 제공합니다. 그러나 CCI 는 관심 있는 특정 치료 군 (treatment arm) 의 보정 데이터에 의존합니다. 많은 실제 시나리오 (예: 고비용 치료가 드문 의료 시험, 노출이 희소한 온라인 광고 등) 에서 목표 치료 군 ($D_1$) 의 데이터셋은 대조군 ($D_0$) 에 비해 현저히 작습니다. 이러한 부족함은 과도하게 보수적이고 넓은 예측 구간을 초래하여, 고위험 의사결정에서 합동 추론의 유용성을 제한합니다.

사전 훈련된 모델에 의해 생성된 합성 데이터가 부족한 보정 세트를 보강할 수 있지만, 이러한 합성 라벨을 표준 합동 절차에 직접 통합하면 합성 결과가 진실의 편향된 근사치이기 때문에 통계적 유효성이 깨집니다.

2. 방법론: SP-CCI 프레임워크

저자들은 보정 세트를 합성 반사실 라벨로 보강하면서 편향 제거 추정 절차를 통해 주변 커버리지 보장을 유지하는 합성 데이터 기반 합동 반사실 추론 (Synthetic data-powered Conformal Counterfactual Inference, SP-CCI) 프레임워크를 제안합니다.

핵심 구성 요소

1. 합성 데이터 생성:

   • 이 방법은 사전 훈련된 반사실 생성 모델 $\hat{P}_{Y(1)|X}$(신경망 또는 대규모 언어 모델이 될 수 있음) 을 활용하여 더 큰 대조군 데이터셋 $D_0$의 단위들에 대한 합성 반사실 라벨 $\hat{Y}(1)$을 생성합니다.
   • 이로 인해 확장된 합성 데이터셋 $\tilde{D}_1 = \{(X_i, \hat{Y}_i(1))\}_{i=1}^{n_0}$이 생성됩니다.

2. 편향 제거 미커버리지 추정 (PPI 통합):

   • 합성 라벨로 인해 발생하는 편향을 보정하기 위해, SP-CCI 는 예측 기반 추론 (Prediction-Powered Inference, PPI)(Angelopoulos et al., 2023a) 을 적용합니다.
   • 보정 세트 $D_1$(실제 치료 데이터) 은 합성 추정을 "보정"하는 데 사용됩니다. 구체적으로, $n_0$개의 합성 샘플은 $n_1$개의 그룹으로 분할되며, 각 그룹은 실제 치료 샘플 $(X_i, Y_i) \in D_1$에 할당됩니다.
   • 합성 데이터의 손실과 실제 데이터의 손실 사이의 가중치 차이를 사용하여 미커버리지 확률 $\hat{L}_\eta$의 불편 추정량 (unbiased estimator) 이 구성됩니다:
     $$\hat{\ell}_{i,\eta} = \frac{1}{r} \sum_{j} \tilde{w}_j \ell_\eta(\tilde{X}_j, \tilde{Y}_j) - w_i [\ell_\eta(X_i, \hat{Y}_i) - \ell_\eta(X_i, Y_i)]$$
     여기서 $w_i$와 $\tilde{w}_i$는 성향 점수 (propensity scores) 와 치료 확률을 고려한 중요도 가중치입니다.

3. 위험 제어 예측 집합 (Risk-Controlled Prediction Sets, RCPS):

   • 이 방법은 구간 확장 매개변수 $\eta$를 선택하기 위해 위험 제어 예측 집합 (Risk-Controlling Prediction Sets, RCPS)(Bates et al., 2021) 을 사용합니다.
   • 무조건부 커버리지를 보장하는 대신, SP-CCI 는 보정 데이터의 추출에 대해 높은 확률 ($1-\delta$) 로 미커버리지 위험이 제어되도록 보장합니다.
   • 확장 매개변수 $\hat{\eta}$는 추정된 미커버리지 확률의 상한 신뢰 구간이 목표 수준 $\alpha$를 초과하지 않도록 선택됩니다.

4. 가중치 오지정 처리:

   • 이 프레임워크는 중요도 가중치가 정확히 알려진 것이 아니라 추정된 경우에도 이론적 보장을 포함합니다. 추정된 가중치의 오차 범위를 고려하여 확장 매개변수를 조정함으로써 커버리지 보장을 유지할 수 있음을 보여줍니다.

3. 주요 기여

• 방법론: 편향 제거 미커버리지 추정기를 통해 실제 데이터와 합성 보정 데이터를 통합하는 SP-CCI 도입으로, 풍부한 대조군 데이터를 활용하여 희소한 치료 군에 대한 추론을 개선할 수 있게 되었습니다.
• 이론적 보장: 정확한 중요도 가중치와 근사적 중요도 가중치 모두에서 SP-CCI 가 높은 확률의 주변 커버리지(매개변수 $\delta$에 의해 제어됨) 를 달성한다는 공식적 증명. 본 논문은 이를 표준 CCI 의 무조건부 주변 커버리지와 구분하며, 조정 가능한 "정전 (outage)" 제어 메커니즘을 제공합니다.
• 효율성: 고품질 합성 생성기가 사용 가능한 경우, SP-CCI 가 표준 CCI 및 GESPI 프레임워크 (Bashari et al., 2025) 에 비해 현저히 좁은 예측 구간을 산출한다는 이론적 및 실증적 증명.

4. 실험 결과

저자들은 합성 데이터 (Lei and Candès, 2021 에 따름) 와 준합성 IHDP 데이터셋(Hill, 2011) 에서 SP-CCI 를 평가하여 표준 CCI 및 GESPI 와 비교했습니다.

• 합성 데이터: SP-CCI 는 필요한 커버리지 보장을 유지하면서 CCI 및 GESPI 보다 일관되게 좁은 예측 구간을 생성했습니다. 구간 너비는 반사실 생성 모델의 품질이 향상됨에 따라 (낮음/중간/높음) 감소했습니다.
• IHDP 데이터셋:
  • SP-CCI 는 고품질 합성 라벨에서 평균 예측 구간 너비 (APIW) 를 3.52로 달성한 반면, 표준 CCI 는 20.24였습니다.
  • 완화된 가드레일 (guardrail) 을 가진 GESPI 는 더 좁은 구간을 생성할 수 있었으나, 강화 시 42% 의 높은 커버리지 위반률 (CVR) 을 보여 고위험 시나리오에는 적합하지 않았습니다. SP-CCI 는 모든 변형에서 낮은 CVR(2~6%) 을 유지했습니다.
  • 이 방법은 사전 훈련된 LLaMA-2-13B모델을 생성 소스로 성공적으로 활용하여, 해당 모델이 특정 데이터셋 외부에서 훈련되었음에도 불구하고 경쟁력 있는 성능을 달성함으로써 분포 변화에 대한 강건성을 입증했습니다.
• 추가 실험:
  • 정책 평가: 무선 핸드오버 시나리오에서 SP-CCI 는 CCI 에 비해 고정된 정책에 대해 더 정밀한 성능 정량화 (더 좁은 구간) 를 제공했습니다.
  • 극단적 불균형: 극단적인 치료 불균형 (63 명의 치료군 대 11,921 명의 대조군 단위) 을 가진 Twins 데이터셋에서, CCI 는 커버리지를 유지하기 위해 SP-CCI 보다 거의 20 배 넓은 구간을 생성했습니다. SP-CCI 는 현저히 더 좁은 구간으로 목표에 근접한 커버리지를 유지했습니다.

5. 중요성 및 주장

본 논문은 SP-CCI 가 불균형 데이터셋에 대한 실용적인 합동 반사실 추론을 가능하게 하는 중요한 진전이라고 주장합니다. 통계적 유효성을 훼손하지 않고 합성 데이터를 효과적으로 활용함으로써, 이 방법은 희귀 치료에 대한 인과 추론에 내재된 "차원의 저주"와 데이터 부족 문제를 해결합니다.

저자들은 SP-CCI 가 매개변수 $\delta$를 통해 구간 너비와 커버리지 신뢰성 사이의 조정 가능한 트레이드오프를 제공하며, 이는 표준 무조건부 CCI 에는 없는 기능이라고 강조합니다. 이 연구는 적절하게 편향 제거된 고품질 합성 데이터가 인과 추론의 효율성을 획기적으로 개선할 수 있음을 보여주며, 치료 데이터가 종종 부족한 개인화 의학과 정책 평가와 같은 실제 도메인에 더 적용 가능하게 만듭니다.

논문은 다중 치료군 치료, 연속형 치료, 그리고 두 잠재적 결과 모두 관측되지 않는 시나리오로 확장하는 것은 향후 과제로 남아있다고 겸손하게 결론짓습니다.