기술 요약: 반사실적 의사결정을 위한 예측 집합 (Prediction Sets)

1. 문제 정의

본 논문은 예측 불확실성이 존재하는 **반사실적 설정(counterfactual settings)**에서의 고위험 의사결정 문제를 다룹다. 표준적인 예측 문제에서는 취해진 행동과 관계없이 결과 $Y$가 고정되어 있다. 그러나 반사실적 의사결정(예: 치료법 선택, 정책 수립, 마케팅)에서는 실현된 결과 $Y(A)$가 선택된 행동 $A$에 따라 달라진다.

핵심적인 어려움은 불확실성 정량화와 의사결정 규칙 사이의 상호 의존성에 있다:

1. 결과의 결합(Coupled Outcomes): 예측 집합에 의해 "커버(cover)"되어야 할 결과가 고정되어 있지 않으며, 선택된 행동에 의해 결정된다.
2. 유효성 대 최적성 간극(Validity vs. Optimality Gap): 컨포멀 예측(conformal prediction)은 고정된 결과에 대해 통계적 유효성(커버리지 보장)을 제공하지만, 의사결정 규칙 자체가 실현된 결과의 분포를 변화시킬 때 이러한 보장이 어떻게 최적성으로 전이되는지는 불분렴하다. 기존 방법들은 종종 잠재적 결과들을 독립적으로 취급하거나 반사실적 구조를 무시하며, 이는 하위 최적의 의사결정이나 유도된 정책(induced policy)에 대한 유효하지 않은 커버리지를 초래한다.

중심 질문은 다음과 같다: 행동이 어떤 잠재적 결과가 실현될지를 결정하는 상황에서, 불확실성 정량화와 반사실적 의사결정 사이의 올바른 인터페이스는 무엇인가?

2. 방법론 및 프레임워크

저자들은 **정책 결합 커버리지(Policy-Coupled Coverage)**를 중심으로 하는 의사결정 이론적 프레임워크와, **정책 결합 위험 회피형 컨포멀 예측(PC-RACP)**이라 불리는 2단계 구성 절차를 제안한다.

2.1 의사결정 이론적 기초

• 위험 회피 목적 함수: 본 프레임워크는 에이전트가 실현된 효용의 고확률 하한(효용 인증서)을 최대화하고자 하는 위험 회피적 목적 함수를 채택한다.
• 집합 유도 의사결정 규칙: 예측 집합 모음 $\{C(x, a)\}_{a \in \mathcal{A}}$(각 행동에 대한 하나)가 주어졌을 때, 에이전트는 max-min 규칙을 사용한다:
  $$\pi_{RA}(x; C) = \arg\max_{a \in \mathcal{A}} \inf_{y \in C(x, a)} u(a, y)$$
  이 규칙은 예측된 결과 집합 내에서의 최악의 효용을 최대화하는 행동을 선택한다.

2.2 정책 결합 커버리지 (PCC)

본 논문은 필수적인 유효성 개념으로서 **정책 결합 커버리지(Policy-Coupled Coverage)**를 도입한다. 모든 행동에 대한 개별적 한계 커버리지(per-action marginal coverage, 즉 모든 $a$에 대해 $P(Y(a) \in C(X, a)) \ge 1-\alpha$를 요구하는 것)와 달리, PCC는 예측 집합 자체에 의해 유도된 정책 하에서의 실현된 결과를 커버할 것을 요구한다:
$$P\left( Y(\pi_{RA}(X)) \in C(X, \pi_{RA}(X)) \right) \ge 1 - \alpha$$
이론적 정당성:

• 미니맥스 최적성(Minimax Optimality): 정리 2.1은 분포적 모호성(참 분포는 알 수 없으나 PCC를 만족하는 경우) 하에서 max-min 규칙 $\pi_{RA}$가 미니맥스 최적 의사결정 규칙임을 입증한다.
• 손실 없는 인터페이스(Lossless Interface): 정리 3.1은 PCC 하에서 예측 집합을 최적화하는 것이 정책 및 효용 인증서(RA-DPO)를 직접 최적화하는 것과 동등함을 증명한다. 따라서 예측 집합은 위험 회피적 반사실적 의사결정을 위한 "손실 없는 인터페이스" 역할을 한다.
• 보편적 커버리지와의 동등성: 정리 3.2는 PCC 하에서 최적화하는 것이 더 강력한 "보편적 커버리지(universal coverage)" 조건(모든 정책에 대해 유효한 조건) 하에서 최적화하는 것과 동등함을 보여준다. 다만 PCC는 이보다 엄격히 약하며 실제 적용에 더 용이하다.

2.3 PC-RACP 알고리즘

이러한 집합을 유한 샘플에서 구축하기 위해 저자들은 2단계 절차를 제안한다:

1. 모델 추정 및 정책 학습:
   • 데이터를 훈련, 학습, 교정(calibration) 세트로 분할한다.
   • 조건부 효용 분위수 $\hat{\gamma}(x, t, a)$와 최적의 조건부 커버리지 할당 규칙 $\hat{g}(x, \beta)$를 추정한다.
   • 학습 세트를 사용하여 근사적인 커버리지 제약을 만족하는 예비 파라미터 $\hat{\beta}$를 찾아내어, 고정된 max-min 정책 $\hat{a}(\cdot)$을 유도한다.
2. 가중 컨포멀 교정(Weighted Conformal Calibration):
   • 의사결정 규칙을 분리하기 위해 정책 $\hat{a}(\cdot)$를 고정한다.
   • 로그된 행동이 $\hat{a}(X)$와 일치하는 인스턴스로 필터링된 교정 세트를 사용하여 가중 컨포멀 예측을 수행한다.
   • 행동 정책(behavior policy)에 기반한 중요도 가중치를 사용하여 공변량 변화(covariate shift)를 조정한다.
   • 유도된 정책 $\hat{a}(\cdot)$에 대해 PCC 보장을 만족하는 최종 예측 집합 $\hat{C}(x, a)$를 구축한다.

3. 주요 기여

1. 새로운 유효성 개념: 반사실적 설정에서 불확실성과 행동 사이의 의사결정 이론적으로 최적인 인터페이스로서 정책 결합 커버리지를 식별하였다.
2. 이론적 동등성: PCC 하에서 예측 집합을 최적화하는 것이 보편적 커버리지 최적화 및 직접적인 위험 회피형 정책 최적화와 모두 동등함을 증명하여, 예측 집합이 손실 없는 인터페이스임을 확립하였다.
3. 명시적 최적 형태: 조건부 효용 분위수에 기반한 임계값 형태의 모집단 최적 예측 집합(정리 3.4)을 도출하였다.
4. 유한 샘플 절차: 정책이 데이터로부터 학습된 경우에도 유도된 정책 하의 실현된 결과에 대해 엄격한 유한 샘플 커버리지 보장을 제공하는 실용적인 알고리즘인 PC-RACP를 개발하였다.

4. 실험 결과

저자들은 시뮬레이션과 실제 이메일 마케팅 실험(Hillstrom 데이터셋)을 통해 프레임워크를 검증한다.

• 합성 시뮬레이션:
  • 커버리지: PC-RACP는 목표치 $1-\alpha$에 근접한 경험적 커버리지를 달행한다. 반면, (반사실적 구조를 무시하는) 표준 위험 회피형 컨포멀(RAC) 방식은 목표치 미달을 보이며, "Plug-in" 베이스라인은 정확한 커버리지를 제공하지 못한다.
  • 효용: PC-RACP는 다양한 오차율 $\alpha$ 수준에서 가장 높은 평균 효용 인증치를 일관되게 달성한다.
• Hillstrom 이메일 마케팅 실험:
  • 커버리지: PC-RPC는 명목 수준에 근접한 커버리지를 유지한다. RAC는 과하게 보수적이다(커버리지가 목표치를 크게 상회함).
  • 효용: PC-RACP가 더 높은 효용을 제공한다.
  • 이득의 메커니즘: 분석 결과 PC-RACP는 두 가지 영역에서 효용을 얻는다:
    • 작은 $\alpha$: 지배적인 행동에 대해 더 날카로운(sharper) 예측 집합을 구축함으로써(모호한 집합 $\{0, 1\}$의 빈도를 줄임) 이득을 얻는다.
    • 큰 $\alpha$: 유효한 커버리지를 유지하면서 RAC보다 고수익 행동(이메일 발송)을 더 자주 선택함으로써 이득을 얻는다.

5. 의의 및 주장

본 논문은 불확실성 정량화를 반사실적 의사결정 최적성과 엄격하게 연결하는 최초의 의사결정 이론적 프레임워크를 제공한다고 주장한다.

• 구조 무시의 하위 최적성: 저자들은 (결과를 고정된 것으로 취급하는 등) 의사결정 문제의 반사실적 성격을 무시하는 것이 통계적 유효성과 의사결정 효용 모두에 있어 하위 최적(suboptimal)임을 입증한다.
• 의사결정 인지적 불확실성(Decision-Aware Uncertainty): 본 연구는 반사실적 문제에서의 불확실성 정량화는 그것이 지원하는 의사결정을 중심으로 설계되어야 한다고 주장한다. 정책 결합 커버리지는 더 넓은 의사결정 인지적 불확실성 이론을 향한 기초적인 단계로 제시된다.
• 실용적 적용 가능성: 제안된 PC-RACP 방법은 행동이 결과에 영향을 미치는 고위험 의사결정 상황에서 엄격한 유한 샘플 유효 보장을 제공함으로써, 컨포멀 예측 이론과 인과 추론 응용 사이의 간극을 메운다.