Weighted Bayesian Conformal Prediction

1. 연구 배경 및 문제 제기

**1.1 컨포멀 예측 **(CP)
기존의 컨포멀 예측은 분포에 무관한 (distribution-free) 예측 구간을 제공하며, 유한 표본에서 특정 오차율 ($\alpha$) 을 초과하지 않는다는 보장 (coverage guarantee) 을 제공합니다. 그러나 이는 두 가지 수준의 불확실성을 구분하지 못한다는 문제가 있습니다.

• **예측 불확실성 **(Level 1) 실제 값이 예측 구간에서 벗어날 위험. (기존 CP 가 해결)
• **메타 불확실성 **(Level 2) 예측 구간을 결정하는 임계값 (threshold, $\hat{q}$) 자체의 신뢰도. 즉, "이 구간이 얼마나 잘 결정되었는가?"에 대한 불확실성.
  • 기존 CP 는 단일 결정론적 임계값만 출력하므로, 200 개의 관련 데이터로 계산된 구간과 5 개의 원거리 데이터로 계산된 구간을 동일하게 취급합니다. 이는 고위험 응용 분야에서 치명적입니다.

1.2 기존 방법의 한계

• **BQ-CP **(Snell & Griffiths, 2025) CP 를 베이지안 구적법 (Bayesian Quadrature) 으로 재해석하여 임계값에 대한 사후 분포 (posterior distribution) 를 제공함으로써 메타 불확실성을 해결했습니다. 하지만 이 방법은 **데이터가 독립 동일 분포 **(i.i.d.)라는 강한 가정을 요구합니다.
• **가중 컨포멀 예측 **(Weighted CP) 중요도 가중치 (importance weights) 를 사용하여 공변량 변화 (covariate shift) 나 공간적 편향과 같은 분포 변화를 처리할 수 있습니다. 하지만 이는 여전히 빈도주의적 (frequentist) 접근으로, 단일 임계값만 제공하며 메타 불확실성을 고려하지 않습니다.

핵심 문제: 기존에 분포 변화에 강건한 가중치 처리와 **임계값에 대한 베이지안 사후 분포 **(메타 불확실성)를 동시에 제공하는 방법은 존재하지 않았습니다.

---

2. 제안 방법: WBCP (Weighted Bayesian Conformal Prediction)

저자들은 BQ-CP 를 임의의 중요도 가중치 설정으로 일반화하여 WBCP를 제안했습니다.

2.1 핵심 아이디어
BQ-CP 는 균일한 Dirichlet 분포 $Dir(1, \dots, 1)$을 사용하여 스페이싱 (spacings) 의 불확실성을 모델링합니다. WBCP 는 이를 가중 Dirichlet 분포로 대체합니다:
$$Dir(n_{eff} \cdot \tilde{w}_1, \dots, n_{eff} \cdot \tilde{w}_n)$$
여기서:

• $\tilde{w}_i$: 정규화된 중요도 가중치 (Normalized importance weights).
• $n_{eff}$: **Kish 의 유효 표본 크기 **(Effective Sample Size). 이는 가중치가 균일하지 않을 때 실제 정보량을 나타내는 척도입니다.
  $$n_{eff} = \frac{(\sum w_i)^2}{\sum w_i^2}$$

2.2 작동 원리

1. 가중치 기반 사후 분포: 가중치가 균일하면 $n_{eff} \approx n$이 되어 기존 BQ-CP 와 일치합니다. 가중치가 편향되면 $n_{eff}$가 감소하여 사후 분포가 더 퍼지게 (diffuse) 됩니다. 이는 "데이터가 부족하거나 관련성이 낮을수록 임계값 추정의 불확실성이 커진다"는 직관을 수학적으로 구현한 것입니다.
2. HPD 임계값: 사후 분포에서 Highest Posterior Density (HPD) 임계값을 추출하여 예측 구간을 생성합니다. 이는 단순한 점 추정이 아닌, 신뢰도 수준 ($\beta$) 을 고려한 보수적인 구간을 제공합니다.
3. 알고리즘: 칼리브레이션 점수들을 정렬하고, 가중치에 따라 Dirichlet 분포를 샘플링하여 임계값의 분포를 생성한 후, 이를 기반으로 HPD 임계값과 사후 표준편차 ($\sigma_{post}$) 를 계산합니다.

---

3. 주요 이론적 기여

저자들은 WBCP 에 대해 4 가지 주요 이론적 결과를 증명했습니다:

1. **$n_{eff}$의 보정 일관성 **(Calibration Consistency)
   • $n_{eff}$는 빈도주의적 표본 분산과 베이지안 사후 분산을 일치시키는 유일한 농도 매개변수 (concentration parameter) 임을 증명했습니다. 이는 가중치 설정이 통계적 타당성을 갖도록 보장합니다.
2. **사후 집중률 **(Posterior Concentration)
   • 사후 표준편차 ($\sigma_{post}$) 가 $O(1/\sqrt{n_{eff}})$ 비율로 감소함을 증명했습니다. 즉, 유효 표본 크기가 클수록 임계값 추정이 정밀해지며, $n_{eff}$가 작을수록 불확실성이 커짐을 수학적으로 규명했습니다.
3. **가중 확률적 우세 **(Weighted Stochastic Dominance)
   • BQ-CP 의 데이터 조건부 보장 (data-conditional guarantee) 이 가중치 프로파일별 (per-weight-profile) 로 확장됨을 증명했습니다. 이는 특정 가중치 환경 하에서도 위험이 통제됨을 의미합니다.
4. **조건부 오차율 개선 **(Conditional Coverage Improvement)
   • HPD 임계값을 사용할 경우, 기존 한계 오차율 ($\alpha$) 대비 $O(1/\sqrt{n_{eff}})$만큼 조건부 오차율이 개선됨을 보였습니다. 특히 $n_{eff}$가 작은 지역 (데이터가 희소하거나 편향된 곳) 에서 이 개선 효과가 큽니다.

---

4. 적용 사례: 지리적 BQ-CP (GeoBCP)

WBCP 를 공간 예측에 적용한 GeoBCP를 제안했습니다.

• 가중치 설정: 테스트 위치와 칼리브레이션 위치 간의 거리 기반 커널 함수 (예: 가우시안 커널) 를 사용하여 가중치를 부여합니다.
• 산출물:
  • **유효 표본 크기 지도 **($n_{eff}$ map) 각 위치에서 예측을 지지하는 동등한 칼리브레이션 샘플 수를 시각화합니다.
  • **사후 표준편차 지도 **($\sigma_{post}$ map) 예측 구간의 신뢰도를 나타냅니다. 좁은 구간이라도 $n_{eff}$가 낮으면 (불확실성이 높으면) 넓은 신뢰도를 가집니다.
  • 적응형 대역폭: 데이터가 희소한 지역에서는 대역폭을 자동 조정하여 $n_{eff}$가 0 에 수렴하는 것을 방지합니다.

---

5. 실험 결과

**5.1 합성 데이터 **(Synthetic Data)

• 비균일 분포와 공간적 상관관계를 가진 데이터에서 실험했습니다.
• WBCP 는 목표 오차율 (90%) 을 유지하면서도, 기존 방법들보다 풍부한 불확실성 정보를 제공했습니다.
• $\sigma_{post}$는 알려진 노이즈 구조와 높은 상관관계 ($r < -0.9$) 를 보이며, 데이터 품질을 정확히 반영했습니다.

**5.2 실세계 데이터 **(Seattle House Prices)

• 시애틀 주택 가격 데이터셋 (3,000 개) 을 사용하여 XGBoost 모델과 결합했습니다.
• 결과: GeoBCP 는 95% 이상의 오차율을 달성했으며, 기존 GeoCP 대비 구간 폭이 약간 증가했으나, $n_{eff}$와 $\sigma_{post}$를 통해 예측의 신뢰도를 정량화할 수 있었습니다.
• 도시 중심부 ($n_{eff} > 240$) 는 신뢰도가 높고, 주변부 ($n_{eff} < 120$) 는 메타 불확실성이 높음을 지도로 시각화하여 기존 방법으로는 불가능했던 통찰을 제공했습니다.

---

6. 의의 및 결론

WBCP 의 주요 의의:

1. 이론적 통합: 분포 변화 (Weighted CP) 와 메타 불확실성 (BQ-CP) 을 하나의 프레임워크로 통합했습니다.
2. 해석 가능성: 단순히 "예측 구간"을 주는 것을 넘어, "이 예측이 얼마나 신뢰할 만한가 ($n_{eff}$, $\sigma_{post}$)"에 대한 정량적 지표를 제공합니다.
3. 실용성: 공간 예측, 도메인 적응, 공정한 예측 등 가중치가 필요한 모든 분야에서 적용 가능하며, 데이터가 부족한 지역을 식별하여 추가 데이터 수집을 유도하는 데 활용될 수 있습니다.

이 연구는 불확실성 정량화 (Uncertainty Quantification) 분야에서 빈도주의적 강건성과 베이지안 해석 가능성을 결합한 중요한 진전으로 평가됩니다.