기술 요약: 의사결정 이론적 임계값 선택을 통한 베이지안 컨포멀 예측

1. 문제 제기

기계 학습의 불확실성 정량화는 특히 근본적인 확률 모델이 오지정되었을 때 통계적 타당성과 효율성 사이의 트레이드오프에 직면합니다. 표준 베이지안 방법은 사후 불확실성을 제공하지만 모델이 부정확할 경우 명목상 커버리지를 유지하지 못할 수 있습니다. 반면, 표준 컨포멀 예측 (CP) 은 교환성 하에서 유한 표본, 분포 무관한 커버리지 보장을 제공하지만 종종 단일 고정 분위수 임계값에 의존합니다. 이러한 고정 임계값은 일반적으로 연결된 예측 집합 (구간) 을 생성하는데, 사후 예측 분포가 다봉형 (multimodal) 일 경우 비효율적일 수 있습니다. 이러한 경우, 표준 방법은 타당성을 유지하기 위해 분리된 모드 간의 저밀도 영역을 포함하도록 강요받아 불필요하게 큰 예측 집합을 생성하게 됩니다.

해결된 핵심 문제는 베이지안 사후 예측 분포를 사용하여 컨포멀 임계값을 최적화함으로써, 모델 오지정 하에서도 유효한 기하학적 적응형 예측 집합 (구체적으로, 최대 사후 밀도 또는 HPD 집합) 을 생성할 수 있는지 여부입니다.

2. 방법론: 베이지안 컨포멀 예측 (BCP)

저자들은 컨포멀 예측을 의사결정 - 위험 최적화 문제로 재구성하는 베이지안 컨포멀 예측 (BCP) 프레임워크를 제안합니다. 고정된 분위수 임계값을 수용하는 대신, BCP 는 임계값 $\lambda$를 의사결정 변수로 취급하여 PAC 스타일 (Probably Approximately Correct) 의 커버리지 제약을 만족하면서 예상 예측 집합 크기를 최소화합니다.

주요 구성 요소

1. 베이지안 비동일성 점수 (Bayesian Non-conformity Scores):
   BCP 는 사후 예측 밀도에서 유도된 점수를 활용합니다:
   $$s(x, y) = -\log \hat{p}(y \mid x, D_{tr})$$
   이러한 점수는 매개변수 및 예측 불확실성을 모두 포함합니다. 모든 보정 포인트마다 모델을 재적합하지 않고 이러한 점수를 효율적으로 계산하기 위해, 저자들은 Add-One-In (AOI) 중요도 샘플링을 사용합니다. 이는 임의의 $(x, y)$에서 예측 밀도를 근사하기 위해 기존 사후 샘플을 재가중치하여, 교환성을 보존하기 위해 보정 레이블에 대해 점수 함수가 고정되도록 보장합니다.

2. PAC 스타일 위험 제어 ($L_+$ 통계량):
   타당성을 강제하기 위해 BCP 는 컨포멀 위험 제어 (CRC) 프레임워크를 채택합니다. 이는 실제 미커버리지 위험을 확률적으로 상한으로 묶는 $L_+$ 통계량을 사용합니다. 임계값 $\lambda^*$는 다음과 같이 선택됩니다:
   $$P_D(P_{(X,Y)}(Y \notin C(X; \lambda)) \le \alpha) \ge 1 - \beta$$
   이는 보정 데이터의 무작위성 하에서 $1-\beta$ 이상의 확률로 $1-\alpha$ 커버리지를 보장하여, 베이지안 모델이 오지정되더라도 견고성을 제공합니다.

3. 효율성 추정을 위한 베이지안 구적법 (Bayesian Quadrature, BQ):
   목적 함수 $g(\lambda) = E_X[|C(X; \lambda)|]$ (예상 집합 크기) 는 종종 계산이 불가능합니다. BCP 는 $\lambda \mapsto g(\lambda)$ 매핑 위에 가우시안 프로세스 사전 분포를 두어 이를 베이지안 구적법을 통해 근사합니다.

   • 임계값 기반 설정에서의 역할: BQ 는 실현 가능한 가장 작은 임계값을 식별할 때 추정 노이즈를 줄입니다.
   • HPD 설정에서의 역할: 다봉 분포에서 HPD 집합의 기하학은 $\lambda$가 모드 경계 밀도 수준을 통과함에 따라 급격히 변화합니다 (연결되지 않은 구성 요소가 나타났다가 사라짐). 이는 단순 몬테카를로 추정치에서 높은 분산을 유발합니다. BQ 는 이러한 불연속점 근처에서 $g(\lambda)$ 추정을 안정화하여 최적 임계값의 신뢰할 수 있는 선택을 가능하게 합니다.

4. 적응형 기하학 (HPD 집합):
   연결된 구간을 강제하는 표준 Split-CP 또는 컨포멀화된 분위수 회귀 (CQR) 와 달리, BCP 는 사후 예측 밀도의 초등위 집합 (superlevel sets) 을 기반으로 예측 집합을 구성합니다:
   $$C_{HPD}(x; \lambda) = \{y : \hat{p}(y \mid x, D_{tr}) \ge e^{-\lambda}\}$$
   다봉 사후 분포 하에서 이러한 집합은 불연속일 수 있으며, 분리된 고밀도 영역에 확률 질량을 집중시키고 저밀도 계곡을 피합니다.

3. 주요 기여

• 의사결정 이론적 공식화: 본 논문은 임계값을 PAC 커버리지 제약 하에서 예상 집합 크기를 최소화하는 의사결정 변수로 하는 최적화 문제로 CP 를 제시합니다.
• 기하학적 적응성: 사후 예측 밀도를 활용함으로써 BCP 는 다봉 분포 하에서 불연속일 수 있는 HPD 예측 집합을 생성하여, 연결된 구간 방법보다 효율성을 크게 향상시킵니다.
• 오지정에 대한 견고성: 이 프레임워크는 타당성을 모델 정확도로부터 분리합니다. 베이지안 신뢰 구간 (BCI) 은 사전 오지정 하에서 실패하지만, BCP 는 $L_+$ 제약을 통해 명목에 가까운 커버리지를 복원합니다.
• 안정적인 임계값 선택: 베이지안 구적법의 통합은 다봉 설정에서 모드 경계 근처 목적 함수 추정의 불안정성을 해결합니다.

4. 실험 결과

저자들은 Split-CP, CQR, 베이지안 신뢰 구간 (BCI), 컨포멀 베이지안 계산 (CB), Snell-HPD 를 포함한 기준선 대비 회귀, 분류, 분포 이동 작업에서 BCP 를 평가했습니다.

• 회귀 (Diabetes 데이터셋): 사전 오지정 ($c=0.02$) 하에서 BCI 커버리지는 49.2% 로 붕괴된 반면, BCP 는 80.0% 커버리지를 유지했습니다. BCP 는 명시적 효율성 최적화로 인해 Snell-HPD 보다 약간 넓은 구간으로 목표 커버리지를 달성했으나, 타당성 측면에서 BCI 를 크게 능가했습니다.
• 분류 (Breast Cancer): BCI 는 심각한 과커버 (목표 80% 대비 98.9%) 를 보였습니다. BCP 는 평균 집합 크기 0.829 로 82.5% 커버리지를 달성하여 효과적인 효율성 - 타당성 제어를 입증했습니다.
• 합성 다봉 회귀: 이 설정은 BCP 의 주요 장점을 부각시킵니다. 표준 구간 방법 (Split-CP, CQR) 은 모드 간의 저밀도 계곡을 spanning 하는 연결된 집합을 생성하여 평균 크기가 약 4.8 이었습니다. BCP 와 Snell-HPD 는 불연속 HPD 집합을 활용하여 평균 크기를 2.07로 줄였습니다 (통계적으로 유의미한 개선, $p < 0.0001$). BCP 는 목표치를 충족하는 0.80 의 PAC 통과율을 달성한 반면, Snell-HPD 는 약간 미치지 못했습니다 (0.78).
• 고차원 분류 (ImageNet-A): 예상 집합 크기가 임계값에 대해 단조로운 단봉 설정에서 BCP 는 Snell-HPD 와 동일한 해를 복원했습니다 (평균 집합 크기 40.3 vs. 주변 방법 122+). 이는 BCP 의 효율성 향상이 PAC 제약 자체보다는 복잡하고 다봉인 기하학을 처리하는 능력에 기인함을 확인시켜 줍니다.

5. 중요성과 주장

본 논문은 BCP 가 컨포멀 예측의 타당성 보장과 베이지안 추론의 기하학적 적응성을 결합한 강력한 불확실성 정량화 프레임워크를 제공한다고 주장합니다.

• 타당성: 이 방법은 모델 정확도와 무관하게 교환성 하에서 유한 표본 커버리지를 보장합니다.
• 효율성: 효율성에 대한 주요 기여는 다봉 시나리오에서 불연속 예측 집합을 구성할 수 있는 능력으로, 연결된 구간 방법 내재적인 "저밀도 패널티"를 피합니다.
• 범위: 저자들은 표준 중첩 임계값 설정 (단봉 회귀, 표준 분류) 에서 BCP 는 실현 가능한 가장 작은 임계값을 복원하며 기존 PAC 기반 방법과 일치한다고 지적합니다. 뚜렷한 장점은 예측 분포가 다봉형일 때 특히 발생합니다.
• 한계: 이 방법은 사후 추론의 계산 비용 (MCMC 샘플 및 AOI 재가중치 필요) 을 계승합니다. 저자들은 매우 큰 데이터셋이나 고차원 레이블 공간으로의 확장 여부는 여전히 과제로 남아 있음을 인정합니다.

요약하자면, BCP 는 모델 오지정 하에서 통계적으로 유효하고 복잡하며 다봉인 예측 환경에서 기하학적으로 효율적인 예측 집합을 구성하는 원칙적인 접근법을 제공합니다.