기술 요약: 분포 변화(Distributional Shifts) 하에서의 일반화된 컨포멀 예측 시스템 (Generalized Conformal Predictive Systems)

1. 문제 정의

의사 결정 맥락에 배치되는 머신러닝 시스템은 정확한 점 예측(point predictions)뿐만 아니라 통계적으로 신뢰할 수 있는 불확실성 정량화가 필요합니다. 구체적으로, 예측 분포는 **교정(calibrated)**되어야 합니다. 즉, 예측된 확률이 경험적 빈도와 일치해야 하며, 예측 구간은 목표하는 커버리지(coverage)를 달와야 합니다.

아웃-오브-샘플(out-of-sample) 교정을 달성하는 데 있어 주요 장애물은 **분포 변화(distributional shift)**입니다. 고전적인 컨포멀 예측 방법은 교환 가능성(exchangeability) 가정(데이터 포인트들이 동일하게 분포하며 순서에 무관하다는 가정)에 의존합니다. 이 가정은 실제 환경에서 다음과 같은 이유로 빈번히 위반됩니다:

• 공변량 변화 (Covariate shift, 입력 분포의 변화).
• 레이블 변화 (Label shift).
• 시간적 드리프트 (Temporal drift).
• 적응형 또는 피드백 기반 데이터 수집 (예: 생체 분자 설계).

기존 연구들은 특정 변화 레짐(예: 우도 비를 이용한 알려진 공변량 변화)으로 컨포멀 예측 시스템(CPS)을 확장해 왔으나, 변화하는 가중치를 추정하는 데 따르는 불확실성을 고려하면서 임의의 분포 변화를 처리할 수 있는 **일반화된 컨포멀 예측 시스템(GCPS)**을 위한 일반적인 프레임워크는 부족한 실정이었습니다. 핵심 과제는 테스트 포인트가 훈련 데이터와 다른 분포에서 추출되고, 이러한 변화를 보정하기 위한 가중치가 알려진 값이 아닌 추정된 값일 때도 유효하고 교정된 상태를 유지하는 예측 엔벨로프(predictive envelopes, 누적 분포 함수(CDF)의 집합)를 구축하는 것입니다.

2. 방법론

2.1. 이론적 프레임워크: 순열 가중치 (Permutation Weights)

저자들은 순열 가중치를 통해 비교환적(non-exchangeable) 환경으로 GCPS를 확장합니다. 테스트 포인트 $Z_{n+1}$이 훈련 세트 $\{Z_1, \dots, Z_n\}$와 교환 가능하다고 가정하는 대신, 관측된 원자(atoms)들의 순서가 없는 다중 집합(unordered multiset)에 조건부로 모델링합니다. 이 원자들 사이에서 테스트 포인트의 정체는 확률 $w_i$를 가진 가중치 추출로 모델링됩니다.

• 가중 경험 법칙 (Weighted Empirical Law): 후보 응답 값 $y'$에 대해, 이 방법은 가중치가 적용된 관측 측도 $\mu_{obs}$와 테스트 포인트를 실제 가중치 $w_{n+1}$과 함께 포함하는 가설적 전체 측도 $\tilde{\mu}$를 구성합니다.
• 변화 인지 엔벨로프 (Shift-Aware Envelopes): 예측 시스템은 테스트 원자를 자신의 가중치와 함께 캘리브레이션 세트에 삽입함으로써 구축됩니다. 정리 1은 만약 기저의 분포 회귀 절차 $G$가 인샘플 교정(확률적, 단조적 또는 자동 교정)되어 있다면, 결과적인 예측 시스템 $\Pi[X_{n+1}]$이 실제(잠재적으로 비교환적인) 법칙 하에서 $Y_{n+1}$에 대한 교정된 예측 CDF를 포함함을 입증합니다.

2.2. 가중치 불확실성 처리

실제 상황에서 변화 가중치는 거의 알려져 있지 않으며 밀도 비(density ratios) 등을 통해 추정되어야 하므로, **인식론적 불확실성(epistemic uncertainty)**을 도입합니다. 이를 해결하기 위해 저자들은 **가중치 불확실성 박스(weight-uncertainty boxes)**를 도입합니다:

• 정의: 추정된 가중치 $\hat{w}_i$ 주변의 좌표별 곱셈 경계로, $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$로 정의됩니다.
• 신뢰 영역: 이 박스 $WWU_\alpha$는 실제 가중치에 대한 $(1-\alpha)$ 신뢰 영역으로 취급됩니다.
• 강건한 엔벨로프 (Robust Envelopes): 이 방법은 불확실성 박스 내의 모든 가중치 벡터에 대해 예측 시스템의 경계를 최적화함으로써 가중치 강건 CDF 엔벨로프를 구축합니다. 이는 가중치가 박스 내에서 잘못 지정되더라도 확률적으로 최소 $1-\alpha$의 확률로 교정된 분포를 포함하는 CDF 집합을 생성합니다.

2.3. 효율적 계산

본 논문은 모든 후보 $y'$ 값에 대해 나이브한 탐색을 수행할 필요 없이, 세 가지 특정 $G$ 사례에 대한 효율적인 계산 규칙을 도출합니다:

1. 컨포멀 비닝 (Conformal Binning, CBIN): 빈(bin) 내에서 가중치 적용 경험 CDF를 사용합니다. 강건한 엔벨로프는 원자들을 상한 가중치로 밀어 올리거나 하한 가중치로 밀어 내리는 방식을 통해 폐쇄형(closed-form) 표현식으로 유도됩니다.
2. 적합도 측정 CPS (Conformity-Measure CPS, CMCPS): 원시 결과값이 아닌 적합도 점수(conformity scores)에 대해 CBIN과 동일한 로직을 적용합니다.
3. 컨포멀 아이소토닉 분포 회귀 (Conformal Isotonic Distributional Regression, CIDR): 안티토닉(antitonic) 회귀를 사용합니다. 강건한 엔벨로프는 지표 값에 따라 상한 및 하한 가중치를 적용하여 PAVA(isotonic regression routine)를 두 번 실행함으로써 계산됩니다.

3. 주요 기여

본 논문의 세 가지 주요 기여는 다음과 같습니다:

1. 비교환성으로의 확장: 순열 가중치를 통해 교환성으로부터의 이탈을 인코딩함으로써 GCPS를 비교환적 시퀀스로 확장하였으며, 임의의 분포 변화 하에서도 유효한 변화 인지 예측 엔벨로프를 구축하였습니다.
2. 가중치 불확실성에 대한 강건성: 가중치 불확실성 박스를 기반으로 한 강건한 예측 시스템을 개발하였습니다. 이는 엔벨로프가 교정된 예측 CDF를 포함한다는 유한 샘플 또는 점근적 신뢰 보장을 제공하며, 엔벨로프의 두께는 유한 샘플 불확실성과 가중치 오지정(misspecification)을 모두 반영합니다.
3. 효율적 알고리즘 및 경험적 검증: CBIN, CMCPS, CIDR에 대한 효율적인 평가 규칙과 폐쇄형 식을 제공합니다. 실험을 통해 변화 인지 가중치 적용이 예측 성능을 개선하고 피드백 공변량 변화 하에서도 교정을 유지함을 입와하며, 밴드의 폭이 인식론적 불확실성을 효과적으로 정량화함을 입증하였습니다.

4. 실험 결과

4.1. 합성 공변량 변화 (Synthetic Covariate Shift)

공변량 변화가 있는 5차원 회귀 작업에 대한 실험이 수행되었습니다.

• 교정 (Calibration): 가중치를 적용하지 않은 방법은 유의미하게 낮은 커버리지를 보였습니다 (명목 커버리지 $0.90$대비 약$0.83-0.88$).
• 가중치 적용 방법: 오라클(Oracle) 및 추정 가중치 방식은 커버리지를 명목 수준 근처($\approx 0.91-0.93$)로 복구했습니다.
• 불확실성 전파: "추정 CI 가중치"(불확실성 박스 사용) 방식이 가장 보수적이었으며, 커버리지를 최대 $\approx 0.97$까지 달성했습니다. 이는 CRPS(Continuous Ranked Probability Score)가 약간 높아지고 밴드가 넓어지는 대가를 치렀으나, 가중치 추정에서 오는 추가적인 인식론적 불확실성을 정확하게 반영한 결과입니다.
• 샘플 크기: 훈련 및 캘리브레이션 샘플 크기가 증가함에 따라 컨포멀 밴드가 좁아졌으며, 이는 감소하는 인식론적 불확실성을 나타냅니다.

4.2. 피드백 기반 생체 분자 설계 (AAV 캡시드)

본 방법은 모델 예측에 기반하여 테스트 분포가 설계되는 피드백 공변량 변화 (Feedback Covariate Shift, FCS) 시나리오인 아데노 부속 바이러스(AAV) 캡시드 패키징 설계에 적용되었습니다.

• 설정: 테스트 분포는 높은 예측 패키징 적합도를 가진 서열 쪽으로 질량을 이동시키는 다양한 "역 온도(inverse temperature)" 파라미터($\lambda$)를 사용하여 생성되었습니다.
• 성능: 중요도 가중치(Importance weighting)는 가중치를 적용하지 않은 변형들과 비교하여 다양한 변화 범위에서 명목 수준에 가까운 커버리지를 복구했습니다.
• 극단적 변화: 가장 극단적인 변화($\lambda=7$)에서는 가중치 적용 방법이 유효 샘플 크기의 붕괴와 증가된 인식론적 불확실성을 반영하여 약간 더 낮은 CRPS와 넓은 밴드를 보였습니다.
• 신뢰성: 가중치 적용 절차는 희귀하고 가치가 높은 결과(극단적 사건)에 대해서도 양호한 교정을 유지하여, 고위험 설계 환경에서의 유용성을 확인했습니다.

5. 의의 및 주장

본 논문은 벤-아버스(Venn-Abers) 스타일 예측기(컨포럴 IDR의 특수 사례)에 대해 분포 변화 및 가중치 불확실성 하에서의 아웃-오브-샘플 교정 보장을 통합된 예측 시스템 프레임워크 내에서 최초로 확립했다고 주장합니다.

저자들은 예측 밴드의 폭이 인식론적 불확실성의 정보가 풍부한 지표임을 강조합니다. 변화 인지 설정에서 밴드 폭은 $Y|X$의 조건부 분포를 학습하는 불확실성과 변화 가중치를 추정하는 불확실성을 모두 포착합니다. 이를 통해 실무자는 다음을 수행할 수 있습니다:

• 일상적인 사용을 위해 단일 대표 예측치를 보고합니다.
• 인식론적 불확실성에 대해 의사 결정에 유의미한 양(예: 꼬리 위험)에 대한 밴드 함축 경계(band-implied bounds)를 동시에 보고하여 의사 결정이 견고하도록 보장합니다.

이 연구는 GCPS를 단순히 적합도 점수의 래퍼(wrapper)가 아니라, 임의의 인샘플 교정된 분포 회귀 절차를 감쌀 수 있는 유연한 교정 프레임워크로 위치시키며, 교환 가능성 가정을 훨씬 넘어 그 유효성을 확장합니다.

6. 한계점

저자들은 두 가지 구체적인 주의 사항을 언급합니다:

1. 결합 신뢰 영역 (Joint Confidence Regions): 정리 2는 가중치 불사-불확실성 박스가 실제 가중치에 대한 유효한 결합 신뢰 영역이어야 함을 요구합니다. 실험에서는 이를 적합된 프로펜시티 모델(propensity model)을 통해 점근적으로 구축하였습니다.
2. 고정된 활성 집합 (Fixed Active Sets): CBIN 및 CIDR의 폐쇄형 엔벨로프는 가중치 적용 전의 활성 집합(비닝의 경우) 또는 순서(IDR의 경우)가 불확실성 박스 전체에서 고정되어 있다고 가정합니다. 이는 비닝 및 순서 선택을 가중치 적용 전에 정의된 것으로 제한합니다.