기술 요약: 다중 분포 강건 컨포멀 예측 (Multi-Distribution Robust Conformal Prediction)

문제 정의

본 논문은 테스트 데이터가 $K$개의 이질적인 소스 분포 중 임의의 멤버 또는 그 혼합체로부터 생성될 수 있을 때, 유효한 커버리지 보장을 유지하는 예측 집합을 구축하는 과제를 다룹니다. 임상 위험 예측(다양한 병원 간), 보호된 그룹에 대한 공정성(그룹 라벨을 관찰하지 않는 경우), 또는 다중 소스 학습과 같은 많은 실제 시나리오에서, 테스트 분포는 알려지지 않았으며 훈련 분포와 크게 다를 수 있습니다.

풀링된 데이터(pooled data)에 대해 교정(calibration)된 표준 컨포멀 예측은 오직 훈련 샘플에 의해 유도된 특정 혼합 분포에 대해서만 커버리지를 보장합니다. 반대로, 단일 소스에 대해 교정하는 것은 테스트 포인트가 다른 소스에서 왔을 때 커버리지를 보장하지 못합니다. 저자들은 다음과 같은 **균등 커버리지(uniform coverage)**를 달 a achieve하는 단일 예측 집합 $\hat{C}(X_{n+1})$을 구축하는 것을 목표로 공식화합니다:
$$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$$
이는 테스트 포인트를 생성한 것이 어떤 소스 분포이든 관계없이, 모든 가능한 소스 분포에 대해 커버리지 보장이 동시에 성립함을 보장합니다.

방법론: 다중 분포 컨포멀 예측 (MDCP)

제안된 프레임워크인 MDCP는 유효성 메커니즘과 효율성 최적화 전략이라는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 유효성을 위한 Max-p 집합 (Max-p Aggregation)

이 방법의 기초는 분포 불변(distribution-free) 집합 방식입니다.

• 단일 소스 p-값: 각 소스 $k$에 대해 적합도 점수(conformity score) $s_k$를 계산합니다. 후보 라벨 $y$에 대한 컨포멀 p-값 $p^{(k)}(y)$는 소스 $k$의 교정 폴드(calibration fold)를 기반으로 도출됩니다.
• 집합 (Aggregation): 이 방법은 p-값들의 최댓값을 취함으로써 이들을 집합합니다: $p(y) = \max_{k \in [K]} p^{(k)}(y)$.
• 예측 집합: 최종 예측 집합은 집합된 p-값이 유의 수준 $\alpha$보다 큰 라벨들의 집합입니다: $\hat{C}(X) = \{ y : p(y) \ge \alpha \}$.
• 이론적 보장: 저자들은 이 집합된 집합이 단일 소스 컨포멀 집합들의 합집합임을 증명합니다. 결과적으로, 이는 테스트 포인트의 소스를 알지 못하더라도 소스 분포들의 임의의 혼합에 대해 **유한 샘플 균등 유효성(finite-sample uniform validity)**을 제공합니다.

2. 쌍대 정식화(Dual Formulation)를 통한 효율성 최적화

Max-p 집합은 유효성을 보장하지만, 이를 표준 단일 소스 점수에 단순히 적용하면 종종 지나치게 보수적인(큰) 예측 집합을 생성할 수 있습니다. 이를 해결하기 위해, 본 논문은 균등 커버리지 제약 조건 하에서 크기를 최소화하는 모집단 수준의 최적 예측 집합을 도출합니다.

• 최적 점수: 저자들은 최적의 예측 집합이 "공유된" 적합도 점수 $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$의 상위 레벨 집합(superlevel set)에 대응함을 보여줍니다. 여기서 $f_k$는 소스 $k$의 조건부 밀도이고, $\lambda_k^*(x)$는 비음수 쌍대 가중치(non-negative dual weights)입니다.
• 가중치 학습: 가중치 $\lambda_k^*(x)$는 소스 간의 커버리지 제약을 균형 있게 조절하는 쌍대 최적화 문제를 푸는 데 의해 결정됩니다.
• 경험적 알고리즘: 본 논문은 이러한 가중치를 학습하기 위한 엔드 투 엔드 절차를 제안합니다:
  1. 각 소스 및 풀링된 모델에 대한 조건부 밀도 모델(또는 분류기)을 적합시킵니다.
  2. 가중치 함수 $\lambda_k(x)$를 매개변수화합니다 (예: 스플라인 또는 신경망 사용).
  3. 파라미터 $\hat{\Theta}$를 학습하기 위해 경험적 쌍대 목적 함수(쌍대 문제의 라그랑주 함수로부터 유도됨)를 최적화합니다.
  4. 학습된 점수와 max-p 집합을 사용하여 최종 MDCP 집합을 구성합니다.

주요 기여

1. 일반적인 Max-p 집합 방식: 단일 소스 컨포멀 p-값을 집합함으로써 여러 이질적인 소스에 대해 유한 샘플 균등 커버리지를 달성하는 단순하고 분포 불변인 메커니즘을 도입했습니다.
2. 최적성 특성화: 균등 커버리지 제약 조건 하에서의 모집단 최적 예측 집합을 이론적으로 도출했습니다. 저자들은 max-p 집합이 올바르게 학습된 적합도 점수(구체적으로, 최적의 공유 점수 $h^*$와 결합될 때)와 함께 사용되면 점근적으로 최적이며 타이트(tight)함을 증명했습니다.
3. 엔드 투 엔드 알고리즘: 쌍대 목적 함수에 대한 경험적 위험 최소화를 활용하여 분류 및 회귀 작업 모두에 대해 최적의 적합도 점수를 학습하는 실용적인 파이프라인을 제공합니다.
4. 경험적 검증: MDCP가 나이브한 집합 베이스라인에 비해 최악의 경우 커버리지를 견고하게 유지하면서도 예측 집합 크기를 크게 줄인다는 것을 광범위한 실험을 통해 입증했습니다.

결과

본 논문은 합성 데이터와 세 가지 실제 데이터셋에 대해 MDCP를 평가합니다:

• 합성 실험: 분류 및 회귀 모두에 대해 선형, 비선형, 그리고 변화하는 온도(heterogeneity) 설정에 걸쳐 MDCP는 일관되게 최악의 경우 커버리지를 명목 수준($1-\alpha$)에 가깝게 유지합니다. 반면, 단일 소스 베이스라인은 이동된 데이터에서 언더 커버리지(under-coverage) 문제를 겪으며, 나이브 집합(BASELINE-AGG)은 지나치게 보수적입니다. MDCP는 나이브 집합과 비교하여 분류에서 약 34%, 회귀에서 약 22% 적은 예측 집합 크기를 달성하며, 종종 실제 밀도에 접근 가능한 오라클(oracle)의 효율성에 근접합니다.
• 실제 응 Anwendungen:
  • FMoW (위성 이미지): 6개 지역에 걸친 지리적 변화에 대한 강건성을 입증합니다. MDCP는 모든 지역에서 유효한 커버리지를 제공하며 일부 단일 소스 집합보다 작은 집합 크기를 가집나다.
  • PovertyMap: 도시-농촌 변화를 다룹니다. MDCP는 단일 소스 방법이 실패하는 곳(커버리지가 0.6까지 떨어짐)에서도 타이트한 커버리지를 유지하며, 나이브 집합은 너무 넓습니다.
  • MEPS (의료 지출): 추론 시에 그룹 라벨을 관찰하지 않고도 민감한 그룹(인종)에 대한 이질성을 처리합니다. MDCP는 베이스라인에 비해 균등한 커버리지와 더 짧은 구간을 달성합니다.

의의 및 주장

본 논문은 MDCP가 이질적인 환경에서 불확실성 정량화를 위한 강력한 솔루션을 제공하며, 분포적 강건성과 공정성 사이의 간극을 메운다고 주장합니다.

• 보호된 속성 없는 공정성: 이 방법은 추론 시에 민감한 그룹 속성을 관찰할 필요 없이 그룹 조건부 커버리지(모든 하위 그룹에 대한 신뢰성 보장)를 가능하게 하며, 이는 공정한 머신러닝의 중요한 한계를 해결합니다.
• 하위 집단 변화 보호: 임의의 하위 집단 변화에 대한 보장을 제공하여, 테스트 분포가 훈련 혼합물과 다른 소스들의 혼합체인 경우에도 신뢰성을 보장합니다.
• 효율성-유효성 트레이드오프: 적절한 공유 적합도 점수를 학습한다면, 최악의 경우 강건성과 관련된 전형적인 효율성 손실 없이도 균등 유효성을 달 수 있음을 보여줍니다.

저자들은 MDCP를 다중 소스 환경에서 표준 컨포멀 예측에 대한 실용적인 대안으로 제시하며, 완만한 일치 조건(consistency conditions) 하에서 정확한 유한 샘플 보장과 점근적 최적성을 제공한다고 설명합니다.