Shape-Adaptive Conditional Calibration for Conformal Prediction via Minimax Optimization

이 논문은 **최소-최대 최적화 (Minimax Optimization)**를 통한 **형식적 예측 (Conformal Prediction) 의 조건부 유효성 (Conditional Validity)**을 달성하기 위한 새로운 프레임워크인 **MOPI (Minimax Optimization Predictive Inference)**를 제안합니다.

기존의 형식적 예측 방법이 제공하는 '한계적 (Marginal)' 커버리지 보장만으로는 이질적인 데이터 분포 하에서 특정 하위 집단이나 지역에서의 신뢰도가 떨어질 수 있다는 문제를 해결하기 위해, 조건부 커버리지를 달성하면서도 예측 집단의 **기하학적 형태 (Shape)**를 데이터의 국소적 특성에 맞춰 적응적으로 조정할 수 있는 방법을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 형식적 예측은 주어진 신뢰 수준 $(1-\alpha)$에서 예측 집합이 참 레이블을 포함할 확률을 보장합니다. 그러나 기존의 **한계적 커버리지 (Marginal Coverage)**는 전체 데이터에 대한 평균적인 보장이므로, 특정 하위 집단 (예: 특정 인종, 성별, 또는 공변량의 특정 영역) 에서는 체계적인 커버리지 부족 (Under-coverage) 이 발생할 수 있습니다.
• 목표: 조건부 변수 $Z$ (테스트 시점의 공변량 $X$이거나 민감한 속성일 수 있음) 에 대한 **조건부 커버리지 (Conditional Coverage)**를 달성하는 것입니다. 즉, $P(Y \in C(X) | Z=z) \ge 1-\alpha$를 만족해야 합니다.
• 기존 방법의 한계:
  • 조건부 보정 (Conditional Calibration, CC 등): 고정된 점수 함수 (Score function) 의 하위 수준 집합 (Sublevel set) 을 사용하여 임계값만 조정합니다. 이는 예측 집합의 **부피 (Volume)**만 조절할 뿐, **기하학적 형태 (Shape)**나 **방향 (Orientation)**을 변경하여 국소적인 이분산성 (Heteroscedasticity) 을 포착하지 못합니다.
  • 민감한 속성 (Sensitive Attributes): 테스트 시점에 관찰되지 않는 민감한 속성 (예: 인종, 성별) 을 보정 단계에서 활용하여 조건부 커버리지를 달성하는 것은 기존 방법에서 어렵습니다.

2. 제안 방법: MOPI (Methodology)

저자들은 조건부 커버리지를 최소 - 최대 (Minimax) 최적화 문제로 재구성하여 MOPI를 제안했습니다.

• 핵심 아이디어:
  • 조건부 커버리지 제약은 무한한 가중치 함수 $f(Z)$에 대한 모멘트 제약으로 표현할 수 있습니다. 이를 해결하기 위해, 예측 집합 $C$를 최적화하면서 동시에 가장 불리한 가중치 함수 $f$에 대한 오차를 최소화하는 Minimax 문제를 풉니다.
  • 최적화 목적 함수:
    $$\min_{C \in \mathcal{C}} \max_{f \in \mathcal{F}} \mathbb{E} \left[ f(Z)(\mathbb{1}\{Y \notin C(X)\} - \alpha) - f^2(Z) \right]$$
    여기서 $f^2(Z)$ 항은 정규화를 위해 추가되었습니다.
• 구조화된 예측 집합 (Structured Set-valued Mapping):
  • 예측 집합을 고정된 점수 함수의 하위 수준이 아닌, 매개변수 $h(x)$에 의해 정의되는 기하학적 구조 (예: 타원체, 박스) 로 정의합니다.
  • $C(x; h) = \{y \in \mathcal{Y} : T(h(x), y) \le 0\}$
  • 이를 통해 MOPI 는 보정 단계에서 $h(x)$ (예: 국소 평균 $\mu(x)$와 공분산 $\Sigma(x)$) 를 학습하여 예측 집합의 형태와 크기를 데이터의 국소적 분포에 맞춰 적응적으로 변형할 수 있습니다.
• 마스크된 민감 속성 처리:
  • MOPI 는 보정 단계에서는 민감 속성 $Z$를 사용할 수 있지만, 예측 단계 (테스트 시) 에는 $Z$가 관찰되지 않아도 됩니다. $Z$에 대한 정보는 $X$를 통해 간접적으로 학습된 예측 집합 $C(X)$의 형태로 반영되므로, 알고리즘적 공정성 (Algorithmic Fairness) 요구사항을 충족하면서도 조건부 커버리지를 보장합니다.

3. 주요 기여 (Key Contributions)

1. 기하학적 적응성 (Shape Adaptivity): 기존 방법들이 고정된 점수 함수의 부피만 조절하는 것과 달리, MOPI 는 예측 집합의 **기하학적 형태 (예: 타원체의 방향과 축비)**를 국소적 이분산성에 맞춰 동적으로 조정합니다.
2. 통계적 해석 및 이론적 보장:
   • MOPI 목적 함수가 **평균 제곱 커버리지 오차 (MSCE, Mean Squared Coverage Error)**를 최소화하는 것과 동치임을 증명했습니다.
   • **비점근적 오라클 부등식 (Non-asymptotic Oracle Inequalities)**을 유도하여, 유한 샘플에서의 MSCE 수렴 속도를 최적의 차수 (Optimal Order) 까지 달성함을 보였습니다.
3. 마스크된 조건부 변수 처리: 보정 시에만 관찰 가능한 민감 속성 $Z$를 활용하여, 테스트 시 $Z$가 숨겨진 상태에서도 유효한 조건부 커버리지를 보장하는 프레임워크를 제공합니다.
4. 실용적 구현: 비미분 가능한 지시 함수 (Indicator function) 를 부드러운 대리 함수 (Smooth surrogate, 예: 시그모이드) 로 대체하여 경사 하강법 (Gradient Descent) 으로 최적화할 수 있게 했습니다.

4. 실험 결과 (Results)

다양한 합성 데이터 및 실데이터 (Households, Communities and Crime, Medical Insurance 등) 를 통해 MOPI 를 평가했습니다.

• 다차원 레이블 (Multi-dimensional Labels):
  • 타원체 (Ellipsoidal) 및 박스 (Box) 형태의 예측 집합을 생성하는 실험에서, MOPI 는 기존 방법 (SCP, CC, RLCP) 대비 더 작고 효율적인 예측 집합을 생성하면서도 **최악의 경우 조건부 커버리지 (Worst-case Conditional Coverage)**가 명목 수준 (Nominal level) 에 훨씬 근접하게 유지되었습니다.
  • 특히, 레이블 공간의 차원이 증가할수록 MOPI 의 성능 우위가 두드러졌습니다.
• 민감 속성 기반 평등 커버리지 (Equalized Coverage):
  • 테스트 시점에 민감 속성 (예: 인종, 성별) 이 관찰되지 않는 시나리오에서, MOPI 는 모든 하위 집단에서 균일한 커버리지를 달성했습니다. 반면, 기존 방법들은 민감 속성 정보를 보정 단계에서 활용하지 못해 집단 간 커버리지 편차가 크게 발생했습니다.
• 실제 데이터 적용:
  • 주택 비용 및 범죄율 데이터셋에서 MOPI 는 소득 수준이나 인종별 하위 집단에서 더 균일하고 정확한 커버리지를 보여주었습니다.

5. 의의 및 결론 (Significance)

• 이론적 혁신: 조건부 형식적 예측을 최소 - 최대 최적화 문제로 공식화하여, 고정된 점수 함수의 한계를 넘어선 형태 적응형 (Shape-Adaptive) 예측 집합을 가능하게 했습니다.
• 실용적 가치: 고위험 의사결정 (의료 진단, 자율 주행 등) 에서 특정 하위 집단이나 민감한 속성에 대한 신뢰할 수 있는 불확실성 정량화를 제공합니다. 특히, 테스트 시 민감 정보를 사용할 수 없는 상황에서도 공정하고 정확한 예측을 보장한다는 점은 알고리즘적 공정성 분야에서 중요한 기여입니다.
• 미래 전망: 본 연구는 조건부 커버리지와 예측 집합의 효율성 (부피 최소화 등) 을 동시에 최적화하는 방향으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 MOPI를 통해 형식적 예측이 가진 조건부 유효성과 기하학적 유연성 문제를 동시에 해결하며, 특히 민감 속성이 숨겨진 상황에서도 강력한 성능을 발휘하는 새로운 패러다임을 제시합니다.