Geometry-Aware Uncertainty Quantification via Conformal Prediction on Manifolds

기술 요약: 매니폴드 상의 기하학 인지적 불확실성 정량화 (Conformal Prediction)

문제 정의
컨포멀 예측(Conformal Prediction, CP)은 회귀 작업을 위해 유한 샘플, 분포 불변(distribution-free) 피복 보장(coverage guarantees)을 제공한다. 그러나 표준적인 CP 구성은 유클리드 출력 공간을 위해 설계되었으며, 유클리드 잔차와 좌표 기반 영역을 활용한다. 응답 변수 $Y$가 리만 매니폴드(Riemannian manifold) 상에 존재할 때(예: 지자기 방향을 위한 단위 구면 $S^2$, 단백질 각도를 위한 토러스, 또는 우주선 방향을 위한 회전 군), 이러한 표준 방식은 응답 공간의 고유한 기하학적 구조를 존중하지 못한다.

두 가지 주요 문제가 이 설정에서 발생한다:

1. 기하학적 불일치: 표준 잔차는 종종 좌표 기반 거리(예: 위도/경도)에 의존한다. 곡면 공간에서 이러한 거리는 응답 간의 고유한 차이보다는 선택된 차트(chart)에 따라 달라진다. 예를 들어, 구면에서의 고정된 너비의 좌표 직사각형은 위도에 따라 면적이 변하지만(극지방 근처에서 수축), 고정된 고유 반지름을 가진 측지선 캡(geodesic cap)은 위치에 관계없이 일정한 면적을 유지한다.
2. 이분산성(Heteroscedasticity): 예측의 난이도는 입력 공간 전체에서 일정하지 않은 경우가 많다. 지자기 예측과 같은 작업에서는 지역별로 세기 변화(secular variation)율이 크게 다를 수 있다. 고정된 너비의 예측 집합은 "쉬운" 영역은 과하게 덮고(over-cover), "어려운" 영역은 덜 덮는(under-cover) 경향이 있다. 유클리드 회귀는 국소적 난이도 추정치를 통해 잔차를 정규화함으로써 이를 해결하지만, 기존의 매니폴드 값 CP 방법들은 이 개념을 고유 기하학에 명시적으로 적응시키지 못했다.

방법론
저자들은 분할 컨포멀 예측(split-conformal prediction) 설정 내에서 고유 기하학을 국소적 적응성과 통합하는 프레임워크인 **적응형 측지선 컨포멀 예측(Adaptive Geodesic Conformal Prediction)**을 제안한다.

• 설정: 데이터는 훈련 세트($D_{tr}$), 교정 세트($D_{cal}$), 테스트 세트로 분할된다. 기저 점 예측기(base point predictor) $\hat{y}: \mathcal{X} \to \mathcal{M}$와 난이도 추정기 $\hat{\sigma}: \mathcal{X} \to \mathbb{R}^+$는 오직 $D_{tr}$만을 사용하여 훈련된다.
• 비정형성 점수(Nonconformity Scores): 이 방법은 세 가지 스코어링 전략을 비교한다:
  1. 나이브 좌표(Naive Coordinate): 구형 좌표계에서의 $L_\infty$ 거리를 사용하여 축에 정렬된 직사각형을 생성한다.
  2. 표준 측지선(Standard Geodesic): 정규화되지 않은 측지선 거리 $s_{geo}(x, y) = d_{geo}(\hat{y}(x), y)$를 사용하여, 일정한 반지름을 가진 측지선 구(geodesic balls, 즉 구면 캡)를 생성한다.
  3. 적응형 측지선(Adaptive Geodesic - 제안된 방식): 점수를 $s_{adapt}(x, y) = d_{geo}(\hat{y}(x), y) / \hat{\sigma}(x)$로 정의한다.
• 난이도 추정: 추정기 $\hat{\sigma}(x)$는 $D_{tr}$의 기저 모델의 측지선 잔차를 예측하기 위해 $D_{tr}$에 대한 5-겹 교차 검증(5-fold cross-validation)을 통해 훈련된다. 이는 유효한 컨포멀 보장을 보장하기 위해 교정 레이블(calibration labels)에 접근하지 않고 훈련된다.
• 예측 영역: 테스트 지점 $x$에 대해, 예측 집합은 $\hat{y}(x)$를 중심으로 하며, 국소적 난이도에 의해 스케일링된 컨포멀 분위수 $\hat{q}_\alpha$에 의해 반지름이 결정되는 측지선 구이다: $C(x) = B_{geo}(\hat{y}(x), \hat{q}_\alpha \cdot \hat{\sigma}(x))$. 이를 통해 영역의 크기는 어려운 영역에서는 확장되고 쉬운 영역에서는 축소되면서도 측지선 캡의 형태를 유지할 수 있다.

핵심 기여

1. 기하학 인지적 영역: 측지선 거리를 사용하여 예측 집합을 구성함으로써, 영역(예: 구면 캡)이 매니폴드의 고유 메트릭(metric)과 일치하는 면적을 갖도록 보장하며, 위치에 무관한 면적을 유지하고 위치에 따른 왜곡을 방지한다.
2. 국소 적응형 교정: 적절한 훈련 데이터만을 사용하여 훈련된 공변량 의존적 난이도 추정치로 잔차를 스케일링함으로써, 교정 레이벨을 모델 피팅에 사용하지 않고도 지역적 예측 난이도에 따라 영역 크기를 적응시킨다.
3. 실증적 검증: 이 방법은 합성 구체 데이터와 실제 IGRF-14 지자기 예측 작업에 대해 검증되었으며, 조건부 피복 균일성(conditional coverage uniformity)과 최악의 경우 피복(worst-case coverage)을 개선하는 동시에 주변 피복(marginal coverage) 보장을 유지함을 입증하였다.

실험 결과
본 논문은 두 가지 벤치마크를 통해 방법을 평가한다: 이분산 노이즈가 있는 합성 구체와 IGRF-14 지자기장 예측 작업.

• 합성 구체 ($S^2$):
  • 모든 방법이 명목 수준인 0.90 근처에서 유효한 주변 피복(marginal coverage)을 달려냈다.
  • 적응형 측지선 방법은 표준 측지선 방법 대비 조건부 피복의 표준 편차를 19% 감소시켰다.
  • 최악의 빈(worst-bin) 피복은 0.814(표준)에서 0.839(적응형)로 개선되었다.
  • 나이브 좌표 방법은 측지선 방법들과 유사한 피복을 달성하기 위해 약 26% 더 많은 면적이 필요했으며, 이는 좌표 왜곡의 비용을 강조한다.
• IGRF-14 지자기 예측:
  • 이 작업은 자연적으로 이분산적인 세기 변화(난이도가 274배까지 차이 남)를 가진 352개 위치에 대한 $S^2$ 상의 지자기 벡터 예측을 포함한다.
  • 난이도 추정기는 실제 잔차와 $r=0.516$의 피어슨 상관계수를 보였다.
  • 적응형 측지선 방법은 조건부 피복의 표준 편차를 크게 줄였다 (표준 측지선의 0.107 대비 0.031).
  • 최악의 빈 피복은 0.689(표준)에서 0.855(적응형)로 크게 증가했다.
  • 표준 측지선 방법은 자기장 진화가 가장 빠른 적도 지역에서 피복이 부족한 것으로 나타났으나, 적응형 방법은 위도에 관계없이 명목 목표치에 더 가깝게 피복을 유지했다.

의의 및 주장
본 논문은 제안된 방법이 매니폴드 값 회귀를 위한 실용적인 불확실성 정량화 솔루션을 제공한다고 주장한다. 그 의의는 두 가지 상호 보완적인 선택의 결합에 있다:

1. 적응성: $\hat{\sigma}(x)$로 스케일링함으로써 서로 다른 난이도를 가진 영역 간에 컨포멀 점수를 비교 가능하게 만든다.
2. 기하학: 측지선 캡을 사용함으로써 예측 집합의 면적이 매니폴드의 메트릭과 일치하도록 하여, 좌표 기반 접근 방식의 왜곡을 피한다.

저자들은 적응형 방법의 효과가 난이도 추정기의 품질과 상관관계가 있다고 언급한다. IGRF-14 실험에서, 실제 오차와 추정된 난이도 사이의 상관관계가 $r=0.516$이었을 때 상당한 개선이 나타났다. 만약 추정된 난이도와 실제 오차 사이의 상관관계가 약하다면(예: 0.15 미만), 표준 측지선 방법이 더 선호될 수 있다고 제안한다. 이 연구는 모든 매니폴드 회귀 문제를 해결한다고 주장하는 것이 아니라, 응답 공간이 곡면이고 예측 난이도가 공간적으로 변하는 경우를 위한 견고한 프레임워크를 제공한다. 언급된 향고 방향에는 비교환적(non-exchangeable) 데이터로의 프레임워크 확장과 방향 의존적 불확실성을 위한 이방성(anisotropic) 영역 탐구가 포함된다.