Multivariate Standardized Residuals for Conformal Prediction

기술 요약: 합동 예측을 위한 다변량 표준화 잔차

문제 제기
합동 예측 (Conformal prediction) 은 보장된 유한 표본 한계 마진 커버리지를 갖는 예측 집합을 구성하기 위한 모델-중립적 프레임워크를 제공한다. 그러나 중요한 한계는 특정 관측 입력에 대해 유효성이 평균적으로만 성립하는 것이 아니라, 조건부 유효성 (conditional coverage) 을 달성하는 데 어려움이 있다는 점이다. 이는 예측 불확실성이 입력 특징에 따라 변하는 이분산성 (heteroskedastic) 환경에서 특히 중요하다. 기존 접근법들은 다음과 같은 트레이드오프에 직면해 있다:

• 단변량 방법: "표준화 잔차" (국소 분산으로 오차를 정규화) 와 같은 기법은 단변량 회귀에서 조건부 커버리지를 개선하지만, 다변량 출력으로 자연스럽게 확장되지 않는다.
• 다변량 밀도 추정: 전체 조건부 밀도를 추정하는 방법은 유효한 집합을 생성할 수 있지만, 종종 샘플링을 필요로 하여 계산 비용이 많이 들며 "차원의 저주"에 시달린다.
• 고정 형태 방법: 고정 크기 또는 비적응적 집합을 생성하는 접근법은 입력 의존적 불확실성을 포착하지 못한다.
• 샘플링 기반 방법: 조건부 커버리지를 개선하기 위한 최근 전략들은 종종 동일한 입력에 대해 무작위성과 변이성을 도입하여 재현성을 훼손한다.

방법론
저자들은 표준화 잔차의 개념을 다변량 환경으로 확장하는 프레임워크를 제안한다. 핵심 아이디어는 특징 의존적 국소 공분산 행렬을 학습하여 잔차를 "화이트닝 (whiten)"함으로써 출력 상관관계를 효과적으로 분리하고 국소 분산을 표준화하는 것이다.

1. 모델링: 특징 벡터 $X$와 다변량 응답 $Y \in \mathbb{R}^k$가 주어졌을 때, 이 방법은 두 가지 함수를 학습한다:

   • 조건부 평균 $\mathbb{E}[Y|X]$를 추정하는 예측기 $f_\theta(X)$.
   • 조건부 공분산 행렬을 추정하는 공분산 추정기 $\Sigma_\varphi(X)$.
     이 함수들은 가우스 근사를 가정하여 최대 가능도 (maximum likelihood) 를 통해 공동으로 학습되거나, 기존 블랙박스 포인트 예측기 위에 적용될 수 있다.

2. 비동일성 점수 (Non-conformity Score): 이 방법은 **마할라노비스 거리 (Mahalanobis distance)**를 기반으로 한 비동일성 점수를 정의한다:
   $$S_{\text{Mah}}(X, Y) = \|\Sigma_\varphi(X)^{-1/2}(Y - f_\theta(X))\|_2$$
   이 점수는 잔차가 평균으로부터 얼마나 떨어져 있는지를 국소 공분산 구조로 스케일링하여 측정한다.

3. 합동 집합 (Conformal Sets): 결과적으로 생성된 예측 집합 $C_\alpha(X_{\text{test}})$는 $f_\theta(X_{\text{test}})$를 중심으로 하며, 그 모양과 크기는 $\Sigma_\varphi(X_{\text{test}})$와 보정 집합에서 유도된 임계값에 의해 결정되는 타원체 (ellipsoid) 이다. 이를 통해 집합은 이분산성에 적응할 수 있다.

4. 확장: 이 프레임워크는 다음과 같은 실용적 확장을 자연스럽게 지원한다:

   • 누락된 출력: 가우스 밀도를 관측된 차원으로 주변화 (marginalizing) 하고 카이제곱 누적분포함수 (Chi-squared CDF) 를 사용하여, 보정 데이터에 결측값이 있더라도 유효한 점수를 구성한다.
   • 부분적으로 공개된 출력: 테스트 시에 출력의 일부 $Y_r$이 공개되는 경우, 이 방법은 조건부 가우스 성질을 활용하여 재학습 없이 숨겨진 부분 $Y_h$에 대한 예측 집합을 정제한다.
   • 출력 변환: 출력의 선형 변환 (예: 포트폴리오 수익률) 의 경우, 기존 집합을 투영하는 것의 보수성을 피하기 위해 변환된 평균과 공분산을 사용하여 변환된 변수에 직접 합동 집합을 구성한다.

이론적 보장
본 논문은 이 방법이 점근적 조건부 커버리지를 달성하기 위한 충분 조건을 제시한다. 구체적으로, 표준화 잔차 $U = \Sigma(X)^{-1/2}(Y - f(X))$가 $X$와 독립이면, 이 방법은 점근적으로 정확한 조건부 커버리지를 제공한다. 이 조건은 타원체 분포를 포함한 광범위한 분포 클래스에 대해 성립하지만, 노이즈가 반드시 타원체일 필요는 없다. 이 독립성이 성립하지 않더라도, 이 방법은 잔차의 첫 번째와 두 번째 모멘트를 정규화함으로써 조건부 커버리지를 개선하는 것으로 입증되었다.

주요 기여

• 다변량 확장: 학습된 국소 공분산 행렬을 사용하여 다변량 회귀로 표준화 잔차를 자연스럽게 일반화함.
• 폐쇄형 효율성: 샘플링이 필요한 밀도 기반 방법과 달리, 이 접근법은 폐쇄형으로 합동 집합을 생성하여 추론 시 계산 효율성을 제공한다.
• 이론적 특성화: 표준화 잔차가 점근적 조건부 커버리지를 제공하는 분포를 특성화하는 충분 조건 제시.
• 실용적 유연성: 누락된 보정 출력 처리, 부분적 출력 공개 시 집합 정제, 그리고 출력 변환에 대한 유효 집합 구성을 가능하게 함.

실험 결과
저자들은 HPD (밀도 기반), C-PCP, L-CP, ECM (경험적 공분산), OT (최적 수송) 등을 포함하는 기준선 (baselines) 에 대해 합성 및 실제 세계 데이터셋 (예: Bias, CASP, House, rf1, scm1d, Taxi) 에서 이 방법을 평가하였다.

• 조건부 커버리지: 이 방법은 기존 다변량 기준선보다 목표 수준 (예: 90%) 에 더 가까운 조건부 커버리지를 달성하며, 특히 일부 영역에서는 과커버링을 통해 다른 영역의 언커버링을 보상하는 "마진 전용" 방법들을 능가한다.
• 집합 크기: 이 방법은 커버리지를 유지하면서 밀도 기반 방법보다 더 좁은 (부피가 작은) 합동 집합을 생성한다.
• 계산 효율성: 이 방법은 종종 비용이 많이 드는 몬테카를로 샘플링을 필요로 하는 밀도 기반 접근법 (HPD, PCP, C-PCP) 보다 훨씬 빠르다. 예를 들어, 1,000 개 지점에 대한 커버리지를 평가하는 데 걸리는 시간은 기준선들이 수백 또는 수천 초가 소요되는 것에 비해 무시할 수 있을 정도로 짧다.
• 강건성: 이 방법은 근본적인 가우스 가정이 잘못 지정되었을 때 (예: 지수 노이즈) 도 잘 수행되어, 이론적 가정을 넘어선 강건성을 시사한다.

의의 및 주장
본 논문은 이 접근법이 최소한의 가정 하에 신뢰할 수 있는 조건부 커버리지를 달성하려는 목표에 대한 "유망한 단계"라고 주장한다. 전체 조건부 밀도 추정이 필요하지 않기 때문에, 이 방법은 엄격한 마진 커버리지 보장과 조건부 커버리지의 적응성 사이의 트레이드오프를 균형 있게 조절하는 계산적으로 실행 가능하고 강건한 대안을 제공한다. 저자들은 엄격한 조건부 커버리지가 모든 분포에 대해 보장될 수는 없지만, 이 방법은 광범위한 클래스에 대해 점근적으로 이를 달성하며 실제적으로는 강건한 근사 커버리지를 제공한다고 강조한다. 결측값 처리와 부분 정보에 따른 예측 정제 능력은 데이터가 종종 불완전하거나 부분적으로 관측되는 실제 세계 시나리오로 합동 예측의 적용 범위를 더욱 확장한다.