기술 요약: 연산자 모델을 위한 국소 적응형 컨포멀 추론 (Locally Adaptive Conformal Inference for Operator Models)

문제 정의

연산자 모델(Operator models)은 함수 바나흐 공간 사이의 매핑($\Gamma: \mathcal{F} \to \mathcal{G}$)을 수행하는 회귀 알고리즘으로, 시공간 예측, 물리 시뮬레이션 에뮬레이션, PDE 근사 등에 널리 사용됩니다. 이러한 응용 분야에서 핵심적인 과제는 **불확실성 정량화(Uncertainty Quantification, UQ)**입니다. 스칼라 회귀와 달리, 연산자 모델은 스칼라 구간이 아닌 함수 값 형태의 예측 집합(function-valued prediction sets)을 필요로 합니다.

표준 컨포멀 예측(Conformal Prediction, CP)은 데이터의 전역적 교환 가능성(global exchangeability) 가정에 의존합니다. 그러나 기후, 에너지 수요, 날씨와 같은 실제 함수형 데이터에서는 이 가정이 빈번하게 위배됩니다(비정상성, 계절적 드리프트, 다양한 입력 구조 등). 기존의 적응형 CP 방법들은 가중치를 조절하거나 분위수를 수정하여 비정상성에 대응하지만, 대개 전역적인 점수 기하학(예: 잔차 노름)을 가정합니다. 이러한 접근 방식은 함수형 잔차에 대해 적합하지 않습니다. 왜냐 là 함수형 잔차의 불확실성은 이방성(anisotropic)이며 구조적이기 때문이며, 노름 기반 점수는 실제 잔차 변동의 형태와 일치하지 않는 구형(spherical) 예측 영역을 생성합니다.

방법론: 국소 슬라이스 컨포멀 추론 (Local Sliced Conformal Inference, LSCI)

저자들은 국소적으로 적응 가능한 함수 값 예측 집합을 생성하는 분포 무관(distribution-free) 프레임워크인 **국소 슬라이스 컨포멀 추론(LSCI)**을 제안합니다. 기존 방법들이 *분위수(quantile)*를 국소화하는 것과 달리, LSCI는 컨포멀티 점수 분포(conformity score distribution) 자체를 국소화합니다.

핵심 구성 요소

1. 국소 교환 가능성 프레임워크:
   이 방법은 잔차 프로세스가 국소적으로 교환 가능하다고 가정합니다(Campbell et al., 2019). 이는 전역적 분포가 드리프트할 수 있지만, 유사한 입력(사전 메트릭 공간 내)과 관련된 잔차들은 대략적으로 교환 가능한 분포를 공유함을 의미합니다.

2. $\Phi$-깊이 점수 ($\Phi$-Depth Scores):
   LSCI는 스칼라 노름 대신, 잔차의 중심성을 측정하기 위해 **함수형 데이터 깊이(functional data depth)**를 사용합니다. 구체적으로, 투영 기반 깊이인 $\Phi$-깊이(Mosler & Polyakova, 2012)를 사용합니다.

   • 잔차 $r$은 선형 범함수(linear functionals) 패밀리 $\Phi$(예: 무작위 가우시안 슬라이스)에 투영됩니다.
   • 깊이는 이러한 투영들에 대한 단변량 깊이(예: Tukey half-space depth)의 하한(infimum)으로 정의됩니다:
     $$D_\Phi(r | P) = \inf_{\phi \in \Phi} D(\phi(r) | \phi(P))$$
   • 이를 통해 LSCI는 잔차 클라우드의 이방성 형태에 적응할 수 있으며, 강제로 등방성(구형) 기하학을 적용하지 않습니다.

3. 국소 점수 구성:
   테스트 입력 $f_{n+1}$에 대해, LSCI는 유사도 가중치를 사용하여 테스트 특유의 경험적 잔차 분포를 구성합니다.

   • 노크오프 국소화(Knockoff Localization): 유한 샘플 보증을 유지하기 위해, 가중치는 테스트 입력 자체가 아니라 테스트 입력의 통계적 노크오프($\tilde{f}_{n+1} = f_{n+1} + \epsilon$)와 캘리브레이션 입력 사이의 거리에 기반하여 계산됩니다.
   • 특징 맵(Feature Maps): 국소화는 원시 입력 공간 또는 학습된/변환된 특징 공간(예: FPCA, Fourier modes)에서 수행되어 의미론적 유사성을 포착할 수 있습니다.
   • 슬라이스 분산 정규화: 이분산성을 처리하기 위해, 투영된 슬라이스는 깊이 계산 전 테스트 특유의 가중치를 사용하여 재스케일링됩니다.

4. 예측 집합 형성:

   • 방법은 국소 컨포멀티 점수를 계산합니다.
   • 임계값은 국소 점수들의 $k$-번째 순서 통계량에 의해 결정됩니다(여기서 $k = \lfloor \alpha(n+1) \rfloor$).
   • 예측 집합은 국소 깊이 분포의 중심 영역 내에 잔차가 존재하는 함수들의 집합으로 정의됩니다:
     $$C_\alpha(f_{n+1}) = \{ \hat{\Gamma}(f_{n+1}) + r : D_\Phi(r | \hat{P}_{n+1}) \geq q_\alpha(f_{n+1}) \}$$

5. 샘플링:
   예측 집합은 함수 공간의 암시적 부분 집합이므로, 저자들은 국소적으로 적응된 FPCA 기저를 사용하는 샘플링 알고리즘(Algorithm 1)을 사용합니다. 샘격은 가중치가 부여된 투영 좌표에 대한 역변환 샘플링을 통해 추출되며, 깊이 임계값을 벗어나는 경우 제외됩니다.

이론적 보증

본 논문은 국소 교환 가능성 하에서 **유한 샘플 유효성(finite-sample validity)**을 입증합니다.

• 커버리지 경계: 저자들은 데이터 의존적인 커버리지 갭의 상한을 도출합니다. 이 갭은 잔차의 결합 분포와 그 순열 사이의 총 변동 거리(total variation distance)에 의해 제어되며, 이는 입력 간의 사전 메트릭 거리에 의해 제한됩니다(Proposition 3.1).
• 유효성: 완전한 교환 가능성 하에서 이 방법은 정확한 한계 커버리지(marginal coverage)를 달성합니다. 국소 교환 가능성 하에서도, 잔차 프로세스가 입력 사전 메트릭에 대해 매끄럽게 변화한다면 커버리지는 명목 수준 $1-\alpha$에 근접하게 유지됩니다.

실험 결과

저자들은 합성 가우시안 프로세스 작업과 세 가지 실제 응용 분야(대기 질 모니터링(PM2.5), 에너지 수요 예측, 날씨 예측(ERA5 온도))에서 LSCI를 평가했습니다.

• 합성 작업: LSCI는 다양한 국소화 커널, 특징 맵 및 대역폭(bandwidth)에 대해 명목 커버리지에 근접한 성능을 보였습니다. 또한 하이퍼파라미터 선택에 대한 견고성을 입증했습니다.
• 베이스라인과의 비교: 표준 컨포멀 베이스라인(Conf), 컨포멀화된 통합 밴드(Supr), 그리고 딥 연산자 모델(PONet, QONet, UQNO)과 비교했을 때, LSCI는 유효한 커버리지를 유지하면서도 더 좁은 예측 집합(낮은 Interval Score 및 Band Width)을 일관되게 생성했습니다.
  • 이분산 환경에서 LSCI는 국소 분산 구조에 적응한 반면, 전역적 방법들은 과잉 커버(보수적)하거나 미달 커버(under-covered)하는 경향을 보였습니다.
• 실제 응용 분야:
  • 날씨-ERA5: LSCI는 전역적 임계값이 평균화해버리는 계절적 및 지역적 오차 구조를 포착하여, 비적응형 방법들에 비해 현저히 낮은 구간 점수(interval scores)를 기록했습니다.
  • 견고성: LSCI는 베이스라인 방법들이 실패하거나 과도한 구간 확장이 필요했던 편향된 예측 및 특정 분포 외(out-of-distribution) 노이즈 레짐에서도 탄력성을 보여주었습니다.
• 공간적 적응성: 시각화를 통해 LSCI 밴드가 국소 잔차의 이방성 및 계절성에 맞춰 변형됨을 확인하였으며, 이는 물리적 실체와 일치하는 함수 값 불확실성을 제공함을 보여줍니다.

의의 및 주장

본 논문은 LSCI가 다음과 같은 점에서 연산자 학습의 중요한 진전임을 주장합니다:

1. 격차 해소: 표준 노름 기반 점수가 이방성 때문에 실패하는 함수형 데이터에 컨포멀 추론을 성공적으로 적용했습니다.
2. 점수 수준에서의 국소화: 단순히 분위수만을 국소화하는 것이 아니라 점수 분포 자체를 국소화함으로써, LSCI는 기존의 적응형 CP 방법보다 불확실성의 기하학을 더 정확하게 모델링합니다.
3. 분포 무관 보증: 비정상적 환경에서도 국소 교환 가능성이 성립한다면, 컨포멀 추론의 엄격한 분포 무관 유한 샘플 보증을 유지합니다.
4. 실용적 유용성: LSCI는 사용자에게 전역적 신뢰성을 평가하고 불확실성이 집중된 영역을 식별할 수 있게 하는 함수 값 예측 집합을 제공하며, 이는 고도의 정밀도가 요구되는 과학 및 공학 응용 분야에서 매우 중요합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 계산 오버헤드: 테스트 시점의 국소화 및 샘플링(특히 고해 resolution 필드의 경우)은 계산 비용을 발생시키지만, 배칭(batching) 및 GPU 평가를 통해 완화할 수 있습니다.
• 암시적 집합: 예측 집합은 깊이를 통해 암시적으로 정의됩니다. 따라서 실제 적용은 몬테카를로 샘플링에 의존합니다. 실험에서는 안정적이었으나, 복잡하거나 고해상도인 필드의 경우 아티팩트(예: 과도하게 집중된 샘플)를 피하기 위해 개선된 샘플링 메커니즘이 필요할 수 있습니다.
• 매끄러움 가정: 이 방법은 조건부 분포가 매끄럽게 변화한다고 가정합니다. 급격한 변화나 체인지포인트(changepoint)가 있는 경우, 국소 커널에 의해 과도하게 매끄럽게 처리(oversmoothed)되어 해당 영역에서의 적응력이 떨어질 수 있습니다.