Relevance-Aware Thresholding in Online Conformal Prediction for Time Series

기술 요약: 시계열을 위한 온라인 컨포멀 예측에서의 관련성 인지 임계값 설정 (Relevance-Aware Thresholding in Online Conformal Prediction for Time Series)

문제 정의

건강, 금융 등 민감한 도메인의 머신러닝 애플리케이션은 점점 더 강력한 불확실성 정량화를 요구하고 있습니다. 컨포멀 예측(Conformal Prediction, CP)은 분포 불변의 커버리지 보장을 제공하지만, 고전적인 공식은 데이터 교환 가능성(exchangeability) 가정을 기반으로 합니다. 이는 시계열 데이터에서 발생하는 분포 변화(distribution shifts)로 인해 자주 위배되는 가정입니다.

이를 해결하기 위해, 관측된 오차를 기반으로 예측 구간을 동적으로 업데이트하는 온라인 컨포멀 예측(Online Conformal Prediction, OCP) 방법론들이 개발되었습니다. 그러나 기존의 최첨단 OCP 방법들(PID 및 ECI와 같은)은 일반적으로 예측 성능에 대한 이진 평가(binary evaluation)에 의존합니다. 즉, 실제값이 예측 구간 안에 있는지 밖에 있는지 여부만을 따집니다. 이러한 이진 접근 방식은 실제값이 구간 외부에 있을 때의 오차 크기나, 구간 내부에 있을 때의 안전도 정도에 관한 귀중한 정보를 버리게 됩니다. 결과적으로, 이러한 방법들은 지나치게 보수적인(넓은) 예측 구간을 생성하거나, 급격한 임계값 조정을 유발하여 정보 가치가 낮은 출력을 낼 수 있습니다.

본 논문은 예측 구간의 "관련성"을 정량화하는 연속 함수를 사용하여 이진 에러 지표를 대체하는 관련성 인지 임계값 설정(Relevance-Aware Thresholding) 프레임워크를 제안합니다.

방법론

본 논문은 이진 에러 지표 대신 실제값($Y_t$)과 예측 경계 사이의 거리를 정량화하는 연속 함수인 $f_{\omega, v, \mu_t}(s_t - q_t)$를 도입합니다.

핵심 개념

단순한 지시 함수 $1\{Y_t \notin \hat{C}_t\}$ 대신, 저자들은 예측 구간의 "관련성"을 매핑하는 일련의 맞춤형 함수군 $f_{\omega, v, \mu_t}(s_t - q_t)$를 도입합니다.

• 입력: $s_t - q_t$ (여기서 $s_t$는 비정형성 점수(non-conformity score), 즉 예측과 실제값 사이의 거리이며, $q_t$는 현재 임계값임).
• 동작:
  • 실제값이 구간 외부에 멀리 떨어져 있는 경우 ($s_t - q_t \gg 0$), 함수은 1에 가까워지며 다음 단계에서 임계값을 크게 높여야 함을 신호합니다.
  • 실제값이 구간 내부에 안정적으로 위치하는 경우 ($s_t - q_t \ll 0$), 함수는 0에 가까워지며 임계값을 줄여 구간을 좁힐 수 있음을 신호합니다.
  • 실제값이 경계 근처에 있는 경우, 목표 미커버리지 수준 $\alpha$를 중심으로 부드럽게 전이됩니다.

함수 설계

제안된 함수군은 다음과 같이 정의됩니다:
$$f_{\omega,v,\mu_t}(s_t - q_t) = \sum_{i=1}^l \omega_i \cdot \sigma\left( \frac{v_i}{\mu_t} \cdot (s_t - q_t) - \ln\left(\frac{1-\alpha}{\alpha}\right) \right)$$
여기서:

• $\sigma$는 시그모이드(sigmoid) 함수입니다.
• $\mu_t$는 스케일 독립성을 보장하기 위한 동적 스케일링 인자(최근 절대 오차의 평균)입니다.
• $\omega$와 $v$는 의사결정자(Decision Makers, DM)가 도메인 전문 지식을 바탕으로 함수의 형태(예: 특정 에러 범위에 대한 플래토(plateau) 생성)를 조정할 수 있게 하는 파라미터입니다.

OCP로의 통합

저자들은 이 함수들을 두 가지 주요 OCP 알고리즘에 통합합니다:

1. PID (Proportional-Integral-Derivative): 업데이트 규칙 내의 이진 지표가 다양한 구성(전체 교체, 포화 전용, 또는 에러 항 전용)에 따라 관련성 함수로 교체됩니다.
2. ECI (Error-Correcting Inference): 함수의 그래디언트(gradient)를 포함하는 스무딩(smoothing) 항이 제안된 관련성 함수의 그래디언트를 사용하도록 수정됩니다.

이론적 분석(정리 1~3)은 포화 함수(saturation functions)와 학습률(learning rates)에 관한 특정 조건 하에서, 이러한 수정된 업데이트가 장기 커버리지 보장(유효성, validity)을 유지함을 입증합니다.

주요 기여

1. 관련성 인지 프레임워크: OCP에서 이진 에러 추적을 넘어, 실제값과 예측 경계 사이의 거리를 활용하는 일반적인 접근 방식을 도입했습니다.
2. 맞춤형 함수군: 의사결정자가 도메인 제약 조건 및 선호도에 따라 예측 에러에 대한 페널티/보상 메커니즘을 설계할 수 있도록 하는 파라미터화된 함수 세트를 제공합니다.
3. 알고리즘 개선: 유효성(커버리지)을 유지하면서도 이러한 함수들을 통합하도록 최첨단 OCP 방법(PID 및 ECI)을 수정하였으며, 이를 뒷받침하는 이론적 증명을 제시했습니다.
4. 실증적 검증: 수정된 방법들이 기존 방법들과 비교하여 커버리지 유효성을 유지하거나 개선하면서도 더 타이트한 예측 구간(개선된 효율성)을 달 Achieve 함을 입증했습니다.

실험 결과

저자들은 Amazon, Google, Microsoft 주식 가격 및 Delhi 기온 데이터를 포함한 실제 데이터셋을 통해 수정된 PID 및 ECI 방법을 평가했습니다.

• PID 결과: Amazon 데이터셋에서, 수정된 PID는 90% 커버리지를 유지하면서 평균 구간 너비를 32.42에서 29.36(AR 회귀 모델)으로 줄였습니다. Google 주식 데이터의 경우, 수정된 PID는 평균 너비를 유의미하게 감소시켰습니다 (예: AR 모델에서 43.75에서 34.96으로 감소).
• ECI 결과: 기존 ECI 방법은 저자의 실험 환경에서 목표치인 90% 커버리지를 달성하는 데 어려움을 겪었습니다(약 78-83% 달성). 반면, 수정된 ECI는 모든 데이터셋에서 목표 90% 커버리지를 성공적으로 달성했습니다. 수정된 ECI가 일부 케이스에서 기존 ECI보다 약간 더 넓은 구간을 생성하기도 했으나, 기존 방식의 좁은 구간은 언더커버리지(under-coverage) 문제로 인해 신뢰할 수 없는 것으로 간데되었습니다. 원본 ECI 논문에 보고된 결과와 직접 비교했을 때, 수정된 방법은 특히 기온 데이터셋에서 모든 지표에 걸쳐 원본보다 우수한 성능을 보이며 경쟁력 있거나 더 뛰어난 성능을 보여주었습니다.
• 안정성: 관련성 함수를 사용함으로써 임계값 조정이 더 부드러워졌으며, 이진 업데이트 방식에서 흔히 나타나는 급격한 변화를 방지했습니다.

의의 및 주장

본 논문은 OCP 방법론이 이진 에러 관점에서 관련성 기반 관점으로 전환함으로써, 커버리지 유효성이라는 필수 요구 사항을 희생하지 않으면서도 더 정보력이 높은(좁은) 예측 구간을 생성할 수 있다고 주장합니다. 이는 분포 변화가 빈번하고 의사결정자에게 강력한 불확실성 정량화가 필요한 시계열 애플리케이션에서 특히 중요합니다.

저자들은 본 연구가 민감한 애플리케이션을 위한 신뢰할 수 있는 AI(Trustworthy AI) 개발에 기여한다고 강조합니다. 관련성 함수의 파라미터화를 통해 의사결정자의 선호도를 반영할 수 있다는 점을 언급하며, 이는 통계적 보장과 실제 의사결정 요구 사이의 간극을 메워줍니다. 결론적으로, 향의 과제는 하이퍼파라미터 최적화와 스케일링 파라미터 $\mu_t$의 영향에 대한 추가적인 연구에 집중되어야 한다고 제언합니다.