Trustworthy Prediction with Gaussian Process Knowledge Scores

논문 요약: 가우시안 프로세스 지식 점수 (Gaussian Process Knowledge Scores) 를 통한 신뢰할 수 있는 예측

1. 문제 제기 (Problem)

기존의 확률적 모델 (Probabilistic Models) 은 데이터 공간에서 관측치가 없는 영역에서도 예측을 수행할 수 있습니다. 그러나 이러한 예측이 이전에 본 데이터에 얼마나 잘 기반하고 있는지 (well-informed) 를 명확히 판단하기 어렵다는 근본적인 문제가 있습니다.

• 신뢰성 부족: 모델의 예측 신뢰도는 입력 공간에서 해당 위치가 훈련 데이터와 얼마나 가까운지에 따라 달라집니다. 특히 외삽 (Extrapolation) 문제나 개방형 인식 (Open-set recognition) 상황에서는 훈련 데이터 분포에서 벗어난 영역에서 모델의 예측이 무의미해질 수 있음에도 불구하고, 모델은 여전히 확신을 가지고 예측을 내놓는 경우가 많습니다.
• 기존 방법의 한계: 기존에 제안된 신뢰도 측정 방법들 (예: 컨포멀 예측, 베이지안 신뢰 구간, 거리 기반 점수 등) 은 예측 간격의 크기나 클래스 간 거리 비율 등을 사용하지만, 임의의 단위를 정의해야 하거나 클러스터 중첩에 민감하다는 등의 한계가 있습니다.

2. 방법론 (Methodology)

이 논문은 가우시안 프로세스 회귀 (GPR) 모델의 예측 신뢰도를 정량화하기 위해 **'지식 점수 (Knowledge Score)'**라는 새로운 개념을 제안합니다.

• 정의: 지식 점수 $G(x, D)$는 사전 분포 (Prior) 와 사후 분포 (Posterior) 간의 분산 감소량을 기반으로 정의됩니다.
  $$G(x, D) = \frac{\text{Var}(F(x)|x) - \text{Var}(F(x)|x, D)}{\text{Var}(F(x)|x)}$$
  여기서 $x$는 새로운 입력 위치, $D$는 훈련 데이터 집합입니다.
• 해석:
  • 점수 0: 사후 분포가 사전 분포와 거의 동일함 (데이터에 기반한 정보 부족, 예측 불확실성 높음).
  • 점수 1: 데이터 $D$를 조건으로 했을 때 예측 불확실성이 크게 감소함 (데이터에 기반한 높은 신뢰도).
  • 범위: 가우시안 프로세스의 특성상 이 점수는 자연스럽게 0 과 1 사이로 제한됩니다.
• 특징:
  • 출력 값 $y$의 정규화에 불변 (Invariant) 합니다.
  • 커널 함수 (Kernel function) 의 선택에 따라 점수 계산이 달라지며, 이는 거리 기반 (RBF) 이나 주기적 (Periodic) 커널 등 다양한 상황에 적용 가능합니다.
  • 예측을 수행하기 위해 실제 관측값 $y^*$이 필요하지 않으며, 입력 $x$와 훈련 데이터 $D$만으로 계산 가능합니다.

3. 주요 기여 및 적용 분야 (Key Contributions & Applications)

지식 점수는 모델이 "무엇을 모르는지"를 인지하게 하여, 신뢰할 수 없는 예측을 거부하거나 주의 깊게 다룰 수 있게 합니다.

1. 신뢰할 수 있는 이상치 탐지 (Trustworthy Anomaly Detection):

   • 2 단계 분류 방식 제안:
     1. 1 단계: 지식 점수 $G(x, D)$가 임계값 $\rho$보다 낮은 경우, 해당 데이터를 '알 수 없음 (Unknown)'으로 분류하여 예측을 보류합니다.
     2. 2 단계: $G(x, D) \ge \rho$인 데이터에 대해서만 이상치 여부를 판단합니다.
   • 이 방식을 통해 모델이 훈련 데이터와 거리가 먼 영역에서 발생하는 오탐지 (False Positive) 를 줄이고, 신뢰할 수 있는 영역에서의 이상치 탐지 정확도를 높입니다.

2. 외삽 및 보간 개선 (Extrapolation & Interpolation):

   • 외삽: 훈련 데이터 범위를 벗어난 미래 데이터 예측 시, 지식 점수가 낮아지는 시점을 감지하여 예측이 무의미해지는 시점을 판단할 수 있습니다.
   • 보간 (Missing Data Imputation): 결측 데이터 구간이 길어질수록 지식 점수가 급격히 하락합니다. 이를 통해 "어느 정도의 결측 구간까지 보간이 유효한가"를 객관적인 지표로 판단할 수 있습니다.

4. 실험 결과 (Results)

논문은 합성 데이터와 실제 데이터 세트를 통해 지식 점수의 유효성을 검증했습니다.

• Toy Data (이상치 탐지): $x > 1$ 영역 (훈련 데이터 범위 밖) 에서 GPR 모델의 분산이 급격히 증가하는 것을 지식 점수가 정확히 포착했습니다. 지식 점수 임계값을 적용하여 신뢰도가 낮은 데이터를 필터링한 결과, ROC 곡선에서 이상치 탐지 성능이 크게 향상되었습니다.
• Electricity Data (전기 부하 외삽): 포르투갈의 370 가구의 전력 소비 데이터를 사용하여 미래 부하를 예측했습니다. 시간이 지남에 따라 (훈련 데이터에서 멀어질수록) 지식 점수가 감소하고 예측 분산이 커지는 것을 확인했습니다. 이를 통해 몇 일 뒤의 예측은 유효하지만, 그 이후는 신뢰할 수 없음을 정량적으로 증명했습니다.
• Fetal Heart Rate (태아 심박수 결측 데이터 보간): 태아 심박수 (FHR) 기록의 결측 구간을 GPR 로 보간하는 실험에서, 결측 구간이 길어질수록 지식 점수가 하락하는 경향을 보였습니다. 이를 통해 긴 결측 구간은 보간하지 않고 제거하는 것이 더 안전하다는 결론을 도출했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능성: 지식 점수는 0 과 1 사이의 값으로, 모델이 훈련 데이터에 기반하여 얼마나 '지식'을 가지고 있는지 직관적으로 해석할 수 있습니다.
• 신뢰할 수 있는 ML (Trustworthy ML): 모델이 자신의 예측 한계를 인지하고, 불확실성이 높은 영역에서는 예측을 거부하거나 사용자에게 경고할 수 있는 체계를 제공합니다.
• 범용성: 가우시안 프로세스에 국한되지 않고, 확률적 머신러닝 모델 전반에 적용 가능한 개념으로 확장 가능성이 있습니다.

이 연구는 머신러닝 모델이 단순히 예측을 생성하는 것을 넘어, **"언제 예측을 신뢰해야 하는지"**를 스스로 판단할 수 있는 기준을 마련했다는 점에서 중요한 의의를 가집니다.