A General Framework for Stability Assessment of Non-Deterministic Prediction Models

기술 요약: 비결정론적 예측 모델의 안정성 평가를 위한 일반적 프레임워크

문제 정의
랜덤 포레스트(Random Forests), 인공 신경망(Artificial Neural Networks), 베이지안 모델(Bayesian models)을 포함한 현대적 예측 모델들은 본질적으로 비결정론적이다. 모델 적합 과정에서의 확률적 요소(예: 부트스트랩 샘플링, 무작위 가중치 초기화, 또는 마르코프 체인 몬테카를로 샘플링)는 동일한 데이터로 반복 학습하더라도 서로 다른 모델과 예측을 생성할 수 있음을 의미한다. 이러한 변동성은 일관되지 않은 의사결정으로 이어질 수 있으나, 이러한 "예측 안정성(prediction stability)"을 정량화하는 기존의 방법들은 불충분하다.

현재의 접근 방식은 메트릭 예측에는 ICC(Intraclass Correlation Coefficient)를, 범주형 예측에는 Fleiss' $\kappa$를 사용한다. 이 방법들은 세 가지 결정적인 한계를 가진다:

1. 단일 객체에 대한 적용 불가능성: ICC와 Fleiss' $\kappa$는 분산 성분을 추정하거나 기대 일치도를 계산하기 위해 테스트 세트에 반드시 여러 개의 객체가 필요하다. 따라서 단일 객체 예측 작업(예: 미래의 GDP 또는 전염병 발생률 예측)에 대한 안정성을 정량화할 수 없다.
2. 제한된 예측 유형: 이들은 순서형(ordinal) 예측, 즉 명목형도 완전한 메트릭도 아니지만 자연스러운 순서를 가진 데이터를 처리하는 데 적합하지 않다.
3. 데이터 구조에 대한 민동성: 이러한 척도들은 테스트 데이터의 구성에 크게 영향을 받는다. Fleiss' $\kappa$는 "유병률 문제(prevalence problem)" 또는 $\kappa$ 역설에 취약하여, 예측이 일관되더라도 클래스 분포가 불균형할 경우 안정성 점수를 인위적으로 낮게 측정한다. 마찬가지로, ICC 추정치는 테스트 세트가 작거나 동질적일 때 신뢰도가 떨어진다.

방법론
저자들은 관찰된 불안정성과 기대되는 불안정성을 구분하도록 조정된 Krippendorff's $\alpha$를 기반으로 예측 안정성을 정량화하는 일반적인 프레임워크를 제안한다. 핵심적인 안정성($S$)의 정의는 다음과 같다:
$$S = 1 - \frac{D_o}{D_e}$$
여기서 $D_o$는 반복된 모델 적합 과정에서 관찰된 불일치(불안정성)이며, $D_e$는 기준 모델의 불안정성 하에서의 기대 불일치이다.

이 프레임워크는 두 가지 뚜렷한 기대 불안정성 정의를 도입하여, 서로 보완적인 두 가지 안정성 척도를 제공한다:

1. 데이터 기반 예측 안정성 ($\phi$):

   • 개념: 최대 불안정성이 훈련 데이터 내의 반응 변수 분포에 의해 제한된다고 가정한다.
   • 계산: $D_e$는 훈련 응답의 경험적 분포로부터 도출된다. 범주형 데이터의 경우 범주 비율을 사용하고, 순서형 데이터의 경우 범주 빈도에 가중치를 둔 순서 거리 함수를 사용하며, 메트릭 데이터의 경우 훈련 응답의 분산을 사용한다.
   • 적용 가능성: 모델의 예측이 관찰된 훈련 범위 내로 제한되는 경우(예: 표준 랜덤 포레스트 회귀)에 적합하다.

2. 모델 기반 예측 안정성 ($\psi$):

   • 개념: 최대 불안정성이 모델 자체가 생성할 수 있는 예측 분포에 의해 결정된다고 가정한다.
   • 계산: $D_e$는 모델의 예측 분포에 대한 경험적 근사를 통해 도출된다. 낙관적 편향을 피하기 위해 이를 위해 표본 외 예측(out-of-sample predictions, 예: 랜덤 포레스트의 Out-of-Bag 예측 또는 K-겹 교차 검증)을 사용한다.
   • 적용 가능성: 모델의 예측 행동이 원시 훈련 데이터에 비해 예측 범위를 제한하는 경우(예: 터미널 노드를 평균하는 랜덤 포레스트)에 필수적이다.

주요 기여

• 단일 객체로의 일반화: ICC 및 Fleiss' $\kappa$와 달리, 제안된 척도($\phi$ 및 $\psi$)는 객체 수준에서 정의되어 단일 테스트 객체에 대한 안정성 평가를 가능하게 한다.
• 순서형 데이터로의 확장: 순서형 거리 함수를 통합하여 순서가 있는 범주형 응답에 대한 안정성 평가를 가능하게 한다.
• 데이터 구조에 대한 강건성: 기대 불-일치를 특정 테스트 데이터 구성으로부터 분리함으로써(훈련 데이터나 모델의 동작을 기준으로 사용), 클래스 불균형 및 작은 샘플 크기에 덜 민감하게 만든다.
• 구현: 이 프레임워크는 CRAN에서 사용 가능한 R 패키지 APS(버전 1.0.1)로 구현되었다.

결과
랜덤 포레스트(학습기 수 변화 포함)와 세 가지 응답 유형(메트릭, 정수형/순서형, 범주형)을 사용한 시뮬레이션 연구 결과는 다음과 같다:

• 비선형 관계: $\phi$와 $\psi$ 모두 학습기(트리)의 수와 비선형 관계를 보이며, 이는 2-매개변수 로지스틱(2PL) 모델로 정확하게 모델링될 수 있다. 이를 통해 원하는 안정성 임계값에 도달하기 위한 최적의 트리 수를 결정할 수 있다.
• 유병률 문제: 매우 불균형한 클래스 분포를 가진 시나리오에서:
  • Fleiss' $\kappa$는 안정성을 반영하는 데 실패하여, 모든 예측이 단일 클래스로 수렴할 때 0 근처에 머물거나 정의되지 않는 경우가 많았다.
  • $\phi$와 $\psi$는 극단적인 유병률 하에서도 예측이 일관적일 때 높은 안정성(1에 근접)을 올바르게 식별하였다.
• 작은 샘플 크기: 작은 테스트 서브샘플(2~30개 객체) 테스트 시:
  • ICC는 객체가 15개 미만일 때 높은 변동성과 하향 편향을 보였다.
  • $\psi$(모델 기반)와 $\phi$(데이터 기반)는 안정적인 평균값을 유지하였으며 변동성을 크게 줄였다(예: $\psi$는 객체가 2개일 때 ICC에 비해 표준 편차를 7배 감소시킴).
• 최적화 차이: 모든 척도가 2PL 경향을 따랐으나, 서로 다른 최적 트리 수를 제안했다. 예를 들어, 유병률 시나리오에서 $\phi$는 약 3,000개의 트리를 제안한 반면, Fleiss' $\kappa$는 약 68,000개(또는 정의되지 않음)를 제안하여, 척도의 선택이 최적화 결과에 영향을 미침을 보여주었다.

의의 및 주장
본 논문은 예측 정확도에 밀려 간과되기 쉬운, 비결정론적 예측 모델의 재현성을 정량화하는 "원칙적인 접근 방식"을 제공한다고 주장한다. 저자들은 다음을 강조한다:

• 안정성 평가는 특히 전통적인 지표가 실패하는 단일 객체 예측 시나리오에서 의사결정의 신뢰성을 위해 매우 중요하다.
• 제안된 척도는 기존의 일치 계수가 겪는 "유병률 문제"와 테스트 세트 크기에 대한 민감성을 완화한다.
• 데이터 기반 안정성과 모델 기반 안정성의 구분은 연구자가 자신의 특정 모델링 맥락(내재된 데이터 변동성 대 모델 유도 변동성)에 부합하는 기준 분포를 선택할 수 있게 한다.
• 이 프레임워크는 모델 불가지론적(model-agnostic)이며 모든 비결정론적 모델에 적용 가능하지만, 시뮬레이션은 랜덤 포레스트에 집중되었다.

저자들은 비결정론적 모델을 평가할 때 정확도뿐만 아니라 결정의 일관성을 보장하기 위한 공식적인 안정성 평가가 반드시 포함되어야 한다고 결론짓는다.