An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection

제목: 이상 탐지의 불균형 사례 하에서의 평가 지표에 대한 통찰

문제 정의
이상 탐지는 이상치가 정상 데이터에 비해 매우 드물게 나타나는 극심한 클래스 불균형을 본질적으로 특징으로 한다. 이러한 불균형은 표준 평가 지표의 해석을 복잡하게 만든다. AUROC, AUPR, F1-score, MCC(Matthews Correlation Coefficient)와 같은 지표들이 널리 사용되지만, 이들의 수치적 값은 이상 비율에 따라 서로 다른 의미를 전달한다. 단일 스칼라 점수는 모델의 행동에 관한 정보를 버리는 경우가 많으며, 동일한 점수가 다양한 정도의 불균형 하에서 판이하게 다른 분류기 행동에 대응할 수 있다. 또한, 정상 데이터로만 학습이 이루어지는 비지도 학습 환경에서는 테스트 분포가 매우 치우친 상태에서 평가가 수행되므로 성능 평가가 까다롭다. 표준 지표의 가중치 변형 버전들이 존재하지만, 평가를 운영상의 클래스 분포로부터 분리하는 것을 방지하기 위해 이상 탐지에서는 이를 피하는 경우가 많다. 결과적으로, 다양한 불균형 체계(imbalance regimes) 전반에서 이러한 표준 지표들을 어떻게 해석할 것인가에 대한 합의가 부족한 실정이다.

방법론
저자들은 네 가지 일반적인 이상 탐지 지표(AUROC, AUPR, F1, MCC)를 광범위한 클래스 불균형 비율에 걸쳐 체계적으로 분석할 것을 제안한다. 핵심적인 방법론적 기여는 참 양성률(TPR/Recall)과 참 음성률(TNR/Specificity)의 공간 상에 지표 점수를 매핑하는 시각화 프레임워크인 **메트릭 랜드스케이프(metric landscapes)**의 도입이다.

본 연구는 다음을 활용한다:

1. 데이터셋: 시계열 이상 탐지(TSAD), 일 클래스 분류(OCC), 이미지 이상 탐지(IAD)를 대표하는 다양한 벤치마크 세트. 여기에는 0.19%에서 90%까지의 이상 비율을 포함하는 UCR, WaDi, PUMP, SWaT, PSM, CIFAR-10, ViSA, MVTec이 포함된다.
2. 무효 분석(Null Analysis): 불균형 비율(99:1에서 1:99까지)에 따른 무작위 예측의 100회 실행을 계산하여 평균, 표준 편차 및 평균 양의 편차를 결정함으로써 베이스라인을 설정한다.
3. 랜드스케이프 진화(Landscape Evolution): 균형 잡힌(50:50) 설정과 불균형한(예: 5:95) 설정 간의 메트릭 랜드스케이프 차이를 시각화하여 메트릭 선호도가 어떻게 변화하는지 관찰한다.
4. 요인 분석(Factor Analysis): 세 가지 불균형 그룹(낮음, 중간, 높음)에 걸쳐 Tucker의 일치 계수와 Pearson 상관관계를 사용하여 지표 간의 잠재적 관계를 조사한다.

주요 결과

• 메트릭 안정성 및 베이스라인:
  • AUROC와 MCC는 무작위 예측 하에서 모든 불균형 비율에 대해 0.5를 중심으로 유지되지만, AUROC는 더 높은 변동성(평균 양의 편차 최대 ~0.25)을 보인다.
  • F1과 MCC는 무작위 행동 하에서 낮은 분산을 보여, 가짜로 높은 점수를 얻을 가능성이 적다.
  • AUPR 베이스라인은 이상 비율에 따라 선형적으로 변하며, 무작위 성능으로부터의 편차를 정량화하기 쉽지만, 특정 체계에서는 무시할 수 없는 상승 편차를 보인다.
• 랜드스케이프 행동:
  • AUROC는 클래스 불균형에 대해 불변한다. 즉, 비율에 관계없이 랜드스케이프 구조가 변하지 않는다.
  • AUPR과 F1은 불균형에 매우 민다. 음성 클래스가 지배적이 될수록, AUPR 랜드스케이프는 음성 클래스 성능의 영향력 감소를 반영하여 많은 영역에서 0.2~0.4만큼 크게 감소한다. F1은 이상 비율이 감소함에 따라 동일한 점수를 얻기 위해 점점 더 높은 TNR을 요구한다.
  • MCC는 극단적인 TNR 값은 안정적이지만, 중간 범위 값 주변으로 분포가 압축되는 복잡한 패턴을 보이며, 이는 심각한 불균형 하에서 평균 점수 해석을 덜 직접적으로 만든다.
• 최소 탐지 요구사항:
  • AUROC의 경우, 0.5의 점수를 얻기 위해 양성 샘플을 반드시 탐지할 필요는 없다.
  • AUPR의 경우, 균형 잡힌 데이터셋에서 높은 점수를 얻으려면 최소한의 양성 탐지 상황에서도 음성을 100% 정확하게 분류해야 한다.
  • F1의 경우, 점수를 높이려면 항상 더 많은 양성을 정확하게 분류해야 하지만, 이상 비율이 감소함에 따라 정확하게 분류된 음성에 대한 요구사항도 커진다.
  • MCC의 경우, 매우 불균형한 데이터셋(예: UCR)에서 양성을 전혀 탐지하지 못하고 음성의 약 10%만을 정확히 분류하더라도 ~0.4의 점수를 얻는 것이 가능하지만, 이는 여전히 무작위 베이스라인 미만이다.
• 메트릭 관계:
  • 중간(Medium) 불균형 체계에서 모든 지표는 유사한 로딩 프로파일과 높은 상관관계를 보이며, 이는 이들이 연관된 구조를 포착하고 있음을 시사한다.
  • 낮은(Low, 고도의 불균형) 체계에서 지표들은 더욱 상호 보완적이 된다. AUROC와 MCC는 밀접하게 연관되어 있는 반면, F1과 AUROC는 가장 낮은 일치도를 보인다.
  • 높은(High, 양성 클래스 지배) 불균형 체계에서 지표들은 더욱 탈상관화된다. 특히, AUROC와 MCC는 완전한 유사성(Tucker 일치도 0.997)을 유지하는 반면, AUPR과 AUROC는 감소된 일치도를 보인다.

의의 및 기여
본 논문은 기존의 지표들이 메트릭 값, 예측 품질, 그리고 클래스 불균형 사이의 의존성을 명시적으로 고려하는 한 여전히 유용하다고 주장한다. 주요 기여는 서로 다른 메트릭이 민감도(sensitivity)와 특이도(specificity) 사이의 서로 다른 트레이드오프를 어떻게 강조하는지, 그리고 이러한 선호도가 불균형 증가에 따라 어떻게 변화하는지를 시각화하기 위한 직관적인 프레임워크로서 메트릭 랜드스케이프를 도입한 것이다.

이 연구는 서로 다른 불균형 비율을 가진 데이터셋 간의 결과를 해석하고 비교하기 위한 실질적인 가이드를 제공한다. 본 연구는 모든 시나리오에 적용 가능한 단 하나의 "최적" 지표를 제안하는 것이 아니라, 현실적인 조건 하에서 메트릭의 행동을 이해하기 위한 참조점을 제공하는 것을 목적으로 한다. 저자들은 동일한 점수가 서로 다른 분류기 행동에 대응할 수 있음을 언급하며, 본 분석이 이러한 구분을 명확히 하는 데 도움이 된다고 밝힌다. 향후 과제로 산업 모니터링, IoT, 사이버 보안, 자율 주행과 같은 다른 도메인으로의 확장을 제시하였다.