기술 요약: 이상 탐지 알고리즘의 순위 산정이 생각보다 신뢰하기 어려운 이유

문제 제기

이상 탐지(Anomaly Detection, AD)는 부정 결제 탐지, 고장 예방, 네트워크 침입 탐지 등 다양한 분야에 적용되는 안전 중심의 머신러닝 도메인입니다. 고전적인 통계 방법부터 딥러닝 및 파운데이션 모델에 이르기까지 수많은 새로운 알고리즘이 제안되고 있으며, 많은 접근 방식이 최첨단(SOTA) 성능을 달라고 주장합니다. 그러나 이러한 주장들은 종-종 연구 간에 정렬되지 않은 벤치마크 설정에 의존하고 있습니다. 이러한 비교 가능성의 결여는 AD 벤치마크의 재현성과 신뢰성에 대한 심각한 우려를 낳습니다. 본 연구가 다루는 핵심 문제는 알고리즘 순위의 불안정성입니다. 즉, "최고"의 알고리즘이 견고한 발견인지, 아니면 특정 실험 설계 선택의 결과물인지에 대한 문제입니다.

방법론

알고리즘 순위의 안정성을 조사하기 위해 저자들은 다음과 같은 프레임워크를 사용하여 체계적인 분석을 수행했습니다.

• 알고리즘: 광범위한 반복 평가를 가능하게 하기 위해 대표적이고 계산적으로 가벼운 7가지 AD 알고리즘을 선정했습니다: KNN, LOF, Isolation Forest (IFOR), HBOS, PCA, CBLOL, SEAN.
• 데이터셋: 연구는 OddBench 벤치마크 제품군의 690개 데이터셋을 활용했습니다. 계산 비용(특히 거리 기반 방법의 경우)을 관리하기 위해 데이터셋은 5,000개의 무작위 샘플링 인스턴스로 제한되었습니다.
• 순위 불안정성 지표: 순위 안정성을 정량화하기 위해 새로운 지표인 $\sigma_{rank}$를 도입했습니다. 이는 다양한 벤치마크 설정에 걸친 알고리즘 순위의 평균 표준 편차로 정의됩니다:
  $$\sigma_{rank} = \text{mean}_{algo} \left( \text{std}_{setting} \left( \text{Rank}(algo, setting) \right) \right)$$
  값이 낮을수록 순위가 안정적임을 나타내며, 값이 높을수록 순위가 실험 설계에 크게 의존함을 시사합니다.
• 변동성 요인: 연구는 다른 요인을 일정하게 유지하면서 다음 네 가지 특정 요인의 영향을 격리하고 시뮬레이션했습니다:
  1. 데이터셋 선택: 데이터셋의 수와 구성 변경 (25개, 100개, 400개의 서브셋).
  2. 평가 지표: ROC-AUC와 AUCPR 비교.
  3. 하이퍼파라미터 선택: 하이퍼파라미터 구성의 무작위 샘플링.
  4. 랜덤 시드 선택: 데이터 샘플링 및 초기화를 위한 랜덤 시드 변경.

주요 결과

분석 결과, 이상 탐지의 알고리즘 순위는 매우 불안정하며 실험적 선택에 민감한 것으로 나타났습니다.

• 순위 변동성: 순위는 서로 다른 구성에 따라 크게 변합니다. 놀랍게도 연구된 7개 알고리즘 중 5개가 평가된 모든 설정의 10% 이상에서 1위를 차지했습니다. 반대로, HBOS와 CBLOF는 최고 성능의 방법으로 나타나는 경우가 드물었습니다 (HBOS는 1,016개 설정 중 단 한 번, CBLOF는 한 번도 나타나지 않음).
• "SOTA" 주장의 타당성: 결과는 특정 알고리즘이 경쟁력 있는 SOTA처럼 보이도록 벤치마크 설정을 구축하는 것이 비교적 쉽다는 것을 시사합니다. 실험에서 특정 알고리즘이 다른 모든 알고리즘보다 우수하게 보이는 구성을 찾는 데 단 8개의 무작위 설정만으로도 충분했습니다.
• 불안정성의 지배적 요인:
  • 데이터셋 선택 및 하이퍼파라미터: 이들이 순위 불확실성의 주요 동인입니다. 하이퍼파라미터의 선택은 상당한 불확실성을 유발하며, 저자들은 이것이 고전적 방법론에 대해 과소평가되어 있을 가능성이 높으며, 더 큰 하이퍼파라미터 공간을 가진 현대 딥러닝 방법론에서는 더욱 두드러질 것이라고 언급했습니다.
  • 데이터셋 수량: 데이터셋의 수를 늘리면 불안정성이 감소하지만, 그 효과는 포화 상태에 이릅니다. 연구는 전체 순위 불안정성을 신뢰할 수 있는 수준($\sigma_{rank} \approx 0.2$)으로 줄이기 위해 약 200개의 데이터셋이 필요하다고 제안합니다.
  • 부차적 요인: 랜덤 시드 선택은 미미한 영향을 미쳤으며, 일반적인 평가 지표 간의 선택(ROC-AUC vs. AUCPR)은 데이터셋 및 하이퍼파라미터 선택에 비해서는 작지만 눈에 띄는 영향을 미쳤습니다.
• 불확실성의 크기: 관찰된 불안정성($\sigma_{rank} \approx 0.34$)은 연구된 최고와 최악의 알고리즘 간의 평균 순위 차이가 1.51 위치에 불과하다는 점을 고려할 때 매우 유의미합니다. 0.34 순위의 불확실성은 전체 성능 격차의 큰 부분을 차지합니다.

의의 및 권고 사항

본 논문은 "최고"의 이상 탐지 알고리즘이라는 개념이 흔히 견고하지 않으며 벤치마크 구축 방식에 크게 의존한다는 점을 주장합니다. 따라서 벤치마크 순위의 미세한 개선은 주의해서 해석해야 합니다.

이러한 발견을 바탕으로 저자들은 향후 연구를 위한 다음과 같은 권고 사항을 제안합니다:

1. 평가 규모: 향후 벤치마크 연구는 순위 안정성을 보장하기 위해 최소 200개의 데이터셋을 활용해야 합니다.
2. 하이퍼파라미터 민감도: 벤치마크는 단일하게 수동 선택된 설정에 의존하기보다 다양한 하이퍼파라미터 구성 하에서 알고리즘을 명시적으로 평가해야 합니다.
3. 불안정성 보고: 연구는 결론의 신뢰성을 정량화하기 위해 불안정성 점수(제안된 $\sigma_{rank}$와 같은)를 포함해야 합니다.
4. 초점의 전환: 연구 커뮤니티는 벤치마크 순위의 미미한 개선에 집중하기보다, 알고리즘이 잘 작동하는 특정 조건에 대한 이해와 견고성, 재현성을 우선시해야 합니다.

저자들은 이상 탐지의 실질적인 발전은 방대한 양의 데이터셋에 걸쳐 주요한 개선이 관찰되고, 이러한 개선이 설계 선택에 관계없이 불변할 때만 가정될 수 있다고 결론짓습니다.