Meta-classification of one-class classification models using ranking correlation and nearest neighbor

기술 요약: 일클래스 분류(One-Class Classification) 모델의 메타 분류

문제 정의
머신러닝(ML) 기법이 다양한 영역에 널리 적용되고 있지만, ML 모델 자체에 ML을 적용하는 것은 아직 탐구되지 않은 방향으로 남아 있습니다. 구체적으로, 본 논문은 일클래스 분류(OCC) 모델을 분류하는 과제를 다룹니다. OCC는 훈련 세트가 단 하나의 클래스로만 구성되는 문제입니다. 저자들은 모든 ML 모델이 OCC 모델로 근사될 수 있다고 가정합니다(예: 이진 또는 다중 클래스 모델은 일련의 OCC 모델 집합으로 볼 수 있음). 핵심적인 어려움은 OCC 모델이 알고리즘마다 서로 다른 고유한 점수 함수(score functions)와 임계값(thresholds)을 가지고 있어 직접적인 비교가 불가능하다는 점입니다. 본 연구의 목표는 내부 파라미터가 아닌 모델의 행동(behavior)을 기반으로 이러한 모델들을 분류하는 방법을 개발하는 것입니다.

방법론
제안된 프레임워크는 OCC 모델을 분류될 데이터 포인트로 취급합니다. 방법론은 다음과 같은 세 가지 주요 단계로 진행됩니다:

1. 정상성 순위(Normality Rankings)로서의 표현:
   알고리즘 간에 변수와 척도가 다른 원시 점수 함수를 직접 비교하는 대신, 이 방법은 "정상성 순위"를 구축합니다. 별도의 "순위 세트"(독립적인 샘들의 집합)가 OCC 모델에 입력됩니다. 각 모델은 이 세트의 모든 샘플에 대해 점수를 출력합니다. 이 점수들은 각 모델에 대해 순위(orderings)로 변환됩니다. 이를 통해 모델은 순위 벡터로 변환되며, 이는 기초 알고리즘과 상관없이 공통된 표현 공간을 생성합니다.

2. 유사도 측정:
   두 OCC 모델을 비교하기 위해, 본 논문은 순위 상관관계(ranking correlation) 지표를 활용합니다. 구체적으로, 속도를 위한 **스피어먼 상관계수(Spearman correlation)**와 동점 처리(ties)를 위한 **켄달 타우 상관계수(Kendall Tau correlation)**를 사용하여 서로 다른 모델에서 생성된 정상성 순위 간의 유사도를 측정합니다.

3. 최근 이웃(Nearest Neighbor)을 통한 분류:
   분류 작업은 최근 이웃(NN) 접근 방식을 통해 수행됩니다. NN은 "게으른 학습자(lazy learner)"이므로, 훈련 단계에서는 레이블이 지정된 OCC 모델의 순위를 저장하는 과정을 거칩니다. 테스트 단계에서는 미지의 모델의 순위를 상관계수를 사용하여 저장된 훈련 순위와 비교합니다. 미지의 모델은 가장 유사한(가까운) 훈련 모델의 레이블을 할당받습니다.

주요 기여

• 최초의 ML 모델 분류 학술지 논문: 저자들은 이것이 ML 모델, 특히 OCC 모델을 명시적으로 분류하는 최초의 학술지 논문이라고 주장합니다.
• 통합 솔루션: 이 방법은 OCC 모델, 훈련에 사용된 데이터셋, 그리고 순위 자체라는 세 가지 서로 다른 엔티티를 분류할 수 있는 통합된 프레임워크를 제공합니다.
• 이론적 통찰: 본 논문은 OCC 모델을 분류하는 것이 해당 모델을 훈련시킨 데이터셋을 분류하는 것과 본질적으로 동일함을 입증합니다. 이는 OCC 모델과 그 훈련 데이터셋 사이에 일대일 대응 관계가 존재하기 때문입니다.
• 확장된 실험: 이전 컨퍼런스 버전과 달리, 본 연구에는 앙상블 모델, 데이터 불균형(정상 대 이상 비율), 하이퍼파라미터 분류에 대한 상세한 실험이 포함되어 있습니다.

실험 결과
실험에는 네 가지 기초 OCC 알고리즘(OCSVM, LOF, Isolation Forest, GMM)과 그 앙상블 모델이 사용되었으며, KDD Cup 데이터셋의 서브셋으로 훈련되었습니다.

• 데이터셋 분류: 이 방법은 "정상" 데이터와 "이상" 데이터를 훈련한 모델을 구분하는 데 100% 정확도를 달로 성했습니다. 또한 혼합 데이터로 훈련된 모델을 구분하는 데 높은 정확도(99.3~99.4%)를 기록했습니다. 특정 정상 대 이상 비율(11개 클래스)을 분류하는 작업에서는 83.6%(leave-one-out) 및 87.3%(2-fold)의 정확도를 보였습니다.
• 알고리즘 분류: 네 가지 기초 알고리즘을 구별할 때 이 방법은 100% 정확도를 달성했습니다. 그러나 앙상블 모델(15개 클래스)을 분류할 때는 정확도가 떨어져, 정상 데이터에서는 85.5%를 기록했으나 이상 데이터에서는 현저히 낮은 23.7%를 기록했습니다. 이는 앙상블 모델이 기초 학습기들보다 서로 더 유사함을 시사합니다.
• 하이퍼파라미터 분류:
  • 범주형 하이퍼파라미터: 범주형 파라미터(예: OCSVM 커널: 93.8~100%; GMM 공분산 유형: 75%)에 대해 높은 정확도를 달성했습니다.
  • 수치형 하이퍼파라미터: 수치형 파라미터(예: LOF 이웃: 2.8%; IF max features: 27.9%)에 대한 정확도는 낮았습니다. 저자들은 분류 정확도는 낮지만, 결과가 실제 값에 근접한 예측을 보이는 회귀 문제와 유사하다는 점을 언급하며, 미세한 수치 변화가 모델의 순위 행동을 급격하게 바꾸지는 않음을 시사했습니다.
• 실제 응용 사례:
  • 생체 신호: 이 방법은 심벌리스트로카디오그램(BCG) 신호에 적용되었으며, 순위 상관관계의 변화를 분석함으로써 이상 징{예: 숨 참기, 자세 변화)을 성공적으로 감지했습니다.
  • 수면 기록: 1,308명의 참가자로부터 얻은 수면 기록을 이용한 비지도 학습 환경에서, 이 방법은 개별 사용자 데이터셋을 OCC 모델로 취급하고 순위 공간에서의 아웃라이어를 탐지함으로써 "비정상적" 수면 행동을 식별했습니다.

의의 및 한계점
본 논문은 OCC 모델의 분류가 블랙박스 모델을 출력 순위로 분석하는 방법으로서 설명 가능한 AI(XAI)에 새로운 관점을 제공한다고 주장합니다. 또한 여러 샘플을 하나의 입력으로 취하는 데이터셋 분류가 샘플 단위의 전통적인 분류보다 쉬울 수 있는데, 이는 데이터셋 간의 차이가 더 크기 때문이라고 제언합니다.

그러나 저자들은 다음과 같은 한계점에 대해 겸허하게 밝히고 있습니다:

• 확장성: 순위 상관관계를 계산하는 데 드는 계산 비용(Spearman의 경우 $O(n)$, Kendall Tau의 경우 $O(n^2)$)으로 인해 대규모 데이터셋에 대한 확장성 문제가 발생합니다.
• 블랙박스 제약: 이 방법은 순위 세트를 생성하기 위해 점수 함수와 알려진 입력 형태(input shape)에 대한 접근 권한이 필요합니다. 오직 분류 출력값만 사용 가능하거나 입력 형태를 알 수 없는 실제 시나리오에서는 순위 세트를 만드는 것이 까다롭습니다.
• 향후 연구: 본 논문은 이진/다중 클래스 모델의 분류와 "제3계층(third-layer)" 모델(모델의 분류기를 분류하는 것) 개발을 향후 연구 과제로 남겨두었습니다.

결론적으로, 본 논문은 OCC 모델이 순위 상관관계와 최근 이웃을 통해 효과적으로 메타 분류될 수 있음을 보여주며, 모델, 데이터셋, 그리고 순위를 분석하기 위한 통합된 접근 방식을 제공하여 이상 탐지 및 데이터셋 특성화 분야에 대한 잠재적 응용 가능성을 제시합니다.