기술 요약: 다변량 시계열 이상 탐지를 위한 CRAFTIIF

문제 정의

다변량 시계열 이상 탐지(MTSAD)는 실제 배포를 저해하는 세 가지 근본적인 과제에 직면해 있습니다:

1. 이상 유형의 이질성 (Anomaly Type Heterogeneity): 실제 세계의 이상 현상은 네 가지 구조적으로 구별되는 형태인 점 이상(point anomalies) (고립된 스파이크), 분포 이상(distributional anomalies) (지속적인 수준 변화), 시간적 이상(temporal anomalies) (리듬/주파수 변화), 그리고 집단 이상(collective anomalies) (센서 간 상관관계 붕괴)로 나타납니다. 기존의 비지도 학습 방식들은 일반적으로 한두 가지 유형만을 목표로 하며, 네 가지 유형 모두를 동시에 평가할 때 성능이 저하됩니다.
2. 레이블의 부재 (Absence of Labels): 지도 학습 방식은 주석이 달린 데이터를 필요로 하지만, 이는 배포 시점에 확보하기 매우 어렵습니다. 정상 데이터로부터만 학습하는 완전 비지도 방식이 필요하지만, 이러한 방식들은 다양한 이상 유형을 포착하는 데 어려움을 겪는 경우가 많습니다.
3. 해석 가능성 (Interpretability): 실무자는 왜 이상이 감지되었는지(어떤 채널, 어떤 시간 척도, 어떤 이상 유형인지)를 알아야 합니다. 대부분의 딥러닝 방법론은 물리적 원인이나 특정 이상 유형과 명확히 매핑되지 않는 제한적인 해석력(예: 어텐션 가중치)만을 제공합니다. 사후 기능 중요도 점수(post-hoc feature importance scores)는 서로 다른 이상 유형의 특징들을 혼동하여 모호성을 유발할 수 있습니다.

방법론: CRAFTIIF

저자들은 데이터셋별 튜닝 없이 네 가지 유형의 이상을 동시에 탐지하도록 설계된 완전 비지도 프레임워크인 CRAFTIIF(Cross-Resolution Analytic Four-Type Interpretable Isolation Forest)를 제안합니다.

핵심 아키텍처

파이프라인은 네 단계로 구성됩니다:

1. 데이터 품질 전처리 (Data Quality Preprocessing): 신뢰도 계층 시스템(full, soft, suppressed)을 사용하여 결측치와 NaN을 처리하며, 훈련 신호의 자기상관 함수(ACF) 감쇠를 기반으로 윈도우 길이($W$)와 스트라이드($s$)를 자동 설정합니다.
2. 무작위 다중 해상도 분석 특징 추출 (Random Multiresolution Analytic Feature Extraction):
   • 웨이브릿 패밀리 (Wavelet Families): 각 이상 유형에 대한 변별력을 극대화하기 위해 네 가지 특정 웨이브릿 패밀리를 선택합니다:
     • Morlet: 시간적 이상(진동 리듬 변화)을 타겟팅합니다.
     • DOG (Mexican Hat): 점 이상(국소적 곡률/극값)을 타겟팅합니다.
     • Haar: 분포 이상(단계적 변화/수준 변화)을 타겟팅합니다.
     • Coiflet: 집단 이상(교차 척도 상관관계 구조)을 타겟팅합니다.
   • 무작위 추출 (Random Draws): 각 패밀리에 대해 $K=500$개의 무작위 추출을 생성합니다. 각 추출은 척도(로그 균등 분포), 채널 가중치 벡터(디리클레 분포), 그리고 특징 그룹(진폭, 위상, 분위수 또는 교차 척도)을 샘플링합니다.
   • 효율성: 벡터화된 FFT 기반 연속 웨이브릿 변환(CWT)을 사용하여, $K$의 값에 관계없이 계산을 세 번의 배치 연산으로 줄였습니다.
   • 집단 특징 (Collective Features): 모든 채널 쌍 사이의 쌍별 피어슨 상관계수를 집단 브랜치 특징에 추가합니다.
3. 구조화된 5개 브랜치 탐지 (Structured Five-Branch Detection):
   • 다섯 개의 독립적인 아이솔레이션 포레스트(IF)를 훈련시킵니다:
     • 네 개의 유형별 IF (Type-Specific IFs): 각 이상 유형에 대해 해당 유형에 해당하는 특징들로만 훈련됩니다 (예: Point IF는 DOG 특징만을 사용).
     • 하나의 메타-IF (Meta-IF): 네 개의 유형별 브랜치에서 발생하는 미세한 편차를 통해 복합 이상을 탐지하기 위해, 네 브랜치의 정규화된 점수 벡터를 기반으로 훈련됩니다.
   • 이 구조는 유형 간 특징 간섭을 방지하며, 특정 브랜치의 탐지가 특정 이상 유형에 직접적으로 귀속되도록 보장합니다.
4. 적응형 임계값 보정 (Adaptive Threshold Calibration):
   • 고정된 백분위 임계값 대신, CRAFTIIF는 Otsu/MAD 하이브리드 접근 방식을 사용합니다.
   • 테스트 점수 분포의 이봉성 강도($\beta$)를 계산합니다.
   • $\beta > 0.75$ (강한 이봉성)인 경우 Otsu 임계값을 사용합니다.
   • $\beta < 0.40$ (단봉성)인 경우 중앙값 절대 편차(MAD) 기반 임계값을 사용합니다.
   • 이상치가 정상 데이터보다 낮은 점수를 기록하는 "역상관(anti-correlated)" 브랜치를 자동으로 감지하여 비활성화합니다.

진단 프레임워크 (Diagnostic Framework)

논문은 방법론의 실패와 근본적인 데이터 한계를 구분하기 위한 진단 도구를 도입합니다:

• 오라클 F1 (Oracle F1): 모든 임계값을 훑어서 얻을 수 있는 최대 달성 가능 F1 점수(사후 계산).
• 탐지 한계 (Detectability Limits): $F1_{oracle} < 0.05$인 데이터셋을 식별하여, 해당 이상이 특징 공간에서 정상 데이터와 통계적으로 구별 불가능함(예: 위장 또는 플랫라인 이상)을 나타냅니다.
• 브랜치 분리 비율 (Branch Separation Ratios): 각 브랜치가 이상과 정상을 얼마나 잘 구별하는지 정량화합니다.
• 집단 귀속 (Collective Attribution): 집단 이상 탐지를 주도하는 특정 채널 쌍을 식별합니다.

주요 결과

mTSBench 벤치마크(19개 데이터셋, 272개 채널, 이상 비율 0.1%69.2%)에서 단일 설정과 튜닝 없이 평가되었습니다:

• 성능: CRAFTIIF는 19개 데이터셋 전체에서 평균 F1 = 0.228을 달성하였으며, 탐지 가능한 13개 데이터셋에서는 F1 = 0.322를 달성했습니다.
• 비교: 이전 최고 성능 모델(PCA, 0.329 VUS-PR) 및 Raw Isolation Forest를 포함한 mTSBench의 24개 방법론을 모두 능가했습니다. CRAFTIIF는 평균 VUS-PR = 0.463을 기록하며 1위를 차지했습니다.
• 절제 연구 (Ablation Study):
  • 적응형 임계값 (Adaptive Threshold): 고정 임계값 대비 평균 F1을 38% 향상시켰습니다.
  • 4개 브랜치 구조 (Four-Branch Structure): 모든 특징을 사용하는 글로벌 IF 대비 **20%**의 개선을 가져왔습니다.
  • 메타-IF (Meta-IF): 메타 브랜치를 제거했을 때보다 **23%**의 성능 향상을 보였습니다.
• 탐지 가능성 분석: 연구 결과, 19개 중 6개의 데이터셋(예: Genesis, GHL, MITDB)이 도메인 지식이나 레이블 없이는 일반적인 비지도 신호-통계 방법론이 성공할 수 없는 "근본적 탐지 한계" 범주에 속함을 밝혀냈습니다.

의의 및 주장

본 논문은 CRAFTIIF가 다음과 같은 이유로 중요하다고 주장합니다:

1. 통합 탐지: 네 가지 구조적 이상 유형을 데이터셋별 튜닝 없이 동시에 해결하는 최초의 완전 비지도 방법론입니다.
2. 내재적 해석 가능성: 사후 설명 방식과 달리, 이 아키텍처는 직접적인 귀속을 제공합니다. 만약 "Point" 브랜치가 작동한다면 그것은 고립된 스파이크이며, "Collective" 브랜치가 작동한다면 그것은 상관관계 붕해입니다. 이는 근사치가 아닌 구조적 보증입니다.
3. 진단적 엄밀성: 제안된 진단 프레임워크를 통해 임계값 보정 오류, 특징 표현의 한계, 그리고 근본적인 통계적 탐지 불가능성을 구분할 수 있습니다. 이는 일반적인 비지도 방법론으로 해결할 수 없는 데이터셋에 헛된 노력을 기울이는 것을 방지합니다.
4. 벤치마크 리더십: 단일 구성으로 포괄적인 mTSBench 벤치마크에서 최첨단(SOTA) 결과를 달림으로써, 구조화된 분석 웨이브릿 특징이 복잡한 딥러닝 방식보다 비지도 환경에서 더 뛰어날 수 있음을 입증했습니다.

저자들은 학습된 채널 혼합(learned channel mixing) 및 스트리밍 탐지(streaming detection)에 대한 향후 연구 과제를 언급하며, 다수 이상 데이터셋(학습 데이터가 오염된 경우) 및 "위장(camouflage)" 이상(결함이 정상보다 더 정상처럼 보이는 경우)에서의 성능 저하를 한계점으로 명시했습니다.