Detecting the Undetectable: Enhancing Unsupervised time series Anomaly Detection via Active Learning

기술 요약: 탐지 불가능한 것의 탐지

문제 정의
대규모 산업 응용 분야에서 시계열 이상 탐지는 장비 고장, 사이버 공격 및 금융 리스크를 식별하는 데 매우 중요합니다. 그러나 심각한 병목 현상이 존재합니다: 고품질의 레이블이 지정된 데이터를 확보하는 것은 비용이 매우 많이 들고 시간이 오래 걸리므로 비지도 학습(unsupervised learning)의 사용이 필수적입니다. VAE나 트랜스포머와 같은 재구성 기반 접근 방식(reconstruction-based approaches)을 사용하는 비지도 딥러닝 모델들이 발전해 왔음에도 불구하고, 이들은 근본적인 한계에 직면해 있습니다. 구체적으로, 이들은 "노이즈가 섞인 정상(noisy normal)" 샘플(이상치로 오분류된 양호한 변동)과 "미세한 이상치(subtle anomalies)"(정상 패턴과 매우 유사한 편차)를 구분하는 데 어려움을 겪습니다. 이러한 모호함은 높은 허위 양성(false positive) 및 허위 음성(false negative) 비율로 이어지며, 순수 비지도 방식이 극복할 수 없는 성능의 상한선을 만듭니다. 이는 의미론적 근거(semantic grounding)의 부재 때문입니다.

방법론
저자들은 비지도 재구성 기반 모델의 성능을 반복적으로 향상시키기 위해 **능동 학습(Active Learning)**을 통합하는 새로운 프레임워크를 제안합니다. 의사 레이블링(pseudo-labeling)이나 지도 사전 학습(supervised pre-training)에 의존하는 기존의 하이브리드 방식과 달리, 이 프레임워크는 가장 정보가 많은 샘플에 대해 오라클(oracle)로부터 실제 정답 레이블을 선택적으로 질의하고, 이를 통해 특화된 피드백 루프를 통해 모델을 정교화함으로써 작동합니다.

이 프레임워크는 세 가지 주요 단계로 구성됩니다:

1. 비지도 사전 학습(Unsupervised Pretraining): 백본 모델(예: LSTM-VAE, Transformer)을 정상 시계열 데이터에 대해 초기 학습시켜 재구성 오차(reconstruction error)를 최소화함으로써 시간적 패턴을 학습합니다.
2. 하이브리드 쿼리 샘플링(Hybrid Query Sampling): 레이블이 없는 풀(pool)로부터, 프레임워크는 다음과 같은 이중 전략을 사용하여 정보가 풍부한 샘플을 선택합니다:
   • Top-k 샘플링 ($S_1$): 노이즈가 섞인 정상 데이터(허위 양성)와 확신도가 높은 이상치를 모두 포착하기 위해 이상 점수(anomaly scores)가 가장 높은 윈도우를 선택합니다.
   • 구간 무작위 샘플링($S_2$): 정렬된 이상 점수를 구간(intervals)으로 나누고 각 구간에서 무작위로 샘플링하여, 그렇지 않으면 놓칠 수 있는 미세하고 낮은 점수의 이상치들이 포함되도록 보장합니다.
3. 마스크 재구성 피드백(Masked Reconstruction Feedback): 오라클에 의해 레이블이 지정된 선택된 쿼리들은 마스크된 시계열 재구성(Masked Time-Series Reconstruction) 프리텍스트 태스크(pretext task)를 통해 모델을 정교화하는 데 사용됩니다. 입력의 임의의 세그먼트가 마스킹되며, 모델은 이를 재구성해야 합니다. 결정적으로, 학습 목표는 **미니맥스 전략(Minimax Strategy)**을 채택합니다:
   • 최소화(Minimize): 정상 쿼리에 대한 재구성 손실을 최소화하여 정확한 패턴 학습을 강화합니다.
   • 최대화(Maximize): 이상 쿼리에 대한 재구성 손실을 최대화하여 모델이 편차를 인식하고 벌칙을 부여하도록 강제합니다.
     이 과정은 사전 정의된 쿼리 예산에 도달할 때까지 반복됩니다.

주요 기여
본 논문은 세 가지 핵심 기여를 식별합니다:

• 노이즈 및 이상 패턴 추출: 이 프레임워크는 "노이즈가 섞인 정상" 및 "정상에 근접한 이상" 샘플을 명시적으로 타겟팅하는 피드백 메커니즘을 도입합니다. 의사 레이블이 아닌 오라클 검증 레이블을 사용함으로써, 기존 능동 학습 방법에서 흔히 발생하는 오류 전파를 방지합니다.
• 프리텍스트 태스크를 통한 시간적 재구성: 마스크된 재구성 태스크의 통합은 모델이 단순히 잠재 공간(latent space)에서의 상대적 거리를 학습하는 것을 넘어, 도전적인 시퀀스 내의 깊은 시간적 의존성과 복잡한 역학을 학습하도록 강제합니다.
• 모델 불가지론적(Model-Agnostic) 프레임워크: 이 접근 방식은 아키텍처에 구애받지 않으며, 백본의 구조적 변경 없이 기존의 딥 비지도 재구성 모델에 원활하게 통합되도록 설계되었습니다.

실험 결과
프레임워크는 네 가지 다변량 시계열 데이터셋(SWaT, PSM, Gecco, Swan)을 포함한 28개의 테스트 케이스와 일곱 가지 서로 다른 비지도 백본 모델(LSTM-VAE, USAD, OmniAnomaly, Transformer, Anomaly Transformer, VTT 변형 모델 포함)에 대해 평가되었습니다.

• 성능 향상: 제안된 방법은 원래의 비지도 모델에 비해 평균 12.39%의 AUC 개선을 보여주었습니다.
• 백본 민감도: Transformer 백본이 가장 큰 폭의 개선을 보였으며, 평균 3.95%의 AUC 증가를 달성하고 12개 평가 시나리오 중 11개에서 상위 순위를 차지했습니다. Anomaly Transformer(AT) 또한 상당한 이득(F1에서 49.16%, AUC에서 57.11%)을 얻었습니다.
• 절제 연구(Ablation Studies): 단일 구성 요소(Minimax 손실, Top-k 샘플링, 구간 샘플링 또는 마스킹)를 제거하면 성능 저하가 발생하여, 시너지 설계의 필요성을 확인했습니다.
• 효율성: 프레임워크는 레이블이 지정되지 않은 윈도우의 단 **1%에서 14%**만을 레이블링함으로써 최소한의 주석 작업으로 상당한 성능 향상을 달왔습니다.
• 한계점: 이 방법은 PSM 데이터셋에서 미미한 이득을 보였는데, 저자들은 이를 능동 학습 쿼리 전략의 내재된 "희귀 이상치" 가정을 위반하는 PSM 데이터셋의 높은 이상치 비율(31%) 때문이라고 설명합니다.

의의 및 주장
본 논문은 해당 프레임워크가 완전 지도 학습과 비지도 학습 사이의 실질적인 절충안을 제공하며, 특히 산업 환경에서의 미세하고 노이즈가 섞인 이상치의 "탐지 불가능한" 특성을 해결한다고 주장합니다. 견고한 피드백 메커니즘을 통해 최소한의 인간 전문성을 전략적으로 통합함으로써, 이 방법은 비지도 학습의 일반성과 지도 학습의 정밀도 사이의 간극을 메웁니다. 저자들은 이 접근 방식이 기존의 재구성 기반 시스템에 쉽게 통합될 수 있으며, 전수 레이블링이나 기본 모델의 복잡한 구조적 변경 없이도 노이즈가 섞인 정상 패턴과 실제 이상치를 구분하는 능력을 크게 향상시킨다고 단언합니다.