기술 요약: DQS – 비지도 데이터 기반 이상 탐지 접근 방식의 성능 향상을 위한 저예산 쿼리 전략

1. 문제 정의

시계열 이상 탐지 분야에서 진정한 의미의 비지도(unsupervised) 접근 방식은 문헌에서 매우 드뭅니다. 기존 방법들은 임계값(threshold) 설정이 부적절하여 탐지 성능이 크게 저하되는 문제를 겪는 경우가 많습니다. 일부 접근 방식은 비지도라고 주장하지만, 실제로는 라벨링된 데이터의 하위 집합을 보정이나 하이퍼파라미터 튜닝에 사용하는 경우가 빈번하며, 이는 실제 환경에서는 가용하기 어려운 자원입니다. 심지어 진정한 비지도 방식(예: Temporal Variational Autoencoder, TeVAE 사용)이 존재하더라도, 임계값 선택 과정은 여전히 중요한 병목 구간으로 남습니다. Correia 등[12]은 비지도 임계값 설정과 최적 임계값 사이의 상당한 성능 격차를 입증하였으며, 이는 아직 활용되지 않은 잠재력이 있음을 시사합니다.

또한, 이 분야의 기존 능동 학습(active learning) 문헌은 일반적으로 "완벽한 오라클(perfect oracle)"(100% 라벨링 정확도)을 가정하는데, 이는 인간의 실수, 피로, 그리고 특정 샘플을 라벨링하는 것의 어려움을 간과한 이상적인 가정입니다. 능동 학습을 통한 임계값 선택 시 오라클의 오라벨링(mislabeling) 비율이 이상 탐지 성능에 어떤 영향을 미치는지에 대한 연구는 부족한 실정입니다.

2. 방법론

2.1 능동 학습 프레임워크

제안된 접근 방식은 기존의 비지도 이상 탐지 파이프라인에 능동 학습을 통합합니다. 시스템은 다음 요소들이 포함된 루프로 작동합니다:

• 오라클(The Oracle): 라벨이 없는 샘플을 정상(nominal) 또는 이상(anomalous)으로 라벨링하는 도메인 전문가.
• 모델(The Model): 라벨이 없는 데이터로 학습된 비지도 이상 탐지기(구체적으로 TeVAE).
• 쿼리 전략(The Query Strategy): 쿼리 예산 $B$의 제약 조건 하에, 후보군 중 어떤 샘플을 오라클에게 보내 라벨링할지 결정하는 메커니즘.
• 피드백 전략(The Feedback Strategy): 새롭게 라벨링된 데이터를 사용하여 결정 임계값을 정교화함으로써 탐지 성능을 개선하는 과정.

2.2 이질성 기반 쿼리 전략 (DQS)

본 연구의 핵심 기여는 **이질성 기반 쿼리 전략(Dissimilarity-Based Query Strategy, DQS)**입니다. 이는 사전 파라미터화가 필요 없는 비매개변수(non-parametric) 전략으로, 쿼리되는 샘플의 다양성을 극대화하도록 설계되었습니다.

• 메커니즘: DQS는 **동적 시간 워핑(Dynamic Time Warping, DTW)**을 사용하여 서로 다른 시계열 간의 이상 점수(anomaly scores) 사이의 유사성을 평가합니다. 평균 제곱 오차(MSE)와 같은 지표와 달리, DTW는 가변 길이의 시퀀스를 처리할 수 있으며 시간적 정렬 불일치를 고려할 수 있습니다.
• 선택 로직:
  1. 초기화: 한 라운드의 첫 번째 쿼리를 위해, 후보 점수 집합($C_{as}$)에서 무작위 샘플을 선택합니다.
  2. 다양성 극대화: 라운드 내의 후속 쿼리를 위해, 알고리즘은 이미 쿼리 집합($Q_{as}$)에 포함된 샘-플 중 가장 유사한 샘플과 가장 이질적인 샘플을 식별합니다.
  3. 과정:
     • 모든 후보($C_{as}$)와 모든 쿼리 샘플($Q_{as}$) 사이의 DTW 거리를 계산합니다.
     • $Q_{as}$ 내의 어떤 샘플과도 거리가 가장 가까운(즉, "가장 유사한") 후보($o$)를 찾습니다.
     • $o$와 거리가 가장 먼(즉, "가장 이질적인") 후보($r$)를 찾습니다.
     • $r$을 $Q_{as}$로 이동시킵니다.
• 임계값 정교화: 라운드에서 예산 $B$가 모두 소진되면, 라벨링된 샘플들($Q_{as}$)을 사용하여 최적의 임계값 $\tau$를 찾기 위한 그리드 서치를 수행하며, 이는 표준 비지도 임계값($\tau_{us}$)을 대체합니다.

2.3 실험 설정

• 데이터셋: 자동차 파워트레인 역학을 나타내는 PATH 데이터셋을 사용하였습니다. 이 데이터셋은 비사소한(non-trivial) 이상치를 포함하는 다변량 시계열로 구성되어 있습니다.
• 실제 환경 시뮬레이션: 점진적인 데이터 축적을 모사하기 위해 데이터를 증가하는 시간 창(1일에서 28일까지)으로 분할하였습니다.
• 오라벨링 시뮬레이션: 강건성을 테스트하기 위해, 베르누이 분포를 기반으로 오라벨링 확률($p_m$)을 0.1, 0.2, 0.3으로 설정하여 그라운드 트루스(ground-truth) 라벨을 반전시켰습니다.
• 베이스라인(Baselines):
  • 비지도 임계값 ($\tau_{us}$): 검증 세트에서의 최대 오차.
  • 가설적 최적 임계값 ($\tau_{best}$): 테스트 세트에서 그리드 서치를 통해 발견된 최적의 임계값 (실제 상황에서는 관측 불가능).
  • 무작위 쿼리 전략 (RQS): 무작위 선택.
  • 상위 기반 쿼리 전략 (TQS): 가장 높은 이상 점수를 가진 샘플을 선택 (일부 문헌에서는 불확실성 기반으로 분류).
  • 불확실성 기반 쿼리 전략 (UQS): 현재 임계값에 가장 가까운 샘플을 선택.

3. 주요 기여

1. 새로운 쿼리 전략 (DQS): 이산 시퀀스 이상 탐지 맥락에서 샘플의 다양성을 극대화하기 위해 DTW를 활용하는 비매개변수 쿼리 전략을 도입하였습니다.
2. 오라벨링 분석: 완벽한 라벨링이 가정되는 기존 문헌의 공백을 메우기 위해, 오라클의 오라벨링 확률을 명시적으로 고려하는 새로운 테스트 방법론을 제시하였습니다.
3. 능동 학습의 통합: 모델 자체를 재학습시키는 것이 아니라, 임계값 선택을 정교화하기 위해 능동 학습을 결합하는 실용적인 프레임워크를 입증하였습니다.

4. 결과

4.1 쿼리 예산 대비 성능

• 적은 예산 ($B < 10$): DQS는 다양한 시간 분할(1~28일)에 걸쳐 RQS, TQS, UQS보다 일관되게 우수한 성능을 보였습니다. DQS는 비지도 베이스라인보다 가설적 최적 임계값($\tau_{best}$)에 훨씬 더 근접한 F1 점수를 달성했습니다.
• 큰 예산 ($B = 10$): DQS는 경쟁력을 유지하며 종종 다른 전략들을 능가하거나 대등한 성능을 보였으나, 특정 분할에서는 TQS가 강력한 성능을 보이기도 했습니다.
• 일반적 경향: 모든 쿼리 전략은 모델이 유의미한 표현을 학습할 만큼 훈련 서브셋이 커지면 비지도 임계값($\tau_{us}$)보다 우수한 성능을 보였습니다.

4.2 오라벨링의 영향

• 강건성: DQS는 적은 예산과 깨끗한 라벨 환경에서 가장 우수했지만, TQS는 오라벨링 비율이 높아질 때($p_m = 0.2, 0.3$) 더 높은 강건성을 보였습니다.
• DQS의 민감도: DQS의 성능은 TQS에 비해 오라벨링 비율이 증가함에 따라, 특히 후반부 시간 분할에서 더 눈에 띄게 저하되었습니다.
• 종합적 발견: 오라벨링에도 불구하고, 모든 능동 학습 전략은 순수 비지도 임계값($\tau_{us}$)보다 우수한 성능을 보였습니다. 30%의 오류율이 있는 상황에서도 능동 학습 기반 임계값은 비지도 베이스라인보다 더 나은 F1 점수를 산출했습니다.

5. 의의 및 주장

저자들은 본 연구가 라벨링된 데이터는 부족하지만 오라클(인간 전문가)을 통한 제한적인 쿼리가 가능한 시나리오를 위한 실용적인 해결책을 제공한다고 주장합니다. 본 연구의 의의는 다음과 같습니다:

• 저예산 효율성: DQS는 라벨링 비용이 높을 때(적은 예산) 특히 효과적이며, 다양한 샘플 선택을 통해 쿼리당 정보 이득을 극대화합니다.
• 능동 학습의 타당성: 능동 학습 기반의 임계값 설정이 불완전한 라벨링 환경에서도 비지도 임계값 설정보다 일관되게 우수함을 입증함으로써, 가능한 경우 능동 학습을 사용하는 것이 권장됨을 확인하였습니다.
• 현실적인 평가: 완벽한 오라클 가정을 넘어 오라벨링 확률을 도입함으로써, 시계열 이상 탐지에서 능동 학습 전략에 대한 더욱 현실적인 평가를 제공하였습니다.

본 논문은 단일 전략이 모든 범주를 지배하는 것은 아니지만(DQS는 저예산/깨끗한 시나리오에 탁월하고, TQS는 고오라벨링 시나리오에 탁월함), 임계값 선택을 위해 능동 학습을 통합하는 것이 순수 비지도 방식보다 더 유효하고 우월한 접근 방식임을 결론짓습니다. 향후 연구 과제로 저예산 효율성과 오라벨링에 대한 강건성 사이의 균형을 맞추는 쿼리 전략 개발과 벤치마킹 절차의 표준화를 제안하였습니다.