기술 요약: 분류와 재구성의 연결: 협력적 시계열 이상 탐지

1. 문제 제기

시계열 이상 탐지 (TSAD) 는 데이터 마이닝에서 중요한 작업이지만, 최근 연구들은 인기 있는 딥러닝 방법들이 미묘하고 장기간 지속되는 이상을 탐지하는 데 있어 고전적인 데이터 마이닝 기법보다 종종 성능이 낮음을 시사합니다. 본 논문은 딥러닝 기반 TSAD 의 두 가지 지배적인 패러다임인 이상 노출 (Outlier Exposure, OE) 과 마스킹 오토인코더 (Masked Autoencoders, MAE) 를 식별하고, 각각의 고유한 한계를 강조합니다:

• OE 기반 (분류) 방법의 한계:

  • 사전 지식에 대한 의존: 이러한 방법들은 사전 정의된 이상 유형을 기반으로 가짜 이상 샘플을 생성하는 데 의존합니다. 이로 인해 보지 못했거나 예상치 못한 이상 패턴에 대한 일반화가 어렵습니다.
  • 부적절한 분류 세분성: 기존 방법들은 '스텝 레벨' (긴 컨텍스트 처리에 어려움) 또는 '윈도우 레벨' (미묘한 이상이 지배적인 정상 패턴에 의해 가려짐) 중 하나에서 작동합니다.
  • 주파수 정보의 간과: 대부분의 방법은 시간 영역에서만 작동하여 주파수 영역에서 더 두드러지는 이상을 놓칩니다.

• MAE 기반 (재구성) 방법의 한계:

  • 마스킹 불일치: 표준 마스킹 전략 (무작위 또는 격자) 은 정상 영역과 이상 영역을 무차별적으로 마스킹합니다. 이로 인해 모델이 이상 패턴을 성공적으로 재구성하여 (거짓 음성 발생) 또는 과도한 마스킹으로 인해 정상 영역을 재구성하지 못해 (거짓 양성 발생) 문제가 발생할 수 있습니다.

2. 방법론: CoAD 프레임워크

저자들은 분류와 재구성을 통합하여 상호 보완적인 강점을 활용하고 각각의 약점을 완화하는 협력적 프레임워크인 CoAD를 제안합니다. 핵심 메커니즘은 분류 모듈이 재구성 모듈에 정보를 제공하는 가이드된 소프트 마스킹 (guided soft masking) 전략을 포함합니다.

2.1 협력 메커니즘

• 분류가 재구성을 안내: 분류 모듈은 확률 기반의 소프트 마스크를 생성합니다. 이진 하드 마스크 대신, 이상 확률이 높은 패치는 더 강하게 마스킹됩니다. 이는 재구성 과정에서 이상 관련 단서를 억제하여 MAE 가 정상 데이터 분포만 학습하도록 강제하고, 이상이 "재생성"되는 것을 방지합니다.
• 재구성이 분류를 안내: MAE 는 이상 영역 내에서도 정상 패턴을 재구성하여 "준-정상 참조 (quasi-normal reference)"를 제공합니다. 분류 모듈은 원래 패치와 이러한 재구성된 참조 간의 잔차 (오차) 를 활용하여 훈련 중 보지 못했던 새로운 이상을 탐지합니다.

2.2 주요 아키텍처 구성 요소

• 패치 레벨 시간 - 주파수 앙상블 분류:

  • 패칭: 입력 윈도우는 겹치지 않는 패치로 나뉩니다. 이는 스텝 레벨과 윈도우 레벨 방법의 세분성을 균형 있게 조정하여 계산 부하를 줄이면서 패치 내부 및 패치 간 컨텍스트를 포착합니다.
  • 이중 분기 앙상블: 모델은 두 개의 병렬 분기를 사용합니다:
    1. 시간 분기: GRU 인코더를 사용하여 원시 시계열 패치를 처리합니다.
    2. 주파수 분기: 단시간 푸리에 변환 (STFT) 을 적용하여 주파수 영역 패턴을 포착하여 시간 영역 전용 방법의 한계를 해결합니다.
  • 퓨전: 두 분기에서 도출된 이상 확률은 탐지된 이상을 유지하기 위해 최대 퓨전 전략을 사용하여 결합됩니다.

• 확률 기반 소프트 마스킹 MAE:

  • 분류 확률 ($A^p$) 은 학습 가능한 마스크 임베딩을 원래 패치 임베딩과 혼합하는 데 사용됩니다.
  • 공식: $E_m = A^p \cdot E_{mask} + (J_{1,N} - A^p) \cdot W_m \tilde{X}^p$.
  • 이는 하드 마스킹보다 유연하게 불확실성을 처리하면서 분류 신뢰도에 기반하여 이상 정보를 적응적으로 억제할 수 있게 합니다.

• 재구성 기반 잔차 분류:

  • 두 번째 분류 단계는 원래 입력 패치와 재구성된 패치 간의 잔차 특징을 계산합니다 ($H^p_r = \tilde{H}^p - H^p$).
  • 이러한 잔차는 보지 못한 이상을 탐지하기 위한 클래스 불변 표현으로 작용하여 일반화를 향상시킵니다.

2.3 훈련 및 추론

• 연합 훈련: 프레임워크는 분류를 위한 이진 교차 엔트로피와 재구성을 위한 평균 제곱 오차를 결합한 가중 손실 함수를 사용하여 엔드 - 투 - 엔드로 훈련됩니다.
• 연합 추론: 각 패치의 최종 이상 점수는 분류 확률과 재구성 오차의 합이며, 이동 평균을 통해 평활화됩니다.

3. 주요 기여

1. 통합 프레임워크: CoAD 는 분류 확률을 마스킹을 안내하는 데 사용하고 재구성 잔차를 분류 일반화를 강화하는 데 사용하는 분류와 재구성을 매끄럽게 통합한 최초의 프레임워크입니다.
2. 새로운 마스킹 전략: 기존 MAE 방법의 불일치 문제를 해결하는 확률 기반 소프트 마스킹을 도입하여, 이진 결정 없이 이상 영역이 재구성 과정에서 억제되도록 보장합니다.
3. 패치 레벨 시간 - 주파수 설계: 패치 레벨 세분성을 채택하고 이중 분기 시간 - 주파수 앙상블을 결합함으로써 부적절한 세분성 및 주파수 영역 정보 간과와 관련된 문제를 해결합니다.
4. 엄격한 평가: 저자들은 F1-PA 와 같은 결함이 있는 지표 대신 표준 F1, AUC-PR, Range-AUC-PR, VUS-PR 과 같은 견고한 지표를 사용하여 고품질 대규모 벤치마크 (KDD21 및 TSB-AD) 에서 CoAD 를 평가함으로써 TSAD 분야의 "진보의 착시"를 해결했습니다.

4. 실험 결과

본 논문은 KDD21 및 TSB-AD 벤치마크의 314 개 데이터셋에 걸쳐 광범위한 실험을 수행하여 CoAD 를 24 개의 최첨단 (SOTA) 방법 (17 개의 딥러닝 및 7 개의 데이터 마이닝 접근법 포함) 과 비교했습니다.

• 성능: CoAD 는 모든 평가 지표에서 모든 베이스라인을 일관되게 능가합니다. KDD21 에서 평균 F1 점수 52.82%, TSB-AD 에서 **49.13%**를 달성하여 다음으로 좋은 방법들 (예: 각각 43.27% 와 35.51% 인 KShapeAD) 을 크게 앞섰습니다.
• 일반화: 정성적 분석 및 교차 유형 실험은 딥러닝 및 데이터 마이닝 방법 모두, 심지어 인간 전문가에게도 어려운 경우를 포함하여 미묘하고 장기간 지속되며 보지 못한 이상을 탐지하는 CoAD 의 능력을 입증합니다.
• 효율성: CoAD 는 경량 (204 만 개 파라미터) 이며 기존 SOTA 방법보다 훨씬 빠릅니다. 전체 KDD21 벤치마크 (600 만 개 이상의 데이터 포인트) 를 6.89 초 내에 처리하여 추론 속도에서 대부분의 베이스라인을 수배 이상 능가합니다.

5. 중요성 및 주장

본 논문은 CoAD 가 원칙적인 아키텍처 설계와 엄격한 평가 프로토콜이 결합될 때 딥러닝이 TSAD 에서 SOTA 성능을 달성할 수 있는 잠재력을 보여준다고 주장합니다. 분류와 재구성 간의 간극을 메움으로써 CoAD 는 OE 기반 방법의 일반화 한계와 MAE 기반 방법의 마스킹 불일치를 극복합니다.

저자들은 그들의 작업이 탐지 정확도를 향상시킬 뿐만 아니라 높은 계산 효율성으로 인해 대규모 실시간 응용 프로그램에 실용적인 가치를 제공한다고 강조합니다. 이 연구는 시계열 이상 탐지 분야에서 오해의 소지가 있는 결론을 피하기 위해 고품질 데이터셋과 견고한 지표를 사용하는 것의 중요성을 강조합니다.