Multi-scale LSTM forecasting with attention-based feature fusion for anomaly detection in multivariate monitoring data

기술 요약: 이상 탐지를 위한 어텐션 기반 특징 융합을 적용한 다중 스케일 LSTM 예측

문제 정의
전력 설비, 산업 공정, 컴퓨팅 인프라를 포함한 엔지니어링 시스템은 다변량 시계열 데이터를 통해 모니터링됩니다. 이러한 시스템의 이상 징후는 장기간에 걸친 점진적인 드리프트부터 단 몇 번의 샘플링 구간 동안 지속되는 일시적인 충격에 이르기까지 매우 다양한 시간적 스케일에서 나타납니다. 기존의 탐지 방법들은 다음과 같은 두 가지 주요 한계점에 직면해 있습니다:

1. 단일 해상도 의존성: 대부분의 접근 방식은 고정된 시간 창(window)이나 단일 스케일 표현에 의존하며, 이로 인해 국소적인 스파이크, 계절적 변동, 그리고 전역적인 맥락적 편차를 동시에 구별하는 데 어려움을 겪습니다.
2. 정적 상관관계 모델링: 일부 방법론은 그래프 신경망(GNN)을 사용하지만, 이는 변수 간의 고정된 상관관계만을 포착하는 경우가 많아 시간이 흐름에 따라 발생하는 변수 간 의존성의 동적인 변화를 반영하지 못합니다.

결과적으로, 현재의 시스템들은 서로 다른 시간적 해상도에서 다르게 나타나는 이상 징후를 탐지하거나 변화하는 변수 간 상관관계를 적응적으로 반영하는 데 어려움을 겪으며, 이는 오경보 또는 미탐지로 이어집니다.

방법론: MAF-LSTM 프레임워크
본 논문은 이러한 과제를 해결하기 위해 설계된 예측 기반 이상 탐지 프레임워크인 MAF-LSTM(Multi-scale Attention-based Feature-fusion Long Short-Term Memory)을 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 다중 스케일 특징 추출:
   프레임워크는 계층적 LSTM 앙상블을 사용하여 다양한 길이($w_1, w_2, \dots, w_k$)의 입력 창을 처리하는 병렬 브랜치를 운용합니다. 짧은 창은 국소적인 변동과 급격한 전이를 포착하고, 긴 창은 장기적인 맥락적 의존성을 보존합니다. 각 브랜치는 스케일별 은닉 표현($h^{(s)}$)을 생성하며, 이들은 하나로 결합되어 통합된 특징 벡터를 형성합니다.

2. 어텐션 기반 특징 융합:
   이러한 다중 스케일 표현을 효과적으로 통합하기 위해 경량화된 스케일 레벨 어텐션 메커즘이 도입되었습니다. 이 모듈은 현재 타임 스텝에 대한 관련성에 따라 서로 다른 스케일의 은닉 표현에 가중치를 적응적으로 부여합니다. $tanh$활성화 함수를 가진 완전 연결 네트워크가 스케일 점수를 생성하며, 이 점수들은$softmax$를 통해 정규화되어 어텐션 가중치($\alpha$)를 생성합니다. 최종 융합된 표현($H_t$)은 스케일별 특징들의 가중합이며, 이를 통해 모델은 가장 정보가 풍부한 시간적 스케일을 동적으로 강조할 수 있습니다.

3. 마할라노비스 거리 기반 이상 점수 산출:
   단순히 점 단위의 오차 지표(예: MSE)에만 의존하는 방법과 달리, MAF-LSTM은 예측 잔차(residual)의 마할라노비스 거리를 사용하여 이상 점수를 계산합니다.

• 모델은 다음 타임 스텝($\hat{y}_t$)을 예측하고 잔차($r_t = |y_t - \hat{y}_t|$)를 계산합니다.
• 검증 세트(정상 작동을 나타냄)의 잔차로부터 전역 평균 벡터($\mu$)와 공분산 행렬($\Sigma$)을 추정합니다.
• 이상 점수($S_t$)는 마할라노비스 거리로 계산됩니다: $S_t = \sqrt{(r_t - \mu)^T \Sigma^{-1} (r_t - \mu)}$.
• 이 접근 방식은 변수 간의 상관 구조를 고려함으로써, 개별 값은 정상적으로 보일지라도 변수들이 예상된 공동 행동에서 벗어나는 "논리적" 이상을 탐지할 수 있게 합니다.

모델은 레이블이 지정된 이상 데이터 없이도 예측 오차를 최소화하기 위해 평균 절대 오차(MAE)를 목적 함수로 사용하여 비지도 학습 방식으로 훈련됩니다.

주요 기여
본 논문은 세 가지 주요 기여를 명시합니다:

• 다중 스케일 예측 관점: 예측 기반 이상 탐지에 있어 다중 스케일 관점을 도입하였는데, 이는 기존 연구에서 거의 탐구되지 않은 차원으로, 서로 다른 시간적 해상도에서 나타나는 이상 징후를 식별할 수 있게 합니다.
• 어텐션 강화 아키텍처: 정확도를 향상시키고 오경보 및 미탐지를 줄이는 것을 목표로, 어텐션 메커즘이 통합된 LSTM 기반 예측 프레임워크를 설계하여 다중 스케일 시간적 의존성을 포착합니다.
• 실증적 검증: 다섯 가지 실제 다변량 데이터셋(MSL, SMAP, SMD, SWaT, PSM)을 통해 프레임워크를 평가하였으며, 최신 성능의 베이스라인 모델들과 비교하여 우수한 성능을 입증하였습니다.

실험 결과
프레임워크는 우주선 텔레메트리, 서버 모니터링, 산업 제어 시스템을 아우르는 다섯 가지 벤치마크 데이터셋을 대상으로 테스트되었습니다.

• 성능: MAF-LSTM은 다섯 개 데이터셋 중 네 개(MSL, SMD, SWaT, PSM)에서 가장 높은 F1-score를 달이트했습니다. PSM 데이터셋의 경우, Isolation Forest 베이스라인보다 12.46 퍼센트 포인트 더 높은 성능을 보였습니다.
• 비교: 이 방법은 테스트된 데이터셋 전체에서 가장 우수한 성능을 보인 베이스라인(OmniAnomaly) 대비 평균 2.52%의 F1-score 향상을 달성했습니다.
• 소거 연구(Ablation Study): 특정 구성 요소를 제거했을 때의 실험을 통해 그 필요성을 확인했습니다:
  • 다중 스케일 모듈을 단일 스케일 모델로 교체했을 때 F1-score가 4.44% 감소했습니다.
  • 어텐션 메커즘을 동일 가중치 방식으로 교체했을 때 F1-score가 4.12% 감소했습니다.
  • 마할라노비스 거리를 유클리드 거리로 교체했을 때(MSL 기준) F1-score가 90.93%에서 74.79%로 크게 하락하여, 잔차의 상관 구조를 모델링하는 것의 중요성을 입증했습니다.

의의 및 한계점
논문은 MAF-LSTM이 시간적 다양성과 동적 특징 가중치, 그리고 상관관계 인지형 점수 산출을 결합함으로써 다중 스케일 이상 탐지의 격차를 효과적으로 메운다고 주장합니다. 저자들은 특히 마할라노비스 점수 산출 구성 요소가 매우 중요하다고 언급하며, 잔차의 상관 구조를 모델링하는 것이 시간적 표현 자체만큼이나 중요함을 시사합니다.

그러나 저자들은 현재 범위에 대해 다음과 같이 겸허한 입장을 유지합니다:

• 데이터 범위: 전력 설비 모니터링을 동기로 삼았으나, 검증은 다른 도메인(우주, IT, 수처리)의 공개 벤치마크 데이터셋으로만 수행되었습니다. 실제 운용 중인 전력 설비 데이터에 대한 검증은 진행 중인 작업으로 언급되었습니다.
• 고정된 파라미터: 다중 브랜치를 위한 창 길이는 모든 데이터셋에 대해 고정되었습니다. 저자들은 샘플링 속도와 주요 주기에 따라 적응적인 스케일 선택을 적용한다면 성능을 더욱 개선할 수 있을 것이라고 제안합니다.
• 정적 공분산: 마할라노비스 점수 산출을 위한 공분산 행렬은 훈련 잔차로부터 추정되며 온라인으로 업데이트되지 않습니다. 이는 장비의 동작이 점진적으로 변하는 매우 긴 운영 기간 동안의 강건성을 제한할 수 있습니다.
• SMAP 성능: 프레임워크가 SMAP 데이터셋에서 최고 성능을 달성하지 못했는데, 이는 다중 스케일 예측의 이점이 데이터 내 이상치의 특정 시간적 범위에 따라 달라질 수 있음을 나타냅니다.

향후 연구는 적응형 스케일 선택 메커니즘을 탐색하고 프레임워크를 실시간 스트리밍 환경으로 확장하는 방향으로 진행될 예정입니다.