기술 요약: 다변량 시계열 이상 탐지를 위한 GDformer

1. 문제 제기

다변량 시계열 (MTS) 이상 탐지는 산업용 센서, 서버 지표 등 실제 시스템의 신뢰성 유지에 필수적입니다. 그러나 기존 딥러닝 접근법은**부분 시퀀스 격리 (subsequence isolation)**전략으로 인해 중요한 한계에 직면해 있습니다. 현재 방법론들은 일반적으로 긴 시계열을 중첩되지 않은 고립된 부분 시퀀스로 나누어 부분 시퀀스 내부의 시간적 지식을 학습합니다. 이 접근법은 다음과 같은 문제점을 겪습니다:

• 제한된 시야 (Limited Horizon): 모델이 시계열 수준의 맥락에 접근하지 못하여 전역적으로 정보 풍부한 표현을 생성하지 못합니다.
• 일관성 없는 기준: 부분 시퀀스 간의 이질성 (변동, 이상치 밀도) 으로 인해 고립된 세그먼트에서 도출된 점 단위 이상 점수는 매우 변동성이 큽니다. 이러한 점수를 연결하여 전체 시계열에 대한 통합 탐지 임계값을 설정할 경우, 종종 거짓 양성 (false positives) 과 거짓 음성 (false negatives) 이 발생합니다.
• 확장성 문제: 전역 맥락을 포착하기 위해 전체 시계열에 직접 자기 주의 (self-attention) 를 적용하면 시간 및 공간 복잡도가 $O(n^2)$가 되어 긴 시퀀스의 경우 계산적으로 실행 불가능합니다.

본 논문은 MTS 이상 탐지를비지도 학습 문제로 규정하며, 학습 중 이상 레이블에 접근하지 않고도 컴팩트하고 통합된 탐지 기준을 도출하는 것을 목표로 합니다.

2. 방법론: GDformer

저자들은**GDformer(Global Dictionary-enhanced Transformer)**를 제안했습니다. 이는 전체 시계열에 걸쳐 모든 정상 점들이 공유하는 전역 표현을 함양하도록 설계된 모델로, 부분 시퀀스 격리를 넘어섭니다.

2.1 핵심 아키텍처

GDformer 는 표준 자기 주의 메커니즘을**사전 기반 교차 주의 (Dictionary-Based Cross-Attention)**메커니즘으로 대체합니다.

• 전역 사전 (Global Dictionary): 입력 시퀀스에서 키 ($K$) 와 값 ($V$) 을 유도하는 대신 (이는 맥락을 부분 시퀀스로 제한함), GDformer 는 학습 가능한 전역 $K$ 및 $V$ 벡터를 사전에 저장합니다. 이러한 벡터는 전체 데이터셋에 걸친 정상 점들의 공유된 시간적 표현을 포착하도록 학습 중에 반복적으로 업데이트됩니다.
• 교차 주의 (Cross-Attention): 쿼리 ($Q$) 는 입력 시간 토큰에서 유도되는 반면, $K$와 $V$는 전역 사전에서 나옵니다. 주의 맵 ($M$) 은 특정 시간점과 전역 정상 표현 간의 상관관계 가중치를 반영합니다.
• 효율성: 크기 $N$ (여기서 $N \ll T$, 시퀀스 길이) 의 사전을 사용함으로써 복잡도를 $O(T^2)$에서 $O(TN)$으로 줄여 메모리 및 계산 효율성을 크게 향상시킵니다.

2.2 유사도 평가 및 프로토타입

강건한 탐지 기준을 도출하기 위해 GDformer 는**프로토타입 (Prototypes)**을 도입합니다:

• 프로토타입 학습: 정상 점과 전역 사전 간의 상관관계 가중치 분포 패턴을 포착하기 위해 $P$개의 프로토타입 집합이 도입됩니다.
• 유사도 불일치: 모델은 주어진 점의 주의 맵과 이러한 프로토타입 간의 유사도를 계산합니다.
  • 정상 점: 주의 가중치 분포가 학습된 프로토타입과 밀접하게 일치합니다.
  • 이상 점: 분포가 프로토타입과 크게 벗어납니다.
• 손실 함수: 학습 목적 함수는 재구성 손실 ($L_c$) 과 유사도 불일치 손실 ($L_s$) 을 결합합니다. 총 손실은 다음과 같이 공식화됩니다:
  $$L_{total} = L_c - \lambda L_s$$
  여기서 $L_s$는 모든 레이어에 걸친 유사도 점수를 집계합니다. 음수 부호는 모델이 정상 점과 프로토타입 간의 유사도를 최대화하도록 유도하여 컴팩트한 결정 경계를 생성합니다.

2.3 추론

추론 단계에서 점의 이상 점수는 프로토타입에 대한 음의 유사도에서 도출됩니다. 유사도가 낮은 점 (불일치가 높은 점) 은 이상치로 플래그가 지정됩니다. 전체 시계열에 걸쳐 통합 임계값이 적용되어 부분 시퀀스별 임계값이 필요 없게 됩니다.

3. 주요 기여

1. 전역 사전 강화 트랜스포머: 저자들은 사전 기반 교차 주의 메커니즘을 활용하여 모든 정상 점들이 공유하는 전역 표현을 학습하는 GDformer 를 제안했습니다. 이는 부분 시퀀스 격리의 시야 제한을 효과적으로 극복합니다.
2. 프로토타입 기반 유사도 기준: 정상 점 - 전역 상관관계 패턴을 포착하기 위한 프로토타입 도입은 정상 점과 비정상 점 간의 구별 가능한 유사도 불일치를 가능하게 하여 컴팩트하고 통합된 탐지 경계를 제공합니다.
3. 효율성 및 확장성: 이 방법은 주의 메커니즘을 시퀀스 길이와 분리함으로써 기존 트랜스포머 기반 접근법 (예: AnomalyTrans, DCdetector) 에 비해 계산 복잡성과 메모리 풋프린트를 크게 줄입니다.
4. 이전 가능성 (Transferability): 전역 사전과 프로토타입은 서로 다른 데이터셋 간에 이전 가능성을 보여주며, 도메인 간에 공유된 정상 시간 패턴이 존재함을 시사합니다.

4. 실험 결과

저자들은 GDformer 를 MSL, SMAP, SWaT, PSM, GECCO, ASD라는 6 개의 인기 있는 벤치마크 데이터셋에서 평가했습니다.

• 성능: GDformer 는 6 개 데이터셋 중 5 개에서 최고 F1 점수를 기록하고 나머지 1 개에서는 두 번째로 높은 점수를 얻어 최첨단 (SOTA) 성능을 달성했습니다. Point-Adjustment F1, Range-AUC, VUS 지표 등 여러 메트릭에서 AnomalyTrans, DCdetector, MEMTO, ModernTCN 을 포함한 강력한 베이스라인들을 능가했습니다.
• 효율성: GDformer 는 뛰어난 효율성을 보여주었습니다. AnomalyTrans 및 DCdetector 와 비교하여 각각 평균 학습 시간을 **88.8%**와 **94.7%**줄였으며, 동시에 메모리 풋프린트를 크게 낮췄습니다 (예: AnomalyTrans 의 약 16GB 대비 약 4.5GB).
• 절대 실험 (Ablation Studies):
  • 자기 주의를 사전 기반 교차 주의로 대체한 결과 F1 점수가 약 5.87% 향상되었습니다.
  • 유사도 기반 기준을 도입한 결과 (재구성 오차 단독 대비) F1 점수가 약 9.11% 향상되었습니다.
  • 유사도 손실의 다중 레이어 결합은 단일 레이어 접근법보다 더 나은 결과를 제공했습니다.
• 사례 연구: 시각화 결과, 베이스라인 (AnomalyTrans, DCdetector) 이 부분 시퀀스 이질성으로 인해 특정 점 이상을 탐지하지 못하거나 거짓 양성을 생성한 반면, GDformer 는 통합 시계열 수준 기준을 사용하여 일관되게 이상을 탐지했습니다.

5. 중요성 및 주장

본 논문은 GDformer 가 기존 딥러닝 방법의 근본적인 한계, 즉 전역적이고 시계열 수준의 지식 학습을 방해하는 고립된 부분 시퀀스에 대한 의존성을 해결한다고 주장합니다.전역 사전 강화 교차 주의로 패러다임을 전환함으로써 모델은 전체 시계열에 걸쳐 일관된통합 탐지 기준을 보장합니다.

저자들은 점 - 전역 상관관계와 학습된 프로토타입 간의 불일치에서 도출된유사도 기반 탐지 기준이 전통적인 재구성 오차나 통계적 발산 방법 (KL/JS 발산 등) 보다 더 컴팩트하고 효과적인 결정 경계를 제공한다고 강조합니다. 또한, 관찰된 전역 사전의이전 가능성은 서로 다른 도메인에서 일반화할 수 있는 시계열 이상 탐지를 위한 기반 모델 (foundation models) 구축을 위한 길을 제시합니다.

본 논문은 GDformer 가 효과적이고 효율적이며, MTS 이상 탐지를 위해 고립된 부분 시퀀스 분석보다 전역 정상 표현을 함양하는 것이 우월하다는 가설을 검증했다고 결론지었습니다.