Scalable Temporal Anomaly Causality Discovery in Large Systems: Achieving Computational Efficiency with Binary Anomaly Flag Data

기술 요약: 대규모 시스템에서의 확장 가능한 시계열 이상 징후 인과 관계 발견

문제 정의
CERN의 컴팩트 뮤온 솔레노이드(CMS) 실험과 같은 대규모 산업 및 과학 모니터링 시스템에서, 결함 진단을 위해서는 이상 징후의 근본 원인을 식별하는 것이 필요합니다. 이상 탐지(AD) 시스템은 결함을 포착하는 데 효과적이지만, 여러 서브시스템에 걸친 변수 간의 인과 관계를 결정하는 것은 매우 어렵습니다. 기존의 그래픽 인과 모델(GCM) 학습 방법, 특히 PCMCI(Peter-Clark Momentary Conditional Independence)와 같이 시계열 데이터에 설계된 방법들은 대규모 데이터셋에 적용할 때 상당한 계산적 부담을 안게 됩니다. 더욱이, 현대의 모니터링 시스템은 종종 이진(binary) 이상 플래그(정상은 0, 경보는 1) 형태의 데이터를 생성합니다. 이러한 이진 데이터셋은 다음과 같은 독특한 과제를 제기합니다:

1. 데이터 희소성 및 다중공선성: 이상 현상은 드문 사건이므로, 긴 시간 동안 균일한 상태(0)가 지속됩니다. 이러한 희소성은 변수들이 실제 인과 관계가 아닌 단순히 긴 균일 구간 때문에 매우 높은 상관관계를 가진 것처럼 보이게 만드는 다중공선성을 유발하며, 이는 조건부 독립(CI) 테스트의 정확도를 저하시킵니다.
2. 계산 불가능성: 변수의 수와 샘플 크기가 증가함에 따라 인과 그래프를 학습하는 계산 비용이 급격히 증가하여, 대규모 시스템에 실시간으로 적용하는 것이 불가능해집니다.
3. 이진 데이터 특성: 표준 CI 테스트는 0에서 1로의 전이(이상 발생)의 유의성을 구분하는 대신, 0의 연관성에 집중함으로써 허위 인과 추론을 초래할 수 있습니다.

방법론: AnomalyCD
저자들은 이진 이상 플래그 데이터로부터 시계열 GCM을 생성하기 위해 설계된 확장 가능한 프레임워크인 AnomalyCD를 제안합니다. 이 접근 방식은 온라인 이상 탐지 모듈과 이진 플래그 데이터의 특정 특성을 해결하는 특화된 인과 발견 파이프라인을 통합합니다.

1. 온라인 이상 탐지 (AD):

   • 시스템은 사전 학습된 모델이 커버하지 못하는 변수들에 대한 이진 이상 플래그를 생성하기 위해 비지도 학습 기반의 앙상블 이상 탐지 알고리즘을 채택합니다.
   • 시계열 데이터를 추세(trend), 계절성(seasonal), 잔차(residual) 성분으로 분해합니다.
   • 다음 세 가지 특정 탐지기를 비트 단위 합집합(bitwise union)을 통해 결합합니다:
     • 시계열 과도 상태 ($\theta$): 잔차에 대한 슬라이딩 z-score를 사용하여 갑작스러운 이상치를 탐지합니다.
     • 시계열 추세 ($\iota$): 추세 성분에 대한 누적 합(cumulative sum) 알고리즘을 사용하여 점진적인 드리프트를 탐지합니다.
     • 스펙트럼 ($\phi$): 스펙트럼 잔차(Spectral Residual, SR) 돌출 탐지를 사용하여 주파수 또는 데이터 속도의 변화를 식별합니다.

2. 이상 징후 인식 인과 발견 (Anomaly-Aware Causal Discovery):
   AnomalyCD의 핵심은 네 가지 주요 전략을 통해 표준 PCMCI 알고리즘을 수정하는 것입니다:

   • 이상 징후 인식 CI 테스트 (ANAC): 저자들은 표준 테스트 대신, 이상 발생(0 $\to$ 1 전이)에 해당하는 양(+)의 연관성에 집중하는 테스트를 제안합니다. 이는 잔차에 대한 부분 상관관계와 양의 피어슨 상관관계를 활용하며, 균일한 0 상태에 의해 유도되는 허위 연관성을 필터링하기 위해 양의 상관계수가 아닌 링크를 명시적으로 제외합니다.
   • 희소 데이터 처리 (SDH): 샘플 크기 $n$과 계산 부하를 줄이기 위해, 알고리즘은 균일한 이상 상태의 긴 구간을 압축합니다. 시간 지연(time-lag) 인과 관계를 보존하면서 중복된 샘플을 제거하기 위해 균일 구간의 첫 $l_m$ 인덱스만을 유지하고 나머지 데이터를 버림으로써, 전이 정보를 손실하지 않고 데이터 크기를 크게 줄입니다.
   • 희소 링크 처리 (SLH): 전체 인과 탐색을 실행하기 전에, 알고리즘은 초기 탐색 공간(사전 링크 가정)을 압축합니다. 자기 지연(self-lags)을 제외하고, 임계값 이상의 이상 플래그의 시간적 동시 발생을 보이지 않는 변수 쌍을 필터링하여 필요한 조건부 테스트의 수를 줄입니다.
   • 에지 프루닝 및 조정: PCMCI에 의해 생성된 허위 에지(다중 시간 지연, 양방향 또는 순환 링크)를 제거하는 후처리 단계입니다. 가장 높은 가중치나 가장 빠른 시간 지연을 가진 링크를 유지합니다. 시간 지연 $t=0$에서의 양방향 에지의 경우, 상관관계 기반 테스트가 실패할 때 방향성을 결정하기 위해 카이제곱 검정을 사용합니다.

3. 베이지안 네트워크 (BN) 모델링:
   결과로 도출된 시계열 DAG는 확률적 인과 추론을 가능하게 하기 위해 베이지안 네트워크로 재구성됩니다. 시계열 데이터는 특정 시간 지연에 대한 노드를 생성하도록 "언롤링(unrolled)"되며, 이를 통해 BN은 관찰된 다른 센서들의 증거가 주어졌을 때 이상 발생의 조건부 확률을 쿼리할 수 있습니다.

주요 기여

• AnomalyCD 프레임워크: 이진 시계열 이상 플래그로부터 인과 그래프를 학습하기 위해 특별히 설계된 새로운 접근 방식으로, 이진 데이터의 희소성과 전이 특성을 다루는 기존 방법의 한계를 해결합니다.
• 압축 알고리즘: 데이터 크기와 잠재적 에지의 탐색 공간을 획기적으로 줄이는 SDH 및 SLH 알고리즘을 도입했습니다.
• 이상 징후 인식 테스트: 일반적인 통계적 연관성이 아닌 이상 징후 전이에 집중함으로써 정확도를 높이는 ANAC 테스트를 개발했습니다.
• 실증적 검증: 본 프레임워크는 두 가지 데이터셋을 통해 검증되었습니다:
  1. CMS HCAL RBX (Readout Box): 4개의 리드아웃 모듈에 걸친 12개의 진단 센서를 포함하는 CERN의 하드론 칼로리미터(HCAL) 실제 센서 데이터.
  2. EasyVista: 공개된 IT 인프라 모니터링 데이터셋.

결과

• 계산 효율성: CMS HCAL 데이터셋(약 400,000개 샘플)에서 표준 PCMCI는 처리 시간 문제로 인해 실패했습니다. SDH를 활용한 AnomalyCD는 데이터를 약 900개로 압축(99.8% 감소)하여, 14 MB의 메모리 사용량과 함께 9초 만에 실행을 완료했습니다. EasyVista 데이터셋에서는 처리 시간이 약 91%(약 75초에서 6.6초로) 단축되었으며, 데이터는 55% 감소했습니다.
• 정확도 개선:
  • HCAL: AnomalyCD는 희소 처리가 적용된 베이스라인 PCMCI와 비교하여 F1-score에서 26.2%의 상대적 이득을 얻었으며, 허위 양성률(FPR)을 74.9% 감소시켰습니다. 구조적 해밍 거리(SHD)는 70.6% 개선되었습니다.
  • EasyVista: 표준 PCMCI 대비 F1-score에서 20.5%의 상대적 이득과 FPR 47% 감소를 보여주었습니다.
• 인과 추론: BN 모델은 조건부 확률을 성공적으로 정량화했습니다. 예를 들어, 관련 센서(Q2-4T)에서 이상이 발생했을 때 센서 Q1T의 이상 발생 확률은 0.05에서 0.90 이상으로 증가했으며, 이는 HCAL 시스템의 물리적 회로 연결과 일치합니다.

의의 및 주장
논문은 AnomalyCD가 데이터가 주로 이진 이상 플래그 형태로 제공되는 대규모 복잡 시스템에서 근본 원인 분석을 위한 확장 가능한 솔루션을 제공한다고 주장합니다. 이상 징후 인식 테스트와 데이터 압축을 통합함으로써, 이 방법은 기존의 최첨단 방법들이 이 특정 데이터 유형에 대해 갖는 한계를 극복하고 계산 효율성과 인과적 정확도 사이의 균형을 달성합니다. 저자들은 이 도구들이 현재 CERN의 대형 강입자 충돌기(LHC)에 배치되어 칼로리미터 시스템에 대한 진단을 제공하고 있다고 밝히고 있습니다. 본 연구는 AnomalyCD가 광범한 주석 데이터가 필요한 딥러닝 모델에 대한 유연하고 비지도 방식이며 가벼운 대안을 제공한다는 점을 강조하며, 이를 통해 다양한 서브시스템에 걸친 실시간 진단 작업을 용이하게 합니다. 이 작업은 기존 방법들이 "차원의 저주"와 이진 데이터의 희소성으로 인해 어려움을 겪는 반면, AnomalyCD가 이러한 문제를 효과적으로 완화하여 물리적 시스템 연결과 일치하는 인과 그래프를 생성할 수 있음을 보여줍니다.