Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems

기술 요약: CPS 이상 탐지를 위해 필요한 것은 정상 상태를 모델링하는 것뿐이다

1. 문제 정의

본 논문은 수처리 시설 및 산업 제어 루프와 같은 사이버 물리 시스템(CPS)에서의 이상 탐지 과제를 다룹니다. 핵심적인 어려움은 CPS 결함의 본질에 있습니다. 결함은 드물고, 대표성이 없으며, 전수 조사하거나 사전에 정의할 수 없습니다. 결과적으로, 탐지는 '정상' 동작을 모델링하는 것에 의존해야 합니다.

그러나 저자들은 표준적인 접근 방식들이 CPS의 정상 동작을 잘못 규정하기 때문에 실패한다고 주장합니다. 정상 상태는 단일 통계적 분포("단일 블롭(blob)")가 아니라, 다수의 불균형하고, 곡선 형태이며, 가장자리가 얇은 운영 체제(operating regimes)들의 합집합입니다. 또한, 본 논문은 발전을 가로막는 두 가지 결정적인 장벽을 식별했습니다:

1. 평가 결함: 지배적인 지표인 포인트 조정(point-adjusted) F1 점수는 점수를 심하게 부풀려, 무작위 점수가 딥러닝 모델보다 더 높은 성능을 보이게 만듭니다. 또한, 공개 벤치마크에는 단순한 단변량 규칙으로도 탐지 가능한 '쉬운' 이상치가 포함되어 있어, 복잡한 결합 구조(joint-structure) 결함을 탐지하지 못하는 모델의 한계를 은폐합니다.
2. 모델링 결함: 전역 밀도 모델(Global density models)은 체제 구조를 과소 적합(under-fit)하며, 단일 딥 오토인코더는 드물지만 유효한 모드(mode)에서 거짓 양성(false positive)을 생성합니다. 또한, 재구성 잔차(reconstruction residuals)는 유연한 디코더가 이러한 이상치까지 충실히 재구성할 수 있기 때문에 "어려운" 결함(예: 상관관계 붕괴)에 대해 맹목적입니다.

2. 방법론: MIIM 프레임워크와 잠재 클러스터링

MIIM 가정
저자들은 MIIM(Massive, Implicit, Imbalanced Multimodality)으로 약칭되는 10가지 가정(A1–A10)을 통해 CPS 정상 데이터의 구조를 정식화합니다:

• 다중 모달리티 (A1, A2): 정상 데이터는 시스템 복잡도에 따라 기하급수적으로 증가하는 이산적 운영 체제(모드)들의 혼합체입니다.
• 유계성 및 희소성 (A3, A4): 체제는 물리적 한계에 의해 경계가 정해져 있으며, 정당한 저밀도 가장자리와 모드 사이의 얇은 "포켓(pocket)"을 가집니다.
• 불균형 (A6): 모드 점유율은 헤비 테일(Zipf) 분포를 따릅니다. 즉, 드문 모드는 운영 중에 흔히 발생하지만 종종 결함으로 오인됩니다.
• 잠재 구조 (A5, A7, A8): 데이터는 낮은 고유 차원을 가지며, 진정한 체제는 암시적(라벨이 없음)이고 결합된 신호로부터 나타납니다.
• 동역학 (A9, A10): 경로 의존성이 존재하지만, 현재의 벤치마크는 주로 스냅샷 기반 탐지가 가능합니다.

탐지기 아키텍처
제안된 탐지기인 **VaDE-hard+resid(auto)**는 이 MIIM 구조를 충실히 모델링하도록 설계되었습니다:

• 표현 (VaDE): 잠재 표현과 가우시안 혼합 모델(GMM) 사전 확률을 공동으로 학습하기 위해 변분 딥 임베딩(Variational Deep Embedding, VaDE)을 사용합니다. 이를 통해 라벨 없이도 암시적 모드(A7)를 발견할 수 있습니다.
• 스코어링 전략 (재구성 제거): 방법론적 전환의 핵심은 주요 점수 계산에서 재구성 잔차를 제거하는 것입니다. 저자들은 유연한 디코더가 상관관계 붕괴 결함을 충실히 재구성하여, 잔차가 무용하거나 오히려 해로울 수 있음을 입증했습니다.
• 잠재 스코어링 스택: 이상 점수는 다음을 사용하여 잠재 공간에서 완전히 계산됩니다:
  1. High-K 혼합 밀도 헤드: 모드 내의 비가우시안 가장자리(A4)를 모델링하기 위한 파라메트릭 커널 밀도 추정(80개 구성 요소).
  2. 최근접 구성 요소 NLL: 헤비 테일 불균형(A6)을 처리하기 위해, 가중치 혼합 합계 대신 가장 가까운 구성 요소의 가능도(likelihood)를 사용하여 드물지만 유효한 모드가 처벌받는 것을 방지합니다.
     량의 통계에 기반하여 활성화되는 두 가지 선택적 오토 게이티드 헤드:
     • 화이트닝 잔차(Whitened Residual): 홀드아웃 정상 데이터에 일반화될 경우에만 활성화됩니다 (HAI에 유용).
     • 베이슨 일치 구조(Basin-Agreement Rescue): 훈련 모드들이 크게 중첩될 경우에만 활성화되며, 모드 간 결함을 구별하기 위해 잠재 섭동 하에서의 안정성을 측정합니다 (SKAB에 유용).

3. 실험 프로토콜 및 결과

공정한 평가 프로토콜
저자들은 표준 벤치마크의 함정을 피하기 위해 의도적으로 공정한 프로토콜을 도입했습니다:

• 원시 지표 (Raw Metrics): 포인트 조정을 하지 않으며, 원시 포인트별 AUROC, F1, FPR을 보고합니다.
• 난이도 계층화: 데이터를 "쉬움"(단순 단변량 범위 규칙으로 탐지 가능)과 "어려움"(상관관계/동역학 결함)으로 나눕니다. "어려움" 서브셋이 주요 변별 테스트입니다.
• 유병률 매칭: 서브셋 간의 이상치 비율을 맞추기 위해 정상 데이터를 서브샘플링하여 F1 점수를 조정합니다.
• 재계산된 베이스라인: 최신(SOTA) 딥러닝 모델(USAD, TranAD, GDN)을 동일한 원시 지표를 사용하여 동일한 방식으로 재실행하고 점수를 매깁니다.

주요 결과
세 가지 실제 CPS 데이터셋(WADI, HAI, SKAB)에서 평가했을 때, 제안된 탐지기는 어려움(Difficult) 서브셋에서 모든 베이스라인 및 SOTA 방법들을 능가했습니다:

• HAI (고도로 다중 모달): 어려운 서브셋에서 0.831 AUROC를 달성하여 SOTA(USAD: 0.487, TranAD: 0.467)를 크게 앞질렀습니다.
• WADI (다중 모달): 어려운 서브셋에서 0.726 AUROC를 달성하여 SOTA(USAD: 0.554, TranAD: 0.547, GDN: 0.582)를 능가했습니다.
• SKAB (근사 단일 모달): 어려운 서브셋에서 0.610 AUROC를 달성하여 USAD(0.591)를 근소하게 이겼습니다.

성능 격차는 MIIM 구조와 직접적으로 상관관계가 있습니다. 성능 우위는 다중 모달 데이터셋(HAI, WADI)에서 가장 크고, 근사 단일 모달 데이터셋(SKAB)에서 가장 작았으며, 이는 다중 모달리티를 모델링하는 것이 핵심 차별점이라는 논지를 검증합니다.

4. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. MIIM 가정: 각 가정을 특정 모델링 선택과 연결하여, CPS 정상 데이터의 물리적 및 통계적 구조를 설명하는 명시적인 10가지 가정을 제시합니다.
2. 방법론적 전환: 재구성(어려운 결함에서 실패함)을 버리고, 명시적 모드 클러스터링을 갖춘 공동 학습된 잠재 공간 내에서 스코어링하는 탐지기 설계를 제시합니다.
3. 공정한 프로토콜: 포인트 조정을 제거했을 때 현재의 SOTA 모델들이 어려운 결합 구조 결함에 대해 실패함을 드러내는 엄격한 평가 프레임워크를 제공합니다.

의의:
저자들은 표준 탐지기가 CPS 데이터에서 실패하는 이유가 모델링의 실패라고 결론짓습니다. 구체적으로는, 다중 모달 정상 동작을 단일 블롭이나 재구성 대상으로 취급하는 문제입니다. 결과는 잠재 표현과 그 모드를 공동으로 학습하고, 그 잠재 공간 내에서 스코어링하는 것이 다중 모달 CPS에서 복잡한 이상치를 탐지하기 위한 필수적인 해결책임을 입증합니다. 저자들은 궤적 가정(A9–A10)이 프레임워크의 일부이지만, 현재의 벤치마크에는 이력 의존적 결함이 포함되지 않아 보고된 결과에서는 해당 측면이 실행되지 않았음을 겸허히 언급했습니다.