Anomaly detection in time-series via inductive biases in the latent space of conditional normalizing flows

이 논문은 관측 공간의 가능도 최대화의 한계를 극복하기 위해 조건부 정규화 흐름의 잠재 공간에 명시적 유도 편향을 도입하여 시간적 역학의 위배를 통계적 적합도 검정으로 정의함으로써, 고가능도 영역에서도 효과적으로 이상을 탐지하고 해석 가능한 진단을 제공하는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"시간이 흐르는 데이터 **(시계열 데이터)에 대한 새로운 방법을 제안합니다.

기존의 방법들은 마치 "데이터가 얼마나 흔한가 (확률)"만 보고 이상을 판단했는데, 이 논문은 "데이터가 규칙을 잘 따르고 있는가?"를 더 중요하게 여깁니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 핵심 비유: "규칙을 지키는 군인들"

이 논문의 아이디어를 이해하기 위해 군대 훈련 상황을 상상해 보세요.

1. 기존 방법의 문제점: "유명한 사람 찾기"

기존의 AI 는 **"이 사람이 군인들 사이에서 얼마나 흔한가?"**를 계산했습니다.

• 상황: 훈련 중인 군인들 사이에서, 갑자기 평범한 옷을 입고 조용히 서 있는 '스파이'가 나타났다고 칩시다.
• 기존 AI 의 반응: "아, 이 옷은 군인들 사이에서 아주 흔하네. 그래서 이 사람은 정상인 거야!"라고 판단합니다.
• 문제: 스パイ는 옷은 평범하지만, **행동 **(규칙)을 따르지 않습니다. 하지만 AI 는 '흔함 (확률)'만 보고 그를 놓쳐버립니다.

2. 이 논문의 해결책: "행동 규칙 감시관"

이 논문은 AI 에게 **"이 사람이 훈련 규칙을 잘 따르고 있는가?"**를 물어보게 합니다.

• 새로운 AI 의 접근: "이 사람의 옷은 평범할지 몰라도, **군인들이 따라야 할 '행동 패턴 **(규칙)을 보고 판단합니다.
• 결과: 스パイ는 옷은 평범해도 행동이 어색하므로, AI 는 즉시 "이건 이상하다!"라고 경고합니다.

---

🛠️ 이 논문이 제안하는 3 가지 핵심 도구

이 논문은 이 '행동 규칙 감시'를 위해 세 가지 도구를 만듭니다.

① '잠재 공간 (Latent Space)': 데이터의 '심장'을 보는 안경

• 비유: 우리가 사람의 겉모습 (옷, 얼굴) 만 보면 속을 알 수 없죠. 이 AI 는 안경을 써서 사람의 **내면 **(심장 박동, 근육의 움직임)을 직접 봅니다.
• 기술적 설명: 복잡한 데이터를 단순하고 규칙적인 '잠재 공간'이라는 세계로 변환합니다. 여기서 모든 정상적인 데이터는 깔끔한 패턴을 그리게 됩니다.

② '유도 편향 (Inductive Bias)': 미리 정해진 '훈련 매뉴얼'

• 비유: AI 가 아무것도 모르고 학습하면, 이상한 행동도 '정상'으로 배울 수 있습니다. 그래서 연구자들은 AI 에게 "우리의 데이터는 이런 식으로 움직여야 해"라는 **엄격한 매뉴얼 **(규칙)을 미리 심어줍니다.
  • 예: "시간이 지날수록 데이터는 이렇게 부드럽게 변해야 해."
• 효과: AI 는 이 매뉴얼을 기준으로 학습합니다. 매뉴얼을 지키는 건 '정상', 어기는 건 '이상'입니다.

③ '통계적 검사 (Goodness-of-Fit Test)': 규칙 준수 여부 확인 시험

• 비유: 훈련이 끝난 후, 새로운 사람이 들어오면 AI 는 "이 사람의 행동이 우리가 정한 매뉴얼과 통계적으로 일치하는가?"를 시험 봅니다.
• 결과:
  • 일치함: "좋아, 통과! 정상이다."
  • 불일치: "아니야, 매뉴얼을 어겼어! 이상이다."
  • 중요한 점: 이 방법은 **임계값 **(Threshold)을 사람이 직접 정할 필요가 없습니다. 통계 시험의 통과 기준이 자동으로 결정됩니다.

---

💡 왜 이 방법이 더 좋은가요?

1. 높은 확률의 함정을 피합니다:

   • 기존 방법은 "흔한 것"을 정상으로 여겨, **흔하지만 이상한 행동 **(예: 평범한 옷을 입고 훈련을 방해하는 스パイ)을 놓쳤습니다.
   • 이 방법은 "흔하든 말든, 규칙을 지키는지"만 보므로, 그런 스パイ도 잡아냅니다.

2. 사람이 숫자를 조정할 필요가 없습니다:

   • 보통 AI 는 "얼마나 이상하면 이상한 걸까?"라는 숫자 (임계값) 를 사람이 직접 찾아야 합니다. 하지만 이 방법은 통계 시험의 통과 기준을 사용하므로, 사람이 일일이 숫자를 tweaking(조정) 할 필요가 없습니다.

3. 모델이 제대로 학습했는지 스스로 진단합니다:

   • 훈련이 끝난 후, AI 가 정한 규칙을 잘 따르는지 스스로 시험을 봅니다. 만약 규칙을 잘 따르지 않는다면, "아, 이 모델은 아직 학습이 덜 되었구나"라고 알려줍니다.

---

📝 한 줄 요약

"이 논문은 AI 에게 '데이터가 얼마나 흔한가'를 묻는 대신, '데이터가 우리가 정한 시간적 규칙을 잘 따르고 있는가'를 물어보게 하여, 숨겨진 이상을 더 정확하게 찾아내는 방법을 제시합니다."

이 방법은 사기 탐지, 기계 고장 예측, 의료 데이터 분석 등 시간이 흐르며 변하는 데이터를 다루는 모든 분야에서 더 똑똑한 이상 탐지를 가능하게 합니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 다변량 시계열 이상 탐지 (Anomaly Detection, AD) 방법은 주로 관측 공간 (observation space) 에서의 데이터 가능도 (likelihood) 를 최대화하는 방식으로 학습됩니다. 그러나 이 접근법에는 다음과 같은 근본적인 한계가 있습니다.

• 구조적 동역학의 부재: 관측 공간의 가능도는 단순히 데이터의 주변 밀도 (marginal density) 를 측정할 뿐, 시계열이 가져야 할 **구조화된 시간적 동역학 (structured temporal dynamics)**을 반영하지 못합니다.
• 위양성 (False Positive) 위험: 이로 인해 정상적인 데이터 분포와 다른 구조를 가진 이상치 (anomaly) 나 분포 밖 (OOD) 데이터가 오히려 높은 확률 (high likelihood) 을 부여받는 역설적인 상황이 발생할 수 있습니다.
• 임의의 임계값 의존: 기존 방법들은 재구성 오차나 밀도 추정치를 이진 결정으로 변환하기 위해 수동으로 설정된 임계값에 의존하는 경우가 많아, 도메인 간 전이가 어렵고 통계적으로 타당성이 부족합니다.

2. 제안된 방법론 (Proposed Methodology)

저자들은 이상 탐지 메커니즘을 관측 공간에서 사전에 정의된 잠재 공간 (latent space) 으로 이동시키고, 이 공간에 **명시적인 유도 편향 (inductive biases)**을 부여하여 위와 같은 한계를 극복하는 프레임워크를 제안합니다.

핵심 구성 요소

1. 조건부 정규화 흐름 (Conditional Normalizing Flows, CNF):

   • 관측 데이터 ($x_t$) 를 잠재 표현 ($z_t$) 으로 매핑하는 비선형 변환기를 사용합니다.
   • 시간적 맥락 (이전 관측치 $W_t$) 을 조건 (condition) 으로 받아, 시계열의 시간적 의존성을 반영합니다.

2. 지시된 잠재 동역학 (Prescribed Latent Dynamics):

   • 잠재 공간에서의 상태 변화가 임의가 아닌, 사전 정의된 동역학 법칙을 따르도록 제약합니다.
   • 본 논문에서는 **선형 - 가우시안 잠재 동역학 모델 (LG-LDM)**을 구체적으로 구현했습니다.
     • $\mu_0 \sim \mathcal{N}(0, I)$
     • $\mu_t = A\mu_{t-1} + b$
   • 이는 잠재 상태의 평균이 선형적으로 진화하도록 강제하며, 학습된 모델이 이 동역학을 따르는지 여부를 검증하는 기준이 됩니다.

3. 통계적 적합도 검정 (Goodness-of-Fit, GOF Test) 을 통한 이상 탐지:

   • 학습 단계: CNF 와 LG-LDM 파라미터를 공동으로 학습하여, 정상 데이터가 잠재 공간에서 지시된 동역학 (예: 표준 정규분포를 따르는 whitened trajectory) 을 따르도록 합니다.
   • 테스트 단계: 새로운 시계열 데이터를 잠재 공간으로 매핑한 후, 다변량 콜모고로프 - 스미르노프 (Multivariate Kolmogorov-Smirnov, MV-KS) 검정을 수행합니다.
   • 결정 규칙: 매핑된 잠재 궤적이 지시된 분포와 통계적으로 유의미하게 일치하지 않으면 (KS 통계량이 임계값을 초과하면) 이를 이상치로 판별합니다.
   • 장점: 이 방식은 임계값 튜닝이 필요 없는 (threshold-free) 비지도 학습 방식을 제공하며, 고밀도 영역 (high-density regions) 에 위치하더라도 동역학을 위반하는 이상치를 탐지할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 유도 편향이 결합된 상태 공간 심층 생성 모델: CNF 와 명시적인 잠재 동역학 (예: 선형 - 가우시안) 을 결합하여, 관측 데이터를 시간적으로 일관된 잠재 궤적으로 매핑하도록 제약하는 모델을 제안했습니다.
2. 통계적으로 엄밀한 비지도 이상 탐지: 라벨이나 임계값 없이, 잠재 공간에서의 MV-KS 적합도 검정을 기반으로 이상을 탐지하는 방법을 제시했습니다. 이는 모델의 가능도 점수가 높더라도 동역학 위반 시 이상을 탐지할 수 있게 합니다.
3. 모델 학습 진단 도구 (Compliance Diagnostic): 학습된 모델이 지시된 유도 편향을 실제로 준수하는지 MV-KS 검정으로 확인하는 내장 진단 기능을 제공합니다. 이를 통해 모델이 테스트 준비가 되었는지 (즉, 학습이 성공적인지) 를 자동으로 판단할 수 있습니다.
4. 실험적 검증: 합성 데이터와 실제 세계 데이터 (TSB-AD 벤치마크) 를 통해, 기존 NLL 기반 방법의 한계를 입증하고 제안된 프레임워크의 강건성과 정확성을 확인했습니다.

4. 실험 결과 (Experimental Results)

• 합성 데이터 (Synthetic Data):
  • 진폭 (amplitude) 과 주파수 (frequency) 변경, 노이즈가 포함된 시계열에서 실험했습니다.
  • NLL 기반 방법: 진폭 변화가 있는 이상치 (고밀도 영역에 위치) 를 탐지하지 못했습니다.
  • 제안된 MV-KS 방법: 진폭, 주파수, 노이즈 변화 모두를 성공적으로 탐지했습니다. 특히 $w=64$ 윈도우 크기에서 AUC-PR 82.1, VUS-PR 96.0 을 기록하여 NLL 기반 (각각 78.8, 92.8) 보다 우수한 성능을 보였습니다.
• 실제 데이터 (Real-world Data, TSB-AD):
  • 단변량 및 다변량 시계열 데이터셋 (NEK, Stock, MITDB 등) 에서 기존 베이스라인 (CNN, AutoEncoder, TimesNet 등) 과 비교했습니다.
  • 모델이 유도 편향을 잘 준수하는 경우 (예: Stock 데이터셋 100% 준수), 제안된 방법은 NLL 기반 방법과 경쟁하거나 더 나은 성능을 보였습니다.
  • 특히 VUS-PR (Surface Under the Precision-Recall Curve) 지표에서 단변량 데이터셋에서 뛰어난 성능을 발휘했습니다.
• 학습 진단의 유효성:
  • 학습 데이터의 잠재 궤적에 대한 MV-KS 점수가 임계값 이하일 때, 모델이 정상적으로 학습되었음을 의미하며, 이때의 임계값이 테스트 시 유효한 자동 임계값으로 작용함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: 이상 탐지를 단순히 "데이터가 얼마나 잘 생성되었는가 (Likelihood)"의 문제가 아니라, **"학습된 표현이 사전 정의된 동역학 법칙을 준수하는가 (Compliance)"**의 문제로 재정의했습니다.
• 해석 가능성과 신뢰성: 잠재 공간에서의 통계적 검정을 통해 이상 탐지 과정을 해석 가능하게 만들었으며, 모델 학습의 성공 여부를 자동으로 진단할 수 있는 도구를 제공하여 실제 배포 시 신뢰성을 높였습니다.
• 고밀도 영역 탐지: 기존 딥러닝 기반 생성 모델이 놓치기 쉬운, 고밀도 영역에 존재하지만 동역학적으로 비정상인 이상치를 효과적으로 탐지할 수 있음을 입증했습니다.

이 연구는 유도 편향 (inductive bias) 을 명시적으로 모델에 통합함으로써, 라벨이 없는 환경에서도 강력하고 해석 가능한 시계열 이상 탐지 시스템을 구축할 수 있음을 보여줍니다.