기술 요약: 이상 탐지를 위한 마스킹 확산 모델링 (MaskDiff-AD)

문제 정의

이상 탐지는 명목적인 데이터 생성 분포에서 크게 벗어난 샘플을 식별하는 것을 목표로 합니다. 의료, 금융, 사이버 보안과 같은 안전이 중요한 응용 분야에서 중요하지만, 기존 방법들은 범주형, 혼합 유형, 이산 시퀀스 데이터에 적용될 때 심각한 한계에 직면합니다. 유클리드 기하학이나 연속 밀도에 의존하는 고전적 방법들은 이러한 데이터 유형을 처리하는 데 어려움을 겪습니다. 또한, 확산 모델이 복잡한 분포를 모델링하는 데 유망한 것으로 입증되었음에도 불구하고, 대부분의 연구는 연속 영역 (예: 이미지) 이나 생성적 샘플링 효율성에 초점을 맞추고 있습니다.

**확산 시간 추정 (DTE)**을 이산 데이터에 적용하는 데는 특정 과제가 발생합니다. DTE 는 이상 점수를 도출하기 위해 확산 시간에 대한 사후 분포를 추정하는 연속 이상 탐지를 위한 성공적인 프레임워크입니다. 그러나 본 논문에서 입증된 바와 같이, **마스킹 확산 모델 (MDM)**에 내재된 흡수성 마스킹 메커니즘은 이산 공간에서 DTE 스타일의 사후 분포가 퇴화하게 만듭니다. 구체적으로, 깨끗한 범주형 샘플의 경우 사후 분포가 동일한 값으로 수렴하거나 근본적인 데이터 분포가 아닌 마스킹 패턴에만 의존하여 구별력이 없게 됩니다.

방법론: MaskDiff-AD

저자들은 명목 (정상) 데이터만으로 훈련된 마스킹 확산 모델을 기반으로 한 순방향 전용 이상 탐지 프레임워크인 MaskDiff-AD를 제안합니다. 확산 시간을 추정하는 대신, MaskDiff-AD 는 가시적 컨텍스트에서 마스킹된 좌표를 재구성하는 어려움에 의존합니다.

핵심 메커니즘

1. 훈련: 마스킹 확산 모델 $p_\theta$를 표준 마스킹 재구성 목적 함수를 사용하여 명목 데이터 $q_0$로 훈련합니다. 모델은 부분적으로 마스킹된 관측치에서 깨끗한 범주형 값을 예측하는 법을 학습합니다.
2. 프로브 마스킹: 테스트 샘플 $x$가 주어지면, 다양한 수준 $\tau_1, \dots, \tau_L$에서 좌표를 무작위로 마스킹하여 여러 개의 "프로브 뷰"를 생성합니다. 이는 순방향 확산 과정을 시뮬레이션합니다.
3. 재구성 점수 매기기: 각 마스킹된 뷰에 대해 훈련된 모델은 마스킹된 값을 재구성하려고 시도합니다. 이상 점수는 가시적 컨텍스트가 주어졌을 때 실제 마스킹된 값의 **평균 재구성 놀라움 (negative log-likelihood)**으로 정의됩니다.
   • 정상 샘플: 좌표는 학습된 명목 분포와 상호 일관성이 있어 컨텍스트에서 예측하기 쉽습니다 (낮은 놀라움).
   • 이상 샘플: 좌표는 학습된 의존성 구조를 위반하여 재구성이 어렵습니다 (높은 놀라움).
4. 집계: 최종 점수 $S_{rec}(x)$는 견고성을 보장하기 위해 여러 프로브 수준과 여러 독립적인 마스킹 뷰에 걸친 재구성 어려움을 평균화합니다.

변형

논문은 두 가지 구현을 소개합니다:

• 모수적 MaskDiff-AD: 조건부 분포 $p_\theta(\cdot | x_{masked})$를 근사하도록 훈련된 신경망 (예: Transformer 또는 MLP) 을 사용합니다.
• 비모수적 MaskDiff-AD: 가시 좌표에서 해밍 거리를 기반으로 커널 평활화 경험 분포를 사용하여 훈련 세트에서 직접 조건부 확률을 추정합니다. 이는 모델 훈련을 피하지만 대규모 데이터셋에서 추론 비용을 증가시킵니다.

이론적 보장

저자들은 1 종 오류 (거짓 양성) 와 2 종 오류 (거짓 음성) 를 특징짓는 이론적 분석을 제공합니다. 잘 정의된 재구성 모델 하에서 이상 점수가 정상 및 이상 분포를 분리함을 보여줍니다. 정상 및 이상 데이터에 대한 기대 점수 간의 격차는 실제 조건부 분포와 모델의 재구성 분포 간의 KL 발산에 의해 주도됩니다.

주요 기여

1. 정식화: 본 논문은 마스킹 확산 모델을 사용하여 이산 상태 공간에서의 이상 탐지를 공식화하고, 이산 마스킹의 흡수성으로 인해 DTE 프레임워크의 직접적인 확장이 이 설정에서 실패하는 이유를 엄밀하게 입증합니다.
2. 알고리즘: 고비용의 역시간 샘플링이나 반복적 보간이 필요 없이 콘텐츠 민감 이상 점수를 생성하는 계산 효율적인 순방향 전용 방법인 MaskDiff-AD를 소개합니다.
3. 변형 및 이론: 모수적 및 비모수적 변형을 개발하고 고정 임계값 하에서 탐지 성능 (1 종/2 종 오류) 에 관한 이론적 보장을 제공합니다.
4. 실증적 검증: 14 개의 범주형/혼합 유형 표 형식 데이터셋 (ADBench 및 UADAD 에서) 과 4 개의 텍스트 이상 탐지 데이터셋 (NLP-ADBench 에서) 을 포함한 18 개의 실제 세계 데이터셋에서 광범위한 실험을 수행했습니다.

실험 결과

• 표 형식 데이터: MaskDiff-AD 는 고전적 접근법 (Isolation Forest, COPOD, ECOD) 과 최신 딥러닝 방법 (DTE 변형, MCM, DRL) 을 포함한 12 개의 표 형식 기준 방법 전반에서 **최고의 전체 평균 순위 (3.93)**를 달성했습니다. 모수적 변형은 모든 기준 방법보다 우수했으며, 비모수적 변형 또한 높은 순위를 기록했습니다. 특히, 이산 데이터를 연속 공간에 임베딩해야 하는 DTE-Gaussian 보다 우수한 성능을 보여, 이산 상태 공간에서 직접 작동하는 것의 이점을 강조합니다.
• 텍스트 데이터: 이 방법은 짧은 텍스트 시퀀스 (이메일 스팸, SMS 스팸) 에서 End-to-End 탐지기 (DATE) 와 임베딩 기반 기준 방법보다 뛰어난 성능을 발휘합니다. 그러나 더 길거나 의미적으로 풍부한 시퀀스 (AGNews, YelpReview) 에서는 강력한 임베딩 기반 기준 방법보다 경쟁력이 떨어지며, 긴 텍스트를 위한 더 전문화된 시퀀스 아키텍처가 필요함을 시사합니다.
• 효율성: 모수적 변형은 훈련 비용과 추론 속도 간의 유리한 균형을 제공하며, 대규모 데이터셋에서 GOAD 및 ICL 과 같은 딥 기준 방법보다 총 실행 시간에서 현저히 우수합니다.

중요성 및 주장

본 논문은 MaskDiff-AD가 마스킹 확산 모델의 재구성 어려움을 활용함으로써 이산 영역의 이상 탐지를 위한 자연스럽고 효과적인 해결책을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 직접 이산 모델링: 이산 데이터를 연속 임베딩으로 강제로 변환하는 함정을 피하여 원래의 구조적 특징과 특징 간 의존성을 보존합니다.
• 계산 효율성: 생성적 이상 탐지에서 역시간 샘플링과 관련된 높은 계산 비용을 피하기 위해 순방향 전용 점수 매기기 메커니즘을 활용합니다.
• 견고성: 다중 프로브 평균화 전략은 특정 마스킹 수준이나 무작위 변이에 대한 민감도를 줄입니다.

저자들은 성능이 긴 텍스트 시퀀스에서는 현재 최적이지 않으며, 방법의 효과는 학습된 마스킹 조건부 및 프로브 수준 선택의 품질에 의존한다고 겸손하게 인정합니다. 향후 작업으로는 적응형 프로브 선택과 그래프 및 분자와 같은 구조화된 이산 객체를 위한 아키텍처 포함이 제안됩니다.