Wasserstein normalized autoencoder for anomaly detection

핵심 요약: 건불더미에서 바늘 찾기 (바늘이 어떻게 생겼는지 모르는 상태로)

당신이 거대한 공항의 보안 요원이라고 상림해 보세요. 매일 수천 명의 사람들이 당신의 검문소를 통과합니다. 당신은 "정상적인" 여행객이 어떻게 생겼는지 정확히 알고 있습니다. 그들은 배낭을 메고, 코트를 입고, 아마 커피 한 잔을 들고 있을 것입니다. 이것들이 바로 표준 모델(Standard Model) 입자들(배경 데이터)입니다.

하지만 가끔 누랄이서 이상한 것을 들고 지나갈 때가 있습니다. 예를 들어 빛나는 상자나 투명한 천으로 만든 옷 같은 것 말이죠. 이것이 바로 새로운 물리학(New Physics)(신호)입니다. 문제는, 당신이 이 "빛나는 상자"가 정확히 어떻게 생겼는지 모른다는 점입니다. 그것은 무엇이든 될 수 있습니다. 만약 당신이 보안 시스템에 특정 종류의 빛나는 상자를 찾아내도록 가르치려 한다면, 다른 종류의 상자는 놓칠 수도 있습니다.

그래서 당신은 시스템에게 오직 "정상"이 무엇인지만 가르치기로 결정합니다. 만약 무언가가 "정상" 패턴에 맞지 않는다면, 그것을 이상 징치(anomaly)로 분류하는 것입니다. 이것을 **이상 탐지(Anomaly Detection)**라고 부릅니다.

문제점: "너무 유능한" 로봇

이 논문은 **오토인코더(Autoencoder)**라고 불리는 특정 유형의 AI에 대해 다룹니다. 오토인코더를 정상적인 여행객의 사진을 암기하여 아주 작은 메모로 압축한 뒤, 그 메모를 바탕으로 사진을 다시 그려내는 로봇이라고 생각해보세요.

목표: 로봇이 정상적인 여행객을 보면 완벽하게 다시 그려내야 합니다(낮은 오차). 만약 이상한 외계인을 본다면, 로봇은 그들을 다시 그리는 데 어려움을 겪어야 하며(높은 오차), 그때 당신은 그 외계인을 이상치로 분류합니다.
결함: 가끔 로봇이 너무 유능할 때가 있습니다. 만약 외계인이 실제 정상적인 여행객보다 더 단순하다면(예를 들어, 정상적인 여행객은 복잡한 패턴을 가졌지만 외계인은 그냥 평범한 회색 덩어리라면), 로봇은 실수로 그 외계인까지도 완벽하게 그려내는 법을 배워버릴 수 있습니다.
결과: 로봇은 외계인을 완벽하게 그려낼 수 있으므로 그 외계인이 정상이라고 생각하게 됩니다. 보안 시스템이 실패하는 것이죠. 논문에서는 이를 **"이상치 재구성(Outlier Reconstruction)"**이라고 부릅니다. 이는 마치 위작을 너무 잘 만드는 위조범이 있어서, 박물관이 그것을 진짜 걸작이라고 믿게 만드는 것과 같습니다.

첫 번째 시도: "정규화된" 로봇 (NAE)

이를 해결하기 위해 과학자들은 더 똑똑한 로봇인 **정규화된 오토인코더(Normalized Autoencoder, NAE)**를 시도했습니다.

단순히 그림을 다시 그리는 대신, 이 로봇은 정상적인 여행객이 어떻게 생겼는지에 대한 확률을 학습하려고 노력합니다. 이 로봇은 "마르코프 체인(Markov Chain)"(무작위 보행이라고 생각하세요)을 이용한 수학적 트릭을 사용하여 가짜 "부정적(negative)" 예시들을 생성합니다. 로봇은 스스로에게 묻습니다: "내가 무작위로 만든 여행객이 내가 봐왔던 진짜 여행객들과 닮았는가?"

목표: 이 로봇은 "이상한 것"(낮은 확률)은 높은 "오차 점수"를 받도록 만들려고 노력합니다.
새로운 결함: 이 로봇은 불안정합니다. 때때로 혼란에 빠져 "발산(diverging)"하기 시작합니다. 로봇은 모든 것을 그리기 어렵게 만드는 것이 게임에서 이기는 최선의 방법이라고 결정하거나, 혹은 자신의 수학적 점수를 최소화하기 위해 모든 것(이상한 외계인 포함)을 완벽하게 그려내는 상태로 무너져 내릴 수 있습니다. 이는 공부하는 대신 답안지를 외우는 방식으로 시험을 망치는 학생과 같습니다.

해결책: "와서스테인" 로봇 (WNAE)

이것이 이 논문의 주요 기여입니다. 과학자들은 **와서스테인 정규화된 오토인코더(Wasserstein Normalized Autoencoder, WNAE)**를 도입했습니다.

이를 이해하기 위해, 두 개의 모래 더미가 있다고 상상해 보세요:

더미 A: 실제 여행객 (당신의 훈련 데이터).
더미 B: 여행객이 어떻게 생겼는지에 대한 로봇의 현재 추측 (학습된 분포).

기존 방식에서 로봇은 단순히 더리의 모양을 일치시키려고 노력했습니다. 하지만 가끔 로봇은 모양은 비슷하지만 실제 위치는 틀린 곳에 더미를 만드는 방식으로 속임수를 썼습니다.

**와서스테인 거리(Wasserstein distance)**는 더미 B에서 더미 A로 모래를 옮기는 데 드는 "비용"을 측정하는 방법입니다. 여러분이 한 더미에서 다른 더미로 모래 알갱이를 옮겨야 한다고 상상해 보세요. 와서스테인 거리는 다음과 같이 묻습니다: "내 가짜 더미를 진짜 더미로 바꾸기 위해 필요한 최소한의 노력(거리 x 무게)은 얼마인가?"

WNAE의 작동 방식:

로봇은 단순히 이미지를 다시 그리는 것이 아니라, 자신의 가짜 데이터가 실제 데이터와 똑같아지기 위해 필요한 "노력"을 최소화하려고 노력합니다.
만약 로봇이 속임수를 써서 이상한 외계인을 완벽하게 그려내려 한다면, 그 외계인의 데이터를 다시 "정상" 더미로 옮기는 데 드는 "노력"(와서스테인 거리)은 엄청나게 커집니다.
로봇은 속임을 멈출 수밖에 없습니다. 로봇은 노력을 최소화하는 유일한 방법이 "정상" 더미의 모양을 엄격하게 학습하고 "이상한" 것들은 그대로 두는 것임을 배우게 됩니다.

이것이 논문에서 왜 중요한가

과학자들은 이를 CMS(CERN의 거대 입자 가속기에 있는 거대한 입자 검출기)에서 테스트했습니다. 그들은 **준가시적 제트(Semivisible Jets, SVJs)**를 찾고 있었습니다.

시나리오: 입자의 제트(호스에서 나오는 물줄기 같은 것)가 절반은 가시적(표준 입자)이고 절반은 비가시적(암흑 물질)인 상황입니다.
도전 과제: 이 제트들은 일반적인 톱 쿼크(흔한 배경 데이터)로부터 나오는 제트와 매우 유사해 보입니다. 기존의 로봇들은 이 이상한 제트들을 정상인 것처럼 "재구성"해버렸기 때문에 둘을 구별하는 데 실패했습니다.
결과: WNAE는 훈련 과정에서 단 하나의 "이상한" 제트도 보지 않고도 정상적인 제트 분포를 완벽하게 학습할 수 있었습니다. 또한 비가시적 암흑 물질 제트를 이상치로 성공적으로 분류해 냈습니다.

핵심 요약

이 논문은 **와서스테인 거리(Wasserstein distance)**를 스승으로 사용함으로써, 다음과 같은 로봇을 구축했다고 주장합니다:

속임수를 쓰지 않음: 점수를 낮추기 위해 이상한 것을 완벽하게 다시 그리는 법을 배울 수 없습니다.
안정적임: 이전의 "정규화된" 버전처럼 혼란에 빠지거나 무너지지 않습니다.
신호 독립적(Signal-agnostic): "이상한 것"이 어떻게 생겼는지 알 필요가 없습니다. 그저 "정상"이 무엇인지만 알면 되며, 그 틀에 맞지 않는 것은 무엇이든 이상치로 분류합니다.

요약하자면, 그들은 의심스러운 사람이 군중으로부터 얼마나 "멀리" 떨어져 있는지를 측정하는 더 나은 방법을 제공함으로써 고장 난 보안 시스템을 고쳤으며, 이를 통해 아무리 교묘하게 위장한 침입자라도 반드시 잡아낼 수 있게 되었습니다.

기술 요약: 이상 탐지를 위한 와서스타인 정규화 오토인코더 (Wasserstein Normalized Autoencoder)

문제 정의
비지도 학습(Unsupervised Machine Learning), 특히 오토인코더(Autoencoder, AE)는 특정 신호 가설에 의존하지 않고 표준 모형(Standard Model, SM) 배경 사건과 잠재적인 초표준 모형(Beyond-the-Standard-Model, BSM) 신호를 분리함으로써, 거대 강입자 충돌기(LHC)에서 새로운 물리학을 식별하는 강력한 도구입니다. 그러나 표준 AE는 "이상치 재구성(outlier reconstruction)"이라고 불리는 결정적인 실패 모드에 직면합니다. 이 시나리오에서 네트워크는 훈련 데이터보다 이상치(outlier)가 덜 복잡하거나(이를 "복잡성 편향(complexity bias)"이라 함), 혹은 네트워크가 훈련 분포 외부의 위상 공간 영역에서 재구성 오차를 최소화할 수 있는 자유도가 있기 때문에, 이상치 데이터를 낮은 오차로 재구성하는 법을 학습하게 됩니다. 이는 재구성 오차가 배경과 신호를 구별하는 데 실패하게 만들어, 결국 변별력을 상실하는 결과를 초-초래합니다.

이를 해결하기 위해 AE 재구성 오차를 볼츠만 분포 내의 에너지 함수로 프레임화하는 정규화된 오토인코더(Normalized Autoencoder, NAE)를 사용하는 이전의 시도들 또한 어려움에 직면했습니다. NAE 훈련은 종종 손실 함수의 발산이나, 네트워크가 신호와 상당 부분 겹치는 확률 분포를 학습하여 다시 한번 이상 탐지 성능을 저하시키는 "모드 붕괴(mode collapse)"와 같은 수치적 불안정성을 보입니다. 더욱이, 기존의 NAE 훈련은 과적합(overtraining)과 이상치 재구성을 방지하기 위한 견고하고 신호 불가지론적인(signal-agnostic) 정지 조건이 결여되어 있습니다.

방법론
저자들은 표준 AE와 NAE의 한계를 극복하기 위해 설계된 새로운 확률 모델인 **와서스타인 정규화 오토인코더(Wasserstein Normalized Autoencoder, WNAE)**를 소개합니다. 방법론은 다음과 같습니다:

확률적 프레임워크: NAE와 마찬가지로, WNAE는 AE 재구성 오차 $l_\theta(x)$ 를 에너지 함수 $E_\theta(x)$ 로 취급합니다. 모델은 볼츠만 분포를 사용하여 정규화된 확률 분포 $p_\theta(x)$ 를 정의합니다: $p_\theta(x) = \frac{1}{\Omega_\theta} \exp(-E_\theta(x))$ .
마르코프 연쇄 몬테카를로(MCMC): $p_\theta$ 로부터의 분포를 학습하기 위해, 모델은 $p_\theta$ 로부터 "부정적(negative)" 예시들을 샘플링하는 랑제빈 몬테카를로(Langevin Monte Carlo) 알고리즘을 채택합니다. 이 샘플들은 입력 특징에 대한 에너지 함수의 그래디언트를 사용하여 반복적으로 생성됩니다.
와서스타인 거리 목적 함수: 핵심 혁신은 직접적인 훈련 목표로서 1-와서스타인 거리(Earth Mover's Distance)를 사용하는 것입니다. 계산 불가능한 분할 함수(partition function)를 포함하여 불안정성을 유발하는 음의 로그 가능도(negative log-likelihood)를 최소화하는 대신, WNAE는 훈련 데이터 분포 $p_{data}$ $p_{d a t a}$ 와 모델 분포 $p_\theta$ $p_{θ}$ 사이의 와서스타인 거리 $W(p_{data}, p_\theta)$ $W (p_{d a t a}, p_{θ})$ 를 최소화합니다.
- 손실 함수는 양의 샘플( $p_{data}$ 로부터 추출)과 부정적 샘플( $p_\theta$ 로부터 추출) 사이의 와서스타인 거리로 정의됩니다.
- 이 접근 방식은 칸토로비치-루빈슈타인 쌍대성(Kantorovich-Rubinstein duality)을 활용하여, 다른 생성 모델에서 흔히 나타나는 기울기 소실(vanishing gradients)이나 모드 붕괴 문제를 겪지 않는 안정적이고 미분 가능한 손실 함수를 제공합니다.
훈련 역학: 훈련은 모델이 물리적 데이터에 적응함에 따라 와서스타인 거리가 급격히 감소하는 거친 조정(coarse adjustment) 단계와 미세 조정(fine-tuning) 단계로 구성됩니다. 안정성을 보장하기 위해 학습률 스케줄러가 사용됩니다. 결정적으로, 와서스타인 거리는 신호 불가지론적인 정지 조건 역할을 하며, 모드 붕괴나 이상치 재구성이 시작됨을 나타내는 지점(거리가 다시 증가하는 시점)에서 훈련을 중단합니다.

사례 연구 및 데이터
이 알고리즘은 히든 밸리(hidden valley) 모델의 징후인 반가시적 제트(Semivisible Jets, SVJs) 탐색에 적용되었습니다. SVJ는 가시적인 표준 모형 입자와 비가시적인 암흑 물질 상태를 모두 포함하는 제트를 생성하는 암흑 섹터 입자의 특징을 가집니다.

배경(Background): 추가적인 제트가 포함된 시뮬레이션된 탑-반탑( $t\bar{t}$ ) 생성.
신호(Signal): 다양한 비가시적 비율( $r_{inv}$ )과 매개체 질량( $m_\Phi$ )을 가진 바이펀더멘탈 스칼라 매개체를 통해 생성된 SVJ 이벤트.
특징(Features): 입력값은 입자 흐름 재구성을 통해 도출된 8개의 제트 하부 구조 변수(예: 주요/부 축, 에너지 흐름 다항식, $N$ -subjettiness, softdrop 질량)로 구성됩니다.

주요 결과

표준 AE의 실패: $t\bar{t}$ 배경에 대해 훈련되었을 때, 표준 AE는 이상치 재구리로 인해 AUC(Area Under the Curve) 점수가 무작위 추측에 가까운 0.5에 근접하며 SVJ를 배경으로부터 구별하는 데 실패합니다.
NAE의 불안정성: NAE는 초기에는 구별 성능을 개선하지만, 손실 발산과 모드 붕괴를 겪습니다. 음의 에너지가 발산함에 따라 AUC가 시간이 지남에 따라 저하되며, 모델은 신호 의존적인 정지 조건 없이는 신호와 배경을 구별하지 못합니다.
WNAE 성능: WNAE는 안정적이고 수렴하는 훈련을 보여줍니다.
- 광범위한 SVJ 신호 가설에 대해 강력한 분류 성능을 달성하며, AUC 점수는 표준 AE보다 현저히 높고 최적의 시점에서의 NAE와 비슷하거나 더 우수합니다.
- 와서스타인 거리는 AUC 점수와 효과적으로 상관관관계가 있으며, 모델이 신호 분포를 학습하는 것을 방지하는 신뢰할 수 있는 정지 조건을 제공합니다.
- WNAE는 복잡성 편향을 완화합니다. 신호가 배경보다 덜 복잡할 때 어려움을 겪는 표준 AE와 달리, WNAE는 SVJ 신호에 대해 훈련되었음에도 불구하고 탑 쿼크 제트를 이상치로 성공적으로 식별해 냄으로써, 단순히 재구성 오차를 최소화하는 것이 아니라 훈련 데이터의 진정한 확률 밀도를 학습할 수 있음을 입증했습니다.

의의 및 주장
본 논문은 WNAE가 오토인코더 기반 이상 탐지의 근본적인 실패 모드인 이상치 재구성을 직접적으로 해결한다고 주장합니다. 훈련 데이터 분포와 모델이 학습한 분포 사이의 와서스타인 거리를 최소화함으로써, 이 알고리즘은 훈련 데이터와 구별되는 위상 공간 영역에 높은 재구성 오차를 할당하도록 보장합니다.

저자들은 WNAE가 **완전히 비지도 방식이며 신호 불가지론적(signal-agnostic)**이라는 점을 강조합니다. 이 모델은 훈련 중에 신호 가설에 대한 지식을 필요로 하지 않으며, NAE 손실을 안정화하기 위한 임의의 규제(ad-hoc regularization)에도 의존하지 않습니다. 이 방법은 복잡한 표준 모형 배경에 대해 새로운 물리학 징후(예: 반가시적 제트)를 식별할 수 있는 견고하고 안정적이며 효과적인 이상 탐지 도구를 제공합니다. 결론적으로, WNAE는 연구된 작업에 대해 안정적이지만, 신호와 배경 분포의 중첩이나 훈련 데이터의 이상치 혼입과 같은 이상 탐지 모델의 일반적인 한계가 여전히 존재할 수 있으나, 이러한 경우를 위한 자기 지도 학습적(self-supervised) 정교화의 경로를 제시합니다.