VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space

기술 요약: 이상 탐지를 위한 초구 좌표계를 활용한 VAE

문제 제기
변분 오토인코더 (VAE) 는 데이터를 저차원 잠재 공간으로 인코딩하여 이상 탐지 (AD) 에 널리 사용됩니다. 표준적인 가정은 훈련된 VAE 는 분포 내 (ID) 데이터를 잘 재구성하지만, 분포 외 (OOD) 또는 이상 데이터에서는 재구성에 실패한다는 것입니다. 그러나 고차원 (HD) 잠재 공간에서 표준 VAE 는 '측도의 집중 (concentration of measure)' 현상으로 고통받습니다. 샘플이 고차원 가우시안 사전 분포에 인코딩될 때, 원점이나 특정 방향 근처가 아닌 잠재 초구의 '적도'에 집중되는 경향이 있습니다. 이로 인해 정상 데이터가 적도 대역에 균일하게 분포하는 광활하고 희소한 초부피가 생성됩니다. 결과적으로 정상 샘플과 이상치 간의 거리가 기대된 집중 현상을 보이지 않고 분포의 '꼬리'가 짧아져 표준 거리 척도를 통한 분리가 비효율적이기 때문에 이상치를 구분하기 어려워집니다.

방법론
저자들은 고차원 데카르트 좌표계의 내재된 희소성과 부피 문제를 완화하기 위해 초구 좌표계를 사용한 VAE 잠재 공간의 새로운 공식을 제안합니다.

1. 좌표 변환: 잠재 후속 분포를 데카르트 좌표계 ($\mu, \sigma$) 로 모델링하는 대신, 이들을 반지름 $r$과 $n-1$개의 각도 좌표 $\phi_k$로 구성된 초구 좌표계로 변환합니다. 이 변환은 효율성을 유지하기 위해 벡터화된 미분 가능한 PyTorch 스크립트를 통해 구현됩니다.
2. 초부피 압축: 핵심 혁신은 쿨백 - 라이블러 발산 (KLD) 손실 항을 재형식화하는 데 있습니다.
   • 표준 VAE 에서 사전 분포는 표준 가우시안이며, 이는 고차원 부피의 기하학적 특성으로 인해 샘플이 초구의 적도에 위치하도록 암묵적으로 유도합니다.
   • 제안된 방법은 각도 좌표 ($\phi_k$) 에 대한 특정 사전 분포를 설정하여 이러한 각도의 코사인 평균이 1 을 향해 이동하도록 ($a_{\mu,k} = 1$) 유도합니다. 이는 잠재 샘플이 적도에서 벗어나 초구의 특정 '북극' 방향으로 이동하도록 강제합니다.
   • 잠재 샘플을 단일 방향으로 압축함으로써, 이 방법은 부피가 현저히 감소된 영역에 정상 데이터의 조밀하고 컴팩트한 '섬'을 생성합니다.
3. 손실 함수: 총 손실은 재구성 오차 (MSE) 와 초구 좌표계에서 계산된 수정된 KLD 항을 결합합니다. KLD 항은 각도 좌표 ($\phi_k$) 에 대한 손실과 반지름 좌표 ($r$) 에 대한 손실로 분해됩니다. 각도 손실은 샘플이 목표 방향과 정렬되도록 유도하고, 반지름 손실은 샘플이 특정 초구 표면 (반지름 $\sqrt{n}$) 에 위치하도록 보장합니다.
4. 이상 점수 산정: 정상 데이터로 훈련된 후, 쿼리 샘플을 인코딩하고 정상 잠재 평균의 군집까지의 거리를 측정하여 이상을 탐지합니다. 저자들은 잠재 평균에 대해 간단한 k-최근접 이웃 (k-NN) 거리 척도 ($k=3$) 를 활용합니다. 정상 데이터가 조밀한 섬으로 압축되었기 때문에, 이 섬까지의 거리는 강력한 이상 점수로 작용합니다.

주요 기여

• 초구 공식화: 이 논문은 VAE 잠재 변수를 데카르트 좌표계에서 초구 좌표계로 변환하는 방법을 소개하여 차원을 효과적으로 분리하고 목표 부피 압축을 가능하게 합니다.
• 부피 압축 메커니즘: 반지름이나 단일 각도만 압축하는 방법 (von Mises-Fisher 분포와 유사) 과 달리, 이 접근법은 모든 초구 각도 좌표를 압축합니다. 이는 잠재 초부피를 훨씬 빠르게 감소시켜 정상 데이터의 더 조밀한 표현을 생성합니다.
• 통합 프레임워크: 이 방법은 완전 무조건부 OOD(하위 클래스 레이블 없음) 와 조건부 OOD(하위 클래스 레이블 있음) 시나리오 모두에 적용 가능합니다. 조건부 경우의 경우, 좌표계가 각 클래스별로 재배향되어 각 특정 ID 클래스에 대해 컴팩트한 군집을 형성합니다.
• vMF 의 절제: 저자들은 이 방법이 하나의 각도만 압축하는 특수한 경우인 von Mises-Fisher (vMF) 기반 접근법을 포괄하며, 모든 각도를 압축하는 것이 더 우수한 결과를 산출함을 보여줍니다.

실험 결과
이 방법은 복잡한 실제 데이터셋과 표준 벤치마크 모두에서 평가되었습니다:

• 완전 무조건부 OOD:
  • Mars Rover Mastcam: 이상한 지형 특징 탐지. 제안된 방법 (Comp.VAE + k-NN) 은 AUROC 0.764를 달성하여 표준 VAE, 오토인코더, vMF 변형보다 우수한 성능을 보였습니다.
  • Galaxy Zoo: 이상한 은하 탐지. 이 방법은 AUROC 0.789를 달성하여 기존 베이스라인을 다시 한번 능가했습니다.
• 조건부 OOD:
  • CIFAR-10 vs. CIFAR-100 (근접 OOD): 이 방법은 최첨단 방법들에 비해 95% 참양성률 (TPR) 에서의 거짓양성률 (FPR95) 을 크게 감소시켰으며, FPR95 를 23.2로 달성했습니다 (SNN 의 50.1 및 KNN 의 58.3 대비).
  • Imagenette vs. Close ImageNet Classes: 도전적인 근접 OOD 설정에서, 이 방법은 테스트된 구성 중 FPR95(78.8) 와 AUROC(68.3) 모두에서 최상의 성능을 달성하여 vMF 기반 변형을 능가했습니다.
• 시각화: 잠재 공간의 3D 시각화는 표준 VAE 가 데이터를 구의 적도에 균일하게 분포시키는 반면, 제안된 방법은 데이터를 조밀하고 컴팩트한 섬으로 성공적으로 압축하여 클래스 분리 및 이상 탐지를 더 직관적으로 만든다는 것을 확인시켜 줍니다.

의의 및 주장
이 논문은 이상 탐지에서 표준 VAE 의 주요 한계가 고차원 잠재 공간의 기하학적 희소성, 즉 정상 데이터가 초구의 광활한 적도 영역을 차지한다는 점이라고 주장합니다. 잠재 공간을 초구 좌표계로 재형식화하고 특정 방향으로 부피를 능동적으로 압축함으로써, 저자들은 다음을 입증합니다:

1. 정상 데이터의 '조밀한 섬'을 생성할 수 있으며, 이를 통해 단순한 거리 척도 (k-NN) 를 통한 이상치 분리가 훨씬 더 효과적으로 이루어집니다.
2. 이 접근법은 복잡한 대조 학습이나 좌표 변환 이상의 아키텍처 변경 없이 무조건부 및 조건부 OOD 탐지 작업 모두에서 성능을 향상시킵니다.
3. 이 방법은 이상 탐지를 위한 생성 모델의 '차원의 저주'에 대한 이론적 및 실용적 해결책을 제공하며, 상대적으로 간단한 표준 VAE 구성 요소를 기반으로 구현하면서도 여러 벤치마크에서 FPR95 지표에 있어 최첨단 결과를 제공합니다.

저자들은 좌표 변환이 계산 오버헤드를 추가함 (200 차원의 경우 에포크당 약 32% 느려짐) 을 지적하지만, 탐지 성능의 향상이 비용을 정당화한다고 결론지었습니다. 그들은 고차원 잠재 매니폴드의 희소성을 제어하고 감소시키는 것이 이상 탐지는 물론 분류 및 생성과 같은 다른 작업의 개선에도 결정적인 요소라고 결론 내립니다.