Revisiting Energy-based Tabular Anomaly Detection: Energy and Reconstruction are Complementary

기술 요약: 에너지 기반 표 형식 이상 탐지의 재조명

문제 정의
표 형식(Tabular) 이상 탐지는 현재 세 가지 방법론적 계보에 의해 주도되고 있다: 고전적인 밀도 근사 방식(예: Isolation Forest, OCSVM, LOF), 재구성 기반 탐지기(예: Autoencoders, VAEs), 그리고 현대적인 비매개변수 스코어러(예: COPOD, ECOD, Deep SVDD)이다. 이러한 접근 방식들이 공유하는 결정적인 한계는 인라이어(inlier) 분포를 기하학적 분할, 지지 경계, 국소 밀도 비율, 또는 좌표별 재구성 오차를 통해 간접적으로만 근사한다는 점이다. 이들 중 어떤 것도 모든 입력 특성의 결합 구성(joint configuration)에 대해 정의된 명시적이고 미분 가능한 스칼라 에너지 함수를 제공하지 않는다. 에너지 기반 모델(EBM)이 딥러닝(예: Energy-Based Transformers, JEPA)에서 부활을 경험하고 있음에도 불구하고, 고전적인 EBM은 표 형식 이상 탐지 도구 상자에서 여전히 거의 보이지 않는다. 본 논문은 다층 양방향 EBM의 전형인 딥 볼츠만 머신(Deep Boltzmann Machine, DBM)이 이 영역에서 경쟁력 있고 상호 보완적인 탐지기로 기능할 수 있는지 조사한다.

방법론
본 연구는 두 개의 서로 다른 표 형식 벤치마크인 UCI Bank Marketing(직접 마케팅 데이터)과 NSL-KDD(네트워크 침입 탐지, 정상 대 DoS 공격으로 제한)를 대상으로 훈련된 2개의 은닉층을 가진 DBM을 평가한다. 실험 프로토콜은 통계적 견고성을 확보하기 위해 20개의 무작위 시드를 사용하며, DBM을 8개의 확립된 베이스라인과 비교한다.

• 모델 아키텍처: DBM은 가시층(이진 인코딩된 특성)과 두 개의 은닉층($H_1=48, H_2=24$)으로 구성된다. 이는 Persistent Contrastive Divergence(PCD)를 사용하는 제한 볼츠만 머신(RBM)의 탐욕적 층별 사전 훈련(greedy layer-wise pretraining)을 거친 후, 전체 네트워크의 공동 미세 조정(joint fine-tuning)을 통해 훈련된다.
• 스코어링 메커니즘: 주요 이상 점수는 평균장 에너지(mean-field energy)로 정의되는 $F_{before}(v) = E_\theta(v, \mu)$이다. 이 점수는 10회의 추론 과정을 거친 후 은닉 단위들을 그들의 평균장 기대값($\mu$)으로 대체하여 얻는다. 결정적으로, 저자는 적절한 변분 자유 에너지(variational free energy, $E - H$, 여기서 $H$는 사후 확률의 엔트로피)를 사용하는 것이 성능을 저하시킨다는 것을 발견했는데, 이는 엔트로피 항이 이상치에 대해 체계적으로 더 커서 판별 신호를 부분적으로 상쇄하기 때문이다. 따라서 순수 에너지 $E$가 점수로 사용된다.
• 하이브리드 전략: 본 연구는 DBM 에너지와 Autoencoder(AE) 재구성 오차의 상호 보완성을 다음의 방식으로 테스트한다:
  1. 순위 융합(Rank Fusion): 두 점수의 백분위 순위를 평균화한다.
  2. 볼록 결합(Convex Combination): 가중합 $S_\alpha = \alpha F_{DBM} + (1-\alpha) F_{AE}$를 사용하며, 가중치는 leave-one-seed-out 교차 검증을 통해 튜닝된다.
• 절제 및 제어: 본 연구는 AE를 다른 모든 베이스라인과 쌍으로 묶어 비교하는 철저한 비교를 포함한다. 또한, DBM의 에너지 점수를 DBM 자체의 재구성 오차(가시층을 클램핑하고 이진 교차 엔트로피를 계산하여 산출)와 비교함으로써, 동일한 모델 패밀리 내에서 에너지 관점과 재구성 관점의 가치를 격리한다.

주요 기여 및 결과

1. 경쟁력 있는 단일 방법론 성능:

   • Bank Marketing 데이터셋에서 DBM 평균장 에너지($F_{before}$)는 가장 강력한 베이스라인인 Autoencoder와 통계적으로 구별 불가능한 수준(AUROC 0.713 vs. 0.731, $p=0.10$)이며, 나머지 7개의 베이스라인을 유의미하게 능가한다.
   • NSL-KDD 데이터셋(대부분의 방법론이 AUROC 천장에 근접하는 고포화 영역)에서 DBM은 모든 지표에서 Autoencoder를 통계적으로 앞서며(AUROC +0.0016, $p < 0.002$), 다른 모든 베이스라인을 유의미하게 능가한다.

2. 에너지와 재구성의 상호 보완성:

   • DBM 에너지와 Autoencoder 재구성 오차를 결합하면 두 데이터셋 모두에서 통계적으로 유의미한 개선이 나타난다.
   • Bank Marketing: 순위 융합은 AUROC 0.745를 달성하여 (AE 대비 +0.014, $p < 0.01$) 개선되었다.
   • NSL-KDD: 순위 융합은 AUROC 0.9953을 달축하여 (AE 대비 +0.0021, $p < 0.001$) 개선되었다.
   • 볼록 결합 곡선은 개별 종단점보다 엄격히 높은 명확한 정점을 보여주며, 이는 두 점수가 인라이어 분포의 진정으로 다른 측면을 포착하고 있음을 확인시켜 준다.

3. DBM 기여의 특이성:

   • AE를 VAE, LOF, Isolation Forest 등 다른 베이스라인과 결합했을 때, 성능이 개선되지 않거나 오히려 크게 저하된다.
   • 오직 DBM 유래 점수(평균장 에너지 $F_{before}$ 및 DBM 자체의 재구성 오차)만이 Autoencoder를 성공적으로 보강한다. 이는 DBM이 피드포워드 재구성 네트워크의 "좌표별" 관점과는 구조적으로 구별되는, 독특한 "결합 구성" 관점을 제공함을 나타낸다.

4. 계산적 트레이드오프:

   • 훈련: DBM은 PCD 과정에서의 Gibbs 샘플링과 평균장 추론 요구 사항으로 인해 Autoencoder보다 훨씬 더 많은 비용(약 11~17배)이 소요된다.
   • 추론: 일단 훈련되면, DBM을 이용한 스코어링은 매우 효율적이다(1k 샘플당 약 1.52.0ms). 이는 Autoencoder보다 약 23배 빠르며, OCSVM보다는 한 자릿수 더 빠르다.

의의 및 주장
본 논문은 고전적인 에너지 기반 모델, 특히 DBM이 재구성 기반 방법론을 대체하는 것이 아니라, 비중복적인 상호 보완적 관점으로서 표 형식 이상 탐지 도구 상계에 자리 잡아야 한다고 주장한다.

핵심 주장은 DBM의 평균장 에너지가 평균장 추론을 통해 은닉 단위 구성 전체의 증거를 집계하는 반면, 재구성 오차는 피드포워드 병목 구간에서 좌표별로 계산된다는 것이다. 이러한 구조적 차이 덕분에 DBM은 전역적으로는 타당하지만 국소적으로는 특이한 경우(또는 그 반대)를 포착할 수 있으며, 이는 재구성 기반 방법론이 놓칠 수 있는 부분이다. 저자는 언어 및 시각 분야에서 일어난 최근의 EBM 부활이 표 형식 데이터로도 확장되어야 하며, 이를 통해 기존의 재구성 기반 접근 방식과 확실히 상호 보완적인 명시적 에너지 관점을 제공해야 한다고 역설한다.

본 연구는 두 개의 특정 데이터셋에 기반하고 있으며 연속적 속성에 대한 분위수 빈닝(quantile binning)이 필요하다는 점을 인정하며 범위의 겸손함을 유지한다. 그러나 DBM-AE 하이브리드의 일관된 우월성과 다른 모든 DBM이 아닌 조합이 Autoencoder의 성능을 개선하는 데 실패했다는 사실은, 에너지 기반 관점이 표 형식 이상 탐지에서 갖는 독특한 가치에 대한 강력한 증거를 제공한다.