기술 요약: 표 형식 데이터 이상치 탐지를 위한 제로샷 파운데이션 모델의 발전

문제 정의

이상치 탐지(Outlier Detection, OD)는 금융, 의료, 보안 분야의 애플리케이션에서 매우 중요하지만, 레이블이 지정된 이상치의 희소성 또는 완전한 부재로 인해 실제 배포에 어려움을 겪고 있습니다. 이러한 정답(ground truth)의 부재는 적절한 알고리즘과 하이퍼파라미터를 선택하는 것을 매우 어렵게 만듭니다. 파운데이션 모델(Foundation Models, FMs)은 인컨텍스트 러닝(In-context Learning, ICL)을 통해 "알고리즘-인-어-박스(algorithms-in-a-box)" 역할을 수행하며 지도 학습 기반의 표 형식 데이터 학습(예: TabPFN)에 혁신을 일으켰으나, 비지도 학습 기반의 OD에 대한 적용은 아직 초기 단계에 머물러 있습니다. 이전 연구인 FOMO-0D(Shen et al., 2025)는 제로샷 OD를 위한 최초의 FM을 도입했으나, 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 사전 분포에만 의존하여 실세계 데이터에서 발견되는 다양한 생성 메커니즘을 포착하는 데 한계가 있었습니다.

방법론

본 논문은 OUTFORMER를 소개하며, 이는 **혼합 합성 사전 분포(mixture of synthetic priors)**와 자기 진화형 커리큘럼(self-evolving curriculum) 학습 전략이라는 두 가지 핵심 혁신을 통해 제로샷 표 형식 데이터 OD를 진전시킵니다.

1. 혼합 합성 사전 분포 (Mixed Synthetic Priors)

다양한 실세계 분포에 걸쳐 일반화하기 위해, OUTFORMER는 세 가지 서로 다른 사전 분포 패밀리로부터 생성된 라이브러리 기반의 합성 데이터셋으로 사전 학습됩니다. 이를 통해 다섯 가지의 서로 다른 이상치 아키타입(archetype)을 생성합니다:

• 가우시안 혼합 모델 (GMMs): 다중 모드성(multi-modality) 및 부분 공간 이상치를 시뮬레이션합니다.
• 구조적 인과 모델 (SCMs): 인과 그래프를 통해 생성 관계를 모델링합니다. 이 패밀리는 다음을 생성합니다:
  • 측정 이상치 (Measurement Outliers): 인과 구조를 통해 전파되는 외생적 충격.
  • 구조적 이상치 (Structural Outliers): 인과적 엣지가 끊어지거나 역전되는 내생적 변화.
• 코풀라 (Copulas): 주변 분포(예: 왜도, 멱법칙)와 의존 구조를 독립적으로 지정할 수 있게 합니다. 이 패밀리는 다음을 생성합니다:
  • 확률적 이상치 (Probabilistic Outliers): 데이터를 분포의 경계로 밀어내는 섭동.
  • 의존성 이상치 (Dependence Outliers): 원래의 의존 구조를 위반하는 경우(예: 좌표의 역전 또는 순열).

2. 자기 진화형 커리큘럼 (Self-Evolving Curriculum, SEC)

이질적인 사전 분포와 차원의 혼합 데이터로 학습하는 것은 도전 과제입니다. 단순한 혼합은 복잡한 사전 분포의 그래디언트가 지배하게 되어 모델이 단순한 분포(예: GMM)를 "망각"하는 최적화 실패를 초ellig 유발할 수 있습니다. 이를 해결하기 위해 OUTFORMER는 멀티 암드 밴딧(Multi-Armed Bandit, MAB) 기반의 커리큘럼을 채택합니다:

• 암 (Arms): 데이터 사전 분포와 차원 빈(bin)의 조합으로 정의됩니다.
• 보상 함수 (Reward Function): 포인트별 교차 엔트로피 손실의 분산에 기반한 카테고리 수준의 보상을 사용합니다. 이는 모델이 높은 확신을 가지면서도 혼합된 정답 여부를 보이는 데이터(학습 유용성이 높은 데이터)를 우선시하고, 너무 쉽거나(낮은 손실 분산) 너무 어렵거나 노이즈가 많은(높은 불확실성) 데이터는 배제합니다.
• 메커니즘: 밴딧은 학습 진전도를 극대화하는 작업에 집중하도록 샘플링 가중치를 적응적으로 조정하여, 수동적인 순서 지정 없이도 모델이 다양한 분포로부터 학습할 수 있도록 보장합니다.

3. 아키텍처 및 추론

• 아키텍처: 512개의 은닉 차원과 8개의 어텐션 헤드를 가진 10개 레이어의 트랜스포머(Transformer) 구조입니다(45.1M 파라미터). 레이블이 있는 학습 데이터를 컨텍스트로, 레이블이 없는 테스트 데이터를 쿼리로 처리하기 위해 교차 어텐션(cross-attention)을 활용합니다.
• 추론: OUTFORMER는 제로샷(zero-shot) 방식으로 작동합니다. 레이블이 없는 테스트 데이터와 레이블이 있는 학습 데이터(컨텍스트)만 주어지면, 단 한 번의 순방향 패스(forward pass)를 통해 테스트 레이블을 추론합니다. 추가적인 그래디언트 업데이트나 하이퍼파라미터 튜닝이 필요하지 않습니다.
• 앙상블 (Ensembling): 컨텍스트 제한을 초과하는 데이터셋을 처리하고 강건성을 높이기 위해, 추론 시 서브샘플링과 피처 배깅(feature bagging)을 사용하며 50개의 무작위 컨텍스트에 대해 점수를 평균화합니다.

주요 기여

1. 표 형식 OD를 위한 새로운 FM: OUTFORMER는 레이블이 있는 이상치나 모델 선택 과정 없이 SOTA 성능을 달달하는 최초의 파운데이션 모델입니다.
2. 혼합 합성 사전 분포: 단순한 가우시안 가정을 넘어 복잡한 이상치 아키타입(구조적, 측정, 확률적, 의존성 이상치)을 포착하는 다양한 사전 라이브러리(GMMs, SCMs, Copulas)를 구축했습니다.
3. 자기 진화형 커리큘럼: 멀티 암드 밴딧을 사용하여 학습 작업을 동적으로 선택함으로써, 다양한 사전 분포를 학습하는 것과 파괴적 망각을 방지하는 것 사이의 충돌을 해결하는 새로운 학습 전략을 제시했습니다.
4. 대규모 벤치마크: 기존의 ADBench(57개 데이터셋)를 넘어, 의미론적 이상치(semantic anomalies)를 포함한 OddBench(690개 데이터셋)와 통계적 이상치(statistical outliers)를 포함한 OvRBench(756개 데이터셋)를 도입하여 평가 범위를 확장했습니다.

실험 결과

OUTFORMER는 ADBench, OddBench, OvRBench의 세 가지 벤치마크에 걸친 1,500개 이상의 데이터셋에 대해 평가되었습니다.

• 성능: OUTFORMER는 고전적인 얕은 학습 방법(kNN, LOF, IForest), 딥러닝 모델(DeepSVDD, DDPM), 그리고 이전의 FM(FOMO-0D)을 포함한 기존 베이스라인들을 크게 능가하며 SOTA 성능을 달성했습니다.
  • ADBench에서 OUTFORMER는 가장 높은 평균 순위(4.02)와 ELO 점수(1235)를 기록하며, FOMO-0D를 유의미하게 앞질렀습니다(p ≤ 0.01).
  • 1,500개 이상의 모든 데이터셋에 대해, OUTFORMER는 베이스라인 대비 0.60의 승률을 유지하며 AUPRC 측면에서 모든 경쟁 모델을 압도했습니다(p ≤ 0.00).
• 절제 연구 (Ablation Studies):
  • 자기 진화형 커리큘럼을 제거하면 성능 저하가 발생하며, 이는 단순한 사전 분포 혼합보다 커리큘럼 기반 학습이 우월함을 확인시켜 줍니다.
  • 혼합 사전 분포(GMM만으로 학습)를 제거하면 실세계 데이터에 대한 성능이 크게 떨어지며, 이는 다양한 합성 사전 분포의 필요성을 입증합니다.
  • 앙상블은 정확도와 추론 지연 시간 사이의 유리한 트레이드오프를 제공하며, 작은 데이터셋에서는 성능 향상이 포화되지만 큰 데이터셋에서는 규모에 따라 확장됩니다.
• 효율성: OUTFORMer는 딥러닝 베이스라인에 필요한 학습 시간을 건너뛰고 빠른 추론(순방향 패스만 수행)을 제공합니다. 앙상블을 사용하더라도 경쟁력 있는 추론 시간을 유지합니다.

의의 및 주장

본 논문은 OUTFORMER가 이상치 탐지 분야에서 파운데이션 모델을 "비옥하고 유망한 개척지"로 확립했다고 주장합니다. 이 모델의 주요 의의는 진정한 플러그 앤 플레이(plug-and-play) 배포를 가능하게 한다는 점에 있습니다:

• 노력 제로 (Zero Effort): 알고리즘 선택, 하이퍼파라미터 튜닝, 레이블이 있는 이상치에 대한 접근 필요성을 제거합니다.
• 일반화 (Generalization): 합성 사전 분포와 ICL을 활용하여 추가 학습 없이도 새로운 미지의 실세계 작업에 효과적으로 일반화합니다.
• 확장성 (Scalability): 앙상링을 통해 대규모 데이터셋으로 확장 가능하면서도 낮은 지연 시간을 유지합니다.

저자들은 현재의 사전 분포가 고차 카디널리티(high-cardinality) 범주형 데이터에 대해 명시적으로 설계되지 않았다는 점(단, 예비 결과에서는 합리적인 전이 성능을 보임)과 현재 모델이 공정성이나 편향 문제를 고려하지 않는다는 점을 언급하며 한계를 인정했습니다. 그러나 본 연구는 합성 사전 학습과 적응형 커리큘럼 학습의 결 조합이 데이터 부족 및 선택의 문제를 극복할 수 있음을 보여줍니다.