A Dual-Path Generative Framework for Zero-Day Fraud Detection in Banking Systems

1. 문제 정의 (Problem Statement)

은행 시스템의 고빈도 디지털 결제 환경은 다음과 같은 심각한 도전 과제에 직면해 있습니다.

• 제로데이 (Zero-Day) 사기 탐지의 어려움: 기존 규칙 기반 시스템이나 판별형 (Discriminative) 머신러닝 모델은 과거 데이터에 존재하지 않는 새로운 공격 패턴 (제로데이) 을 탐지하는 데 한계가 있습니다.
• 극단적인 클래스 불균형 (Class Imbalance): 사기 거래는 전체 거래의 극히 일부 (약 0.17%) 를 차지하여, 모델이 편향되어 위음성 (False Negative) 비율이 높아지는 문제가 발생합니다.
• 규제적 설명 가능성 (Explainability) 과 지연 시간 (Latency) 의 상충: GDPR(일반 데이터 보호 규정) 은 사기 차단 결정에 대한 설명을 요구하지만, SHAP(Shapley Additive Explanations) 와 같은 고급 XAI 기법은 계산 복잡도가 높아 실시간 (<50ms) 처리를 방해합니다.
• 이산 데이터 (Discrete Data) 의 처리: 은행 데이터의Merchant Category Code(MCC) 와 같은 이산형 범주형 데이터는 기존 생성 모델 (GAN 등) 에서 학습이 어렵고, SMOTE 와 같은 기존 오버샘플링 기법은 비즈니스 로직을 위반하는 가우시안 노이즈를 생성합니다.

2. 제안된 방법론 (Methodology)

이 논문은 이중 경로 생성 프레임워크 (Dual-Path Generative Framework) 를 제안하여 실시간 탐지와 오프라인 학습을 분리하고, 생성적 모델의 강점을 활용합니다.

A. 아키텍처 개요

시스템은 두 가지 병렬 경로를 가집니다:

1. 동기식 이상 탐지 경로 (Synchronous Anomaly Detection Path):

   • VAE(변분 오토인코더) 기반: 정상 거래의 분포를 학습하여 잠재 공간 (Latent Space) 을 구축합니다.
   • 동작 원리: 실시간 거래를 입력받아 재구성 오차 (Reconstruction Error) 를 계산합니다. 재구성 오차가 임계값을 초과하면 이를 이상 (사기) 으로 간주합니다.
   • 성능: <50ms 의 낮은 지연 시간을 보장합니다.

2. 비동기식 적대적 스트레스 테스트 경로 (Asynchronous Adversarial Stress-Tester Path):

   • WGAN-GP(Gradient Penalty 가 적용된 Wasserstein GAN) 기반: 오프라인에서 고엔트로피의 가짜 사기 시나리오를 생성합니다.
   • 목적: 생성된 사기 샘플을 VAE 에 피드백하여 탐지 경계를 강화하고, 미탐지된 새로운 사기 패턴에 대비합니다.

B. 핵심 기술적 요소

• Gumbel-Softmax Estimator: MCC 와 같은 이산형 범주형 데이터가 미분 불가능한 문제를 해결하기 위해 도입되었습니다. 이를 통해 역전파 (Backpropagation) 중에도 이산 속성이 미분 가능하게 되어 비즈니스 로직을 유지하면서 생성 모델 학습이 가능해집니다.
• 트리거 기반 설명 가능성 (Trigger-based XAI):
  • 모든 거래에 SHAP 을 적용하면 계산 비용이 너무 큽니다.
  • 전략: VAE 의 재구성 오차가 임계값 ($\tau$) 을 초과하는 '높은 불확실성 (High-Uncertainty)' 거래에만 SHAP 을 활성화합니다.
  • 결과: 계산 부하를 줄이면서도 규제 준수 (GDPR) 와 인간 전문가의 검토 (HITL) 를 가능하게 합니다.

C. 알고리즘 흐름 (Algorithm 1)

1. 실시간 거래 $x$를 VAE 에 통과시켜 재구성 오차 $E(x)$ 계산.
2. $E(x) \le \tau$이면 승인 (Approve).
3. $E(x) > \tau$이면 SHAP 트리거 실행 및 인간 전문가 검토 (HITL).
   • 사기 확인 시: 차단 및 WGAN-GP 재학습용 데이터 저장.
   • 위음성 (False Positive) 확인 시: VAE 결정 경계 정제.

3. 주요 기여 (Key Contributions)

1. VAE-WGAN 하이브리드 아키텍처: 클래스 불균형 문제를 해결하기 위해 VAE 로 정상 분포를 학습하고, WGAN-GP 로 복잡한 사기 경계 (Boundary) 를 시뮬레이션하여 상호 보완적인 구조를 제시했습니다.
2. 이산 데이터 처리 혁신: Gumbel-Softmax 를 통합하여 은행 데이터의 이산형 특성 (MCC 등) 을 생성 모델에서 자연스럽게 처리할 수 있게 했습니다.
3. 지연 시간과 설명 가능성의 균형: '트리거 기반 XAI' 메커니즘을 통해 실시간 처리 속도 (<50ms) 를 유지하면서도 규제 요구사항을 충족하는 설명 가능성을 제공했습니다.
4. 적응형 피드백 루프: 인간 전문가의 검토 결과를 통해 WGAN-GP 가 새로운 사기 패턴을 학습하고 VAE 를 미세 조정하는 폐쇄 루프 (Closed-loop) 시스템을 구축했습니다.

4. 평가 및 결과 (Evaluation & Results)

논문의 시나리오별 평가 결과는 다음과 같습니다:

• 적응형 마이크로 거래 사기 (Salami Slicing): 고빈도 소액 거래를 탐지하여 VAE 가 잠재 공간에서의 빈도 - 엔트로피 이상을 효과적으로 포착함을 입증했습니다.
• 카드 미소지 (CNP) 속도 공격: Gumbel-Softmax 와 WGAN-GP 를 통해 MCC 의 희소성과 고차원성을 처리하고, 실시간 재학습 없이도 새로운 공격 패턴을 즉시 탐지할 수 있음을 보였습니다.
• 계정 탈취 (ATO) 및 행동 편차: 사기 신호가 거래 금액이 아닌 행동 패턴 (IP, 기기 ID 등) 에 숨겨진 경우에도 인간 - 기계 협력 (HITL) 을 통해 효과적으로 대응했습니다.
• 성능: 전체 트래픽의 99.9% 이상은 SHAP 계산 없이 처리되어 시스템 처리량 (Throughput) 을 유지하면서도, 고위험 거래에 대해서는 상세한 설명을 제공했습니다.

5. 의의 및 중요성 (Significance)

이 연구는 금융 사기 탐지 분야에서 다음과 같은 중요한 의의를 가집니다:

• 규제 준수와 기술적 효율성의 조화: GDPR 의 '설명 권리 (Right to Explanation)'를 준수하면서도 고빈도 거래 환경의 엄격한 지연 시간 제약을 해결한 최초의 프레임워크 중 하나로 평가됩니다.
• 제로데이 사기 대응: 과거 데이터에 의존하지 않고 생성적 모델을 통해 미래의 사기 패턴을 예측하고 대비하는 능력을 입증했습니다.
• 실용적 확장성: 이산형 데이터 처리와 인간 전문가의 개입을 통한 지속적인 학습 (Continuous Learning) 구조는 실제 은행 시스템에 적용 가능한 높은 실용성을 보여줍니다.

결론적으로, 이 논문은 단순한 탐지 모델을 넘어, 생성적 AI 와 인간 전문가의 협업을 통해 금융 시스템의 보안, 규제 준수, 그리고 운영 효율성을 동시에 달성하는 새로운 패러다임을 제시합니다.