AI-Based Fraud Detection System for Subscription-Based Payment Services

기술 요약: 구독 기반 결제 서비스를 위한 AI 기반 부정 결제 탐지 시스템

문제 정의
구독 기반 결제 서비스(예: 스트리밍, SaaS, 정기 멤버십)는 일반적인 일회성 이커머스 거래와는 구별되는 독특한 부정 결제(Fraud) 환경을 제시한다. 일반적인 결제 부정 관련 문헌이 금액, 가맹점, 위치를 특징으로 하는 독립적 거래에 집중하는 반면, 구독 부정은 반복적이고 시간적이며 계정 중심적인 청구 주기를 악용한다. 주요 과제는 다음과 같다:

• 반복적 구조: 사기꾼들은 예측 가능한 청구 간격과 고정된 금액을 악용한다 (예: 소액 테스트 결제를 통한 카드 테스팅, 반복적인 무료 체험 남용).
• 계정 생애주기: 장기 유지 계정은 단일 거래 모델이 무시하는 행동 이력을 축적하는 반면, 정당한 셀프 서비스 이벤트(업그레이드, 일시 중지, 기기 변경 등)는 부정 결제와 유사한 노이즈를 생성한다.
• 지연된 정답(Ground Truth): 부정 확정(특히 차지백/결제 취소)은 거래 후 몇 주 또는 몇 달 후에 발생하는 경우가 많아, 학습 데이터에서 심각한 클래스 불균형과 검열된 레이블(Censored labels) 문제를 야기한다.
• 문헌의 공백: 기존 AI 연구는 주로 일반적인 온라인 결제 부정에 초점을 맞추고 있어, 구독 특화 탐지 분야는 미개척 상태로 남아 있다. 현재의 시스템은 구독 특유의 패턴을 놓치거나, 정당한 생애주기 이벤트를 과도하게 차단할 위험이 있다.

방법론 및 시스템 아키텍처
본 논문은 실시간 및 배치 스코어링을 처리하기 위해 감사 가능성(Auditability)과 단계적 대응(허용, 챌린지, 검토, 차단)에 초점을 맞춘 5계층 시스템 아키텍처를 제안한다:

1. 데이터 수집(Data Ingestion): 빌링, 인증 및 클라이언트 시스템으로부터 원시 이벤트를 수집한다.
2. 특징 공학(Feature Engineering): 부정 생애주기에서 도출된 **10개 카테고리의 특징 분류 체계(Taxonomy)**를 계산한다:
   • 정적/구조적(Static/Structured): 거래 금액, 결제 빈도, 기기 정보, IP/위치, 다중 계정 관계.
   • 순차적/시간적(Sequential/Temporal): 갱신 패턴, 사용자 행동 시퀀스, 결제 실패 시도, 구독 변경, 차지백/환불 행동.
3. 모델 계층(Model Layer): 비교 모델 및 제안된 하이브리드 아키텍처를 호스트한다.
4. 의사결정 계층(Decision Layer): 구성 가능한 임계값에 따라 리스크 점수를 액션에 매핑한다.
5. 피드백 계층(Feedback Layer): 지연된 결과(부정 확정, 차지백)를 캡처하여 모델을 재학습시킨다.

모델 비교 및 하이브리드 아키텍처
본 연구는 로지스틱 회귀, 랜덤 포레스트, XGBoost/LightGBM, LSTM/Bi-LSTM, 오토인코더로 이어지는 점진적인 모델 체인을 평가한다. 연구는 트리 기반 모델이 구조적 특징에 탁월하고 시퀀스 모델이 시간적 의존성을 포착하는 데 유리하지만, 두 모델 모두 단독으로는 전체 문제를 해결할 수 없음을 식별하였다. 이에 따라 두 가지 하이브을 하이브리드 아키텍처를 제안한다:

• 하이브리드 I (XGBoost + Bi-LSTM): 구조적 특징을 위한 XGBoost 분류기와 순차적 빌링 이력을 위한 양방향 LSTM 인코더를 결합한다. 이는 레이블이 지정된 부정 데이터가 가용한 환경을 위해 설계되었다.
• 하이브리드 II (XGBoost + Autoencoder): XGBoost와 정당한 빌링 패턴으로 학습된 비지도 학습 기반 오토인코더를 결합한다. 오토인코더의 재구성 오차(Reconstruction error)는 이상 징후 신호 역할을 하며, 이는 레이블이 지정된 부정 데이터가 너무 적어 지도 학습 기반 시퀀스 훈련이 어려운 경우 유용하다.

평가 전략
실제 레이블 데이터의 희소성과 문제의 시간적 특성을 인식하여, 본 논문은 합성 구독 빌링 데이터 생성기와 시간 기반 워크 포워드 검증(Time-based walk-forward validation) 프로토콜을 채택한다.

• 데이터셋: 730일 동안 2,600개의 계정을 시뮬레이션하며, 주입된 부정 유형(체험 남용, 카드 테스팅, 계정 공유, 계정 탈취, 차지백, 환불 남용)과 현실적인 노이즈를 포함한다.
• 불균형 처리: 구조적 특징에는 SMOTE를 사용하고, 시퀀스 모델에는 클래스 가중치 손실(Class-weighted loss)을 적용하며, 검열된 레이블 처리(학습 시 미확인 이벤트를 정당한 것으로 취급하여 실제 지연 상황을 모사)를 수행한다.
• 지표: 정밀도(Precision), 재현율(Recall), F1, AUC-PR(불균형 데이터에서 AUC-ROC보다 선호됨)과 함께 손실 감소 및 고객 마찰률(Customer friction rate)과 같은 비즈니스 지표에 집중한다.

주요 결과
12개의 독립적으로 시딩된 합성 데이터셋을 통해 평가한 결과, 설계 의도와 일치하는 내부적 일관성을 입증하였다:

• 하이브리드 I 성능: 모든 탐지 품질 지표(정밀도, 재현율, F1, AUC-PR)에서 개별 구성 모델(XGBoost 및 Bi-LSTM)을 유의미하게 능가했다. 또한 단순 XGBoost를 **파레토 우위(Pareto-dominated)**로 압도하며, 더 낮은 고객 마찰(4.5% vs 2.2%)과 함께 더 높은 손실 감소(42.5% vs 45.2%)를 달eric했다.
• 하이브리드 II 성능: 정밀도, F1, AUC-PR 측면에서 단독 오토인코더 및 XGBoost를 유의미하게 능가했다. 그러나 XGBoost 단독 모델에 비해 재현율과 손실 감소 측면에서는 통계적으로 유의미하지만 미미한 열세를 보였는데, 이는 낮은 마찰률을 얻기 위해 해당 지표를 절충한 결과이다.
• 부정 유형별 특이성: 모델은 "계정 탈취" 및 "환불 남용"(승인 시점에 탐지 가능)에 대해 높은 재현율(>90%)을 달성했으나, "차지백/친화적 부정(Friendly fraud)"에 대해서는 재현율이 거의 0에 가까웠다. 이는 차지백 부정이 승인 시점의 분류 문제가 아니라 사후 거래 리스크 추정 작업임을 경험적으로 확인해 준다.
• 강건성(Robustness): 모델의 질적 순위는 파라미터가 변동된 생성기 변형(노이즈가 증가하거나 부정 그룹 규모가 작아진 경우)에서도 안정적으로 유지되었다.
• 제로샷 일반화(Zero-Shot Generalization): 특정 부정 유형(계정 공유)을 학습에서 제거했을 때, 지도 학습 모델은 재현율이 0으로 붕괴되었다. 이는 모델이 일반적인 "공유" 개념이 아닌 특정 시그니처를 학습함을 나타낸다. 비지도 학습 기반 오토인코더는 최소한의 탐지 능력은 유지했으나 유의미한 일반화 성능을 보이지는 않았다.

의의 및 주장
본 논문은 특징 분류 체계, 모델 비교 방법론, 그리고 구독 빌링의 반복적이고 계정 중심적인 구조에 맞춤화된 시스템 아키텍처의 부재라는 문헌상의 공백을 메우는 **개념 증명(Proof-of-concept)**으로서 본 연구를 위치시킨다.

• 기여: 구독 부정에 대한 정적 및 순차적 특징을 결합하는 구조적 접근 방식을 제공하며, 하이브리드 아키텍처가 설계된 합성 데이터 상에서 구성 모델보다 뛰어난 성능을 보일 수 있음을 입증한다.
• 한계: 저자는 결과가 실제 세계의 성능을 검증한 것이 아님을 명시적으로 밝히고 있다. 결과는 합성 데이터 구축 방식과 선택된 결정 임계값에 종속적이며, 실제 비용 최적화에 따른 보정된 수치가 아니다.
• 향후 과제: 실제 익명화된 데이터에 대한 검증, 관계 모델링을 위한 그래프 신경망(GNN) 확장, 동적 임계값 조정을 위한 강화 학습 구현의 필요성을 제시한다.

요약하자면, 본 논문은 일반적인 결제 부정 모델이 구독 서비스에는 불충분할 수 있다고 주장하며, 구조적 계정 특징과 순차적 빌링 이력을 모두 활용하는 하이브리드 접근 방식이 엄격한 시간 기반 검증과 지연된 정답에 대한 이해가 뒷받침될 때 탐지를 위한 유망하고 이론적으로 타당한 방향임을 보여준다.