Detection, Attribution, Narration: An End-to-End Pipeline for Explainable Money Mule Identification

기술 요약: 탐지, 귀속, 내러티브: 설명 가능한 머니 뮬(Money Mule) 식별을 위한 엔드 투 엔드 파이프라인

문제 정의
머니 뮬 계좌는 금융 사기의 핵심적인 조력자이지만, 거래 및 행동 데이터의 이질적인 특성으로 인해 대규모로 탐지하는 데 어려움이 따릅니다. 금융 기관의 전통적인 탐지 방식은 결정론적이고 임계값 기반인 규칙(예: 거래 속도 제한)에 의존합니다. 이러한 규칙 기반 시스템은 해석 가능하지만, 정밀도와 재현율 사이의 경직된 트레이드오프 문제를 안고 있습니다. 즉, 규칙을 강화하면 허위 양성(False Positive)은 줄어들지만 정교한 머니 뮬이 탐지를 회피할 수 있고, 규칙을 완화하면 분석가의 검토 업무가 과부하됩니다. 또한, 규칙 기반 시스템은 개별 피처를 고립된 상태에서 처리하는 경우가 많아, 머니 뮬 행동의 특징인 다차원적이고 미묘한 이상 징착을 포착하는 데 실패합니다. 중요한 운영상의 격차가 존재합니다. 탐지만으로는 불충분하며, 플래그가 지정된 모든 고객에 대해 인간의 검토가 필요합니다. 결과적으로, 탐지 시스템의 효용성은 통계적 정밀도뿐만 아니라 분석가가 얼마나 빠르고 확신 있게 경보를 분류(Triage)할 수 있는지에 달려 있으며, 이는 학술 문헌에서 종종 경시되는 요구사항입니다.

방법론
저자들은 탐지와 설명 가능성을 모두 해결하기 위해 설계된 세 단계의 순차적 단계로 구성된 엔드 투 엔드 파이프라인을 제시합니다:

1. 피처 엔지니어링 및 분류:

   • 데이터: 시스템은 코어 뱅킹 거래, 온보딩 기록, 디바이스/채널 메타데이터 및 워치리스트 피드를 입력받습니다.
   • 피처: 280개의 엔지니어링된 피처가 고객 단위로 생성되며, 거래 패턴, 계좌 인구통계, 네트워크/그래프 토폴로지, 시간적 행동, 디바이스/세션/채널의 5개 그룹으로 구성됩니다. 이 피처들은 단기적 급증과 장기적 드리프트(Drift)를 모두 포착하기 위해 여러 시간 창(7, 30, 90, 180일)에 걸쳐 집계됩니다.
   • 모델: 이진 분류를 위해 LightGBM 분류기가 학습됩니다. 클래스 불균형 문제를 해결하기 위해 네거티브 샘플링을 사용하여 1:5의 양성 대 음성 비율을 달고, 학습 중 scale_pos_weight를 적용합니다.
   • 보정(Calibration): 예측된 점수(예: 0.8)가 경험적 가능성을 충실히 반영하여 경보 순위 지정에 유용하도록 원시 확률 점수를 Platt 스케일링을 통해 조정합니다.

2. 귀속 레이어 (TreeSHAP):

   • 경보 임계값을 초과하는 고객에 대해 모델의 예측을 TreeSHAP을 사용하여 분해합니다.
   • 맥락 유지와 간결한 전달 사이의 균형을 맞추기 위해, 각 예측에 대해 절대적 SHAP 크기가 큰 상위 10개 피처를 선택합니다.
   • 선택된 각 피처에 대해 피처 이름, 원시 값, SHAP 기여도 값 및 영향의 방향을 추출합니다.

3. 내러티브 레이어 (LLM):

   • 구조화된 SHSHAP 귀속 값을 분석가를 위한 자연어 내러티브로 변환하기 위해 자체 호스팅되는 오픈 웨이트 대규모 언어 모델(LLM)을 사용합니다.
   • 배포: 데이터 거주성 및 컴플라이언스를 보장하기 위해 NVIDIA H100 GPU 기반의 온프레미스 환경에 모델을 배포합니다. 세 가지 모델(Gemma-3-27B, GPT-OSS-120B, Qwen3-Next-80B-A3B)을 평가했습니다.
   • 프롬프트 엔지니어링: 프롬프트에는 예측 컨텍스트, 상위 10개 SHAP 증거 튜플, 그리고 고정된 JSON 스키마(레드 플래그, 이유, 증거 참조)를 출력하도록 하는 엄격한 지침이 포함됩니다. LLM은 제공된 피처만을 인용하고 추측을 피하도록 제약됩니다.
   • 선택: GPT-OSS-120B는 우수한 사실적 정확도, 유형론적 타당성, 그리고 추론 속도(매개변수 수가 가장 많음에도 불구하고 Mixture-of-Experts 아키텍처와 짧은 응답 길이 덕분에 낮은 지연 시간 달성)로 인해 프로덕션용으로 선택되었습니다.

주요 기여

• 고차원 ML 분류기: 신뢰할 수 있는 확률 추정을 입증하는 보정 분석이 적용된 280개 피처 기반의 LightGBM 모델.
• LLM 증강 설명 가능성: 양적 SHAP 귀속 값을 분석가용 자연어 내러티브로 변환하여, 모델 출력과 운영적 조치 사이의 "라스트 마일(Last-mile)" 격차를 해소하는 혁신적인 파이프라인.
• 라이브 프로덕션 검증: 실제 AML 환경에 시스템을 배포하여, 학술 문헌에서는 거의 보고되지 않는 실질적인 수익률(Yield rate) 및 경보 볼륨에 대한 실세계 지표를 제공함.
• 운영 통찰력: 모델 거버넌스와 LLM 환각(Hallucination) 완화 전략을 포함하여, 규제된 워크플로우에 ML 및 LLM 구성 요소를 통합하는 방법에 대한 실무적 가이드 제공.

결과

• 분류 성능: 홀드아웃 테스트 세트에서, 모델은 0.8의 운영 임계값에서 정밀도 0.909, 재현율 0.816을 달성했습니다. 고득점 영역에서의 기대 보정 오차(ECE)는 0.021이었습니다.
• 프로덕션 수익률(Yield Rate): 라이브 배포 결과, 시스템은 89%의 수익률을 기록했으며, 이는 기존 규칙 기반 시스템의 **61%**보다 크게 향상된 수치입니다. 이는 분석가가 검토한 경보 중 89%가 실제 머니 뮬로 확인되었음을 의미합니다.
• 커버리지 및 볼륨: 월간 경보량은 기존 규칙 기반 시스템의 211건에서 ML 파이프라인 적용 후 302건으로 증가했습니다. 이러한 확장은 노이즈의 증가가 아니라 더 넓은 범위의 진양성(True-positive) 커버리지를 반영하며, 기존 워크플로우 대비 **60%의 추가적인 부정적 탐지(Incremental adverse detection)**를 나타냅니다.
• 피처 중요도: 글로벌 SHAP 분석 결과, 계좌 인구통계(예: 고객 연령, 계좌 보유 기간)와 거래 패턴(예: 입금 대비 출금 비율)이 주요 동인으로 나타났습니다. 특히 금융 활동이 없는 계좌와 특정 인구통계적 프로필이 강력한 신호였습니다.
• LLM 평가: 테스트된 모델 중 GPT-OSS-120B가 사실적 정확도(4.20/5)와 유형론적 타당성에서 가장 높은 점수를 받았습니다. 분석가 피드백에 따르면, LLM 생성 내러티브는 원시 SHAP 시각화 자료를 사용하는 것보다 인지 부하를 크게 줄여주어 더 빠른 가설 형성을 가능하게 했습니다.

의의 및 주장
본 논문은 AML 탐지의 주요 병목 현상이 모델의 정확도가 아니라 설명의 사용성(Usability)에 있다고 주장합니다. LLM 내러티브 레이어를 통합함으로써, 본 파이프라인은 복잡한 피처 귀속 값을 실행 가능한 인사이트로 성공적으로 변환하여 분석가의 도입을 직접적으로 이끌어냅니다. 저자들은 온프레미스에 배포된 오픈 웨이트 모델이 설명 품질을 희생하지 않으면서도 엄격한 데이터 거주성 요구사항을 충족할 수 있으며, 이를 통해 외부 API를 사용할 수 없는 금융 기관에서도 이 접근 방식이 유효함을 입증합니다. 또한, ML 모델은 단순히 정밀도 측면뿐만 아니라 확장성 측면에서도 규칙 기반 시스템을 능가할 수 있음을 보여줍니다. ML 파이프라인은 허위 양성을 불균형하게 늘리지 않고도 경보 볼륨을 늘릴 수 있는 반면, 규칙 기반 시스템은 규모를 키우려 할 때 허위 양성이 급격히 증가하는 문제를 겪습니다. 결론적으로, LLM 환각 및 라벨 품질에 대한 잔여 위험은 존재하지만, 구조화된 프롬프트 제약과 주기적인 인간 검토는 이러한 시스템을 고위험 규제 금융 환경에 배치할 수 있는 실질적인 경로를 제공합니다.