📊 통계학

PolicyShift-AML: Auditing Selective-Label Policy Dependence in Anti-Money-Laundering Transaction Monitoring

이 논문은 자금세탁방지(AML) 모델의 오프라인 성능이 실제 사건의 상태보다는 기관의 조사 정책을 반영하는 경우가 많음을 드러내는 통제된 감사 프로토콜인 PolicyShift-AML을 소개하며, 표준 베이스라인과 비교하여 정책 의존적 레이블 선택 상황에서 잠재적 재현율(latent recall)을 유의미하게 향러상시키는 비음수 양의 미표기(non-negative positive-unlabeled) 추정치를 제안한다.

원저자: Muhammetalp Erdem

게시일 2026-09-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Muhammetalp Erdem

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고도의 긴장감이 흐르는 금융 세계에서, 자금 세탁에 맞선 소리 없는 전쟁이 매 초마다 벌어지고 있습니다. 은행들은 자동화된 시스템을 사용하여 수백만 건의 거래를 스캔하며, 불법 활동을 시사하는 패턴을 찾습니다. 그러나 이러한 시스템은 근본적인 사각지대에 직면해 있습니다. 즉, 이들은 전체 그림을 거의 보지 못한다는 점입니다. 이들은 오직 인간의 검토를 위해 경보 시스템이 플래그를 지정한 거래만을 볼 뿐입니다. 의심스러운 활동일 수 있는 대다수의 거래는 보이지 않는 상태로 통과합니다. 이는 컴퓨터 모델이 범죄자의 실제 행동이 아니라, 은행 자체의 조사 규칙을 인식하도록 학습하게 되는 왜곡된 현실을 만들어냅니다. 만약 은행이 무엇을 플래그로 지정할지에 대한 규칙을 변경하면, 범죄자가 변해서가 아니라 모델이 특정하고 좁은 데이터 조각에 기반해 학습되었기 때문에 모델의 성능이 급락할 수 있습니다. '선택적 레이블링(selective labeling)'이라고 알려진 이 문제는, 테스트에서는 완벽해 보이는 시스템이 실제 세계에서는 완전히 실패할 수 있음을 의미합니다. 이는 모델이 범죄 자체가 아니라 조사관의 습관을 암기했기 때문입니다.

트라브존 대학교의 한 연구자는 이러한 시스템이 자신을 훈련시키는 데 사용된 특정 규칙에 얼마나 의존하는지를 파악하기 위해, 혼란을 제거하고 본질을 꿰뚫어 보는 새로운 테스트 방법을 개발했습니다. 'PolicyShift-AML'이라는 제목의 이 연구는 법적으로 제한되거나 지저지고 복잡한 실제 은행 데이터를 사용하는 대신, 정교하게 설계된 300만 건의 거래 시뮬레이션을 사용합니다. 이 디지털 실험실에서 연구진은 거래가 실제로 의심스러운지 여부를 나타내는 고정된 '잠재적(latent)' 이벤트 스트림을 생성했습니다. 그런 다음 동일한 스트림에 대해 다섯 가지 서로 다른 조사 정책을 실행했습니다. 각 정책은 어떤 거래를 조사할지 결정하는 서로 다른 규칙을 가진 서로 다른 은행처럼 작동했지만, 다섯 가지 정책 모두 조사할 총 거래 수는 동일하게 설계되었습니다. 조사 대상이 되는 규칙만을 변경하면서 기저의 진실은 일정하게 유지함으로써, 연구팀은 모델의 성공이 실제 범죄 탐지 능력보다는 특정 정책에 얼마나 의존하는지를 정확히 분리하여 측정할 수 있었습니다.

연구 결과는 현재 이러한 모델들이 어떻게 평가되고 있는지에 대한 심각한 취약성을 드러냈습니다. 연구진이 하나의 특정 조사 정책으로부터 얻은 데이터로 모델을 훈련시킨 후 이를 고정된 진실 스트림에 테스트했을 때, 훈련에 사용된 정책에 따라 성능이 극명하게 갈렸습니다. 흔히 쓰이는 유형의 모델의 경우, 상위 500개의 의심 거래를 찾아내는 능력이 훈련 정책을 바꾸는 것만으로도 최저 약 26%에서 최고 거의 38%까지 차이가 났습니다. 이 26%에서 29% 사이의 성능 편차는 모델이 자금 세탁에 관한 보편적 진리를 배우는 것이 아니라, 입력받은 특정 조사 방식의 특이점을 배우고 있었음을 보여줍니다. 더욱 주목할 점은 표준 평가 방식이 위험할 정도로 낙관적이라는 발견이었습니다. 모델을 훈련할 때 사용했던 레이블만을 사용하여 모델을 테스트하면, 실제보다 훨씬 더 우수한 성능을 보이는 것처럼 나타납니다. 한 시나리오에서 표준 모델은 실제 위협을 찾아내는 실제 능력보다 10퍼센트 포인트 이상 높은 겉보기 성공률을 보였으며, 이는 시스템을 신뢰하는 기관들에 잘못된 안전감을 심어주었습니다.

이를 해결하기 위해, 이 연구는 누락된 정보들을 처리할 수 있는 더 강력한 모델 훈련 방식을 도입했습니다. '양의 미표집 학습(positive-unlabeled learning)'으로 알려진 이 접근 방식은 조사를 받지 않은 거래를 무해한 것으로 간나지 않고, 알려진 의심 거래와 신중하게 무게를 달아봐야 할 미지의 대상으로 취급합니다. 연구진은 조사 정책에 의해 발생하는 편향을 교정하기 위해, 거래가 검토 대상으로 선택될 확률을 고려하는 새로운 추정기를 구축했습니다. 거래 발생과 그것이 실제로 의심스러운지 확인되는 사이에 30일의 현실적인 지연 시간이 있는 시뮬레이션에서, 이 새로운 방식은 상위 500개의 위협을 찾는 데 약 40%의 성공률을 달성했습니다. 이는 동일한 조건에서 약 23%에 머물렀던 표준 모델에 비해 상당한 개선입니다. 이 새로운 방법은 시뮬레이션에서 '오라클(oracle)' 시스템—진실 확률을 미리 알고 있는 이론적인 완벽한 모델—의 성능에 거의 근접할 정도로 정확했으며, 이는 적절한 수학적 교정을 거치면 모델이 훈련 데이터의 한계를 넘어 볼 수 있다는 것을 시사합니다.

또한 연구진은 계정 간의 과거 상호작용 기록을 그래프 형태의 연결 구조로 추가하는 것이 모델을 더 안정적으로 만들 수 있는지 테스트했습니다. 이러한 그래프 기반 특징들은 새로운 방식이 잘 작동하는 데 필수적이었지만, 모델을 훈련 정책으로부터 면역력을 갖게 하지는 못했습니다. 모델은 여전히 훈련 방식에 민감함을 보였으며, 이는 복잡한 네트워크 데이터만으로는 문제를 해결할 수 없다는 점을 입증했습니다. 나아가 연구진은 특정 유형의 범죄 행위가 훈련 데이터에서 완전히 숨겨진 시나리오를 테스트했습니다. 고급 기술을 사용하더라도, 학습할 사례가 전혀 없는 상황에서는 이러한 숨겨진 패턴을 신뢰성 있게 식별할 수 없었으며, 이는 어떤 통계적 교정도 훈련 이력에 존재하지 않는 위협을 찾아낼 수는 없다는 점을 강조합니다. 이 결과는 더 나은 통계적 도구가 탐지 능력을 크게 향상시킬 수는 있지만, 다양하고 대표성 있는 데이터를 대체할 수는 없음을 시사합니다.

궁극적으로 이 연구는 금융 산업의 방어 체계에 대한 중대한 스트레스 테스트 역할을 합니다. 이는 모델의 성능이 고정된 숫자가 아니라, 훈련 데이터를 생성하는 규칙에 따라 변하는 변수라는 점을 보여줍니다. 이 연구는 은행과 규제 기관이 단순한 정확도 점수를 넘어, 다양한 조사 정책 하에서 모델이 어떻게 행동하는지를 감사해야 한다고 주장합니다. 시스템이 현재의 규칙이 포착하는 특정 유형의 사기는 매우 잘 찾아낼 수 있지만 다른 유형에는 취약할 수 있다는 점을 이해함으로써, 기관들은 취약하고 오해의 소지가 있는 도구를 배치하는 것을 피할 수 있습니다. 이 연구는 자금 세탁 문제를 해결했다고 주장하는 것이 아니라, 현재 시스템에 숨겨진 가정을 폭로할 수 있는 명확하고 재현 가능한 프레임워크를 제공함으로써, 모델이 배포될 때 단순히 훈련 데이터의 좁은 시야가 아닌 실제 세계의 복잡성에 대비할 수 있도록 보장합니다.

기술 요약: PolicyShift-AML

문제 정의

자금세탁방지(AML) 거래 모니터링 시스템은 선택적 라벨 문제(selective-label problem) 하에서 작동한다. 모델은 모든 불법 활동의 무작위 샘플이 아니라, 특정 조사 정책(규칙, 임계값 또는 기존 모델)에 의해 생성된 데이터로 학습된다. 결과적으로, 오프라인 성능 지표는 잠재적인 불법 상태(latent status)보다는 해당 기관의 과거 조사 정책을 반영하게 된다. 관찰되지 않은 거래를 정상(benign)으로 취급하면, 모델이 근본적인 자금세탁 패턴이 아닌 감사 메커니즘 자체를 학습할 수 있다. 또한, 전통적인 시계열 드리프트 평가는 범죄 행위의 변화와 경보 정책의 변화를 혼동하여, 라벨 생성 메커니즘이 모델 성능에 미치는 영향을 분리해내는 것을 어렵게 만든다.

방법론

본 논문은 모델 성능이 양성 라벨을 드러내는 정책에 대한 의존성을 감사하기 위해 설계된 통제된 스트레스 테스트 프로토콜인 PolicyShift-AML을 소개한다.

실험 프로토콜

고정된 잠재 스트림(Fixed Latent Stream): 프로토콜은 고정된 잠재 실측 라벨( $Y$ )을 가진 합성 거래 스트림(TransXion 및 IBM AMLWorld)을 활용한다.
가변적 감사 정책(Variable Audit Policies): 다섯 가지의 뚜렷한 감사 정책(Uniform, Amount-focused, Rule-based, Model-feedback, Typology-blind)을 시뮬레이션한다. 공정한 비교를 위해 각 정책은 동일한 기대 감사 용량(스트림의 15%)으로 조정된다.
확인 지연(Delayed Confirmation): 프로토콜은 확인 지연( $\tau$ )을 시뮬레이션하며, 여기서 양성 대리 지표 $S_t = A_t Y_t$ (여기서 $A_t$ 는 감사 결정)는 일정 지연(예: 30일) 후에만 가용해진다.
홀드아웃 전략(Holdout Strategy): 모든 모델을 평가하기 위해 고정된 잠재 홀드아웃 세트를 사용하며, 이를 통해 성능 차이가 배포 대상의 변화가 아닌 학습 정책으로부터 발생하도록 보장한다.

추정기 및 모델

연구는 다음과 같은 여러 학습 접근 방식을 평가한다:

가시적 라벨 베이스라인(Visible-Label Baselines): 관찰된 양성 사례( $S=1$ )로 학습하고 관찰되지 않은 거래( $S=0$ )를 음성으로 취급하는 표준 LightGBM 및 다층 퍼셉트론(MLP) 모델.
양성-미라벨(Positive-Unlabeled, PU) 학습: 배포 가능한 non-negative PU (nnPU) 추정기가 구현된다.
- 성향 추정(Propensity Estimation): 전체 과거 감사 로그를 사용하여 감사 성향 $e(x) = P(A=1|X)$ 를 적합시키는 LightGBM 분류기를 사용한다.
- 클래스 사전 확률(Class Prior): "성숙한 코호트"(확인 지연이 지난 거래) 상에서 클래스 사전 확률( $\pi$ )을 추정하기 위해 Horvitz–Thompson 추정기가 사용된다.
- 리스크 분해(Risk Decomposition): nnPU 리스크 함수는 관찰된 양성 사례에 대해 자기 정규화된 역성향 가중치(self-normalized inverse-propensity weights)를 사용하고, 독립적인 균등 샘플로부터 유도된 클리핑된 음성 리스크 항을 사용한다.
특징 공학(Feature Engineering): 거래 전용 특징과 그래프-히스토리 특징(누설을 방지하기 위해 과거 이벤트로부터 엄격하게 계산된 송신자/수신자의 이전 횟수, 총액 및 활동 범위의 집계)을 비교한다.

주요 지표

잠재 재현율@K (Latent Recall@K): 고정된 홀드아웃에 대해 실제 잠재 라벨( $Y$ )을 기준으로 측정된 성능.
학습 정책 민감도 지수 (Training-Policy Sensitivity Index, TPSI): 서로 다른 학습 정책 간의 상대적인 성능 확산도를 측정한다.
가시적 라벨 낙관주의 (Visible-Label Optimism): 가시적 대리 지표( $S$ )와 잠재 실측치( $Y$ ) 사이의 차이.

주요 결과

1. 선택적 라벨은 모델 비교를 왜곡한다

TransXion 데이터셋(3,029,170건의 거래)에서, 학습 정책의 선택은 잠재 홀드아웃이 고정되어 있음에도 불구하고 모델 순위와 겉보기 성능을 크게 변화시킨다.

성능 확산: LightGBM의 경우, Latent Recall@500은 0.2655(Uniform 정책)에서 0.3757(Feedback 정책)까지 **29.3%**의 확산을 보였다. BCE/MLP의 경우, 확산도는 26.1%(0.2660에서 0.3600)였다.
낙관주의 편향: "Model-feedback" 정책으로 학습된 모델들은 상당한 낙관성을 보였다. BCE 베이스라인의 경우 겉보기 Recall@500이 잠재 Recall보다 0.1085 높게 나타났으며, 이는 가시적 지표가 매우 오도될 수 있음을 나타낸다.
이전 주장의 교정: 본 연구는 이전의 "39.7% 배포 붕괴" 발견을 교정한다. 수정된 분석에 따르면 학습 정책에 대한 민감도는 높지만, 교차 정책 배포 붕괴가 보편적으로 확립된 것은 아니다. 어떤 경우에는 피드백 라벨이 실제로 잠재 순위를 개선하기도 했다.

2. 추정된 nnPU의 효과성

배포 가능한 nnPU 추정기는 벤치마크 가정 하에서 견고함을 입증했다:

베이스라인 대비 우월성: 30일 지연이 있는 Rule-based 선택 조건에서, 추정된 nnPU는 0.4021의 Latent Recall@500을 달성하여 LightGBM(0.2352)과 BCE(0.1787)를 크게 앞질렀다.
오라클 근접성: 추정된 nnPU 결과는 "오라클" nnPU(실제 성향을 사용하는 모델)와 거의 동일했으며, 평균 차이는 최대 0.0005였다.
정책 의존성: nnPU의 우위는 Rule 및 Amount 정책 하에서는 유지되었으나, Model-feedback 정책 하에서는 통계적으로 유의미하지 않았다(LightGBM과의 차이는 0.0168, $p=0.25$ ).

3. 그래프-히스토리 및 스트레스 테스트

그래프-히스토리의 필요성: 이 구성에서 유용한 nnPU 순위 산출을 위해 그래프-히스토리 특징이 필수적임을 발견했다. 그러나 본 연구는 그래프 특징이 정책 불변성을 보장한다는 주장을 반박한다. 모든 경우에서 그래프-히스토리 모델의 TPSI가 거래 전용 모델보다 유의미하게 낮지는 않았다.
블라인드 타이폴로지 스트레스 테스트: 특정 타이폴로지의 감사 지원이 제로(탐색 확률 = 0)인 IBM AMLWorld 스트레스 테스트에서, nnPU 모델은 0이 아닌 Recall(0.1660)을 달성했다. 저자는 이것이 블라인드 층을 식별하는 데 성공했다는 증거가 아니라, 다른 타이폴로지에서 학습된 특징으로부터의 **귀납적 전이(inductive transfer)**라고 명시한다. 탐색이 증가함에 따라 Recall이 단조롭게 개선되지 않았는데, 이는 명목상의 탐색이 테스트된 범위 내에서 순위를 자동으로 개선하지 못함을 시사한다.

의의 및 주장

본 논문은 실세계의 인과적 회복(causal recovery)을 주장하기보다 엄격한 실험 설계를 강조하는 재감사 및 교정(re-audit and correction) 작업으로 자리매김한다.

정책 인식 평가: 주요 기여는 라벨 생성 정책의 영향을 격리하는 재현 가능한 프로토콜이다. 결과는 평가 설계가 모델 선택만큼 중요하다는 결론을 뒷받침한다. 불균등한 감사 용량과 잘못 라벨링된 추정치는 강력하지만 허구적인 성능 헤드라인을 만들어낼 수 있다.
PU 학습의 실행 가능성: 본 연구는 완전한 과거 로그에 적합된 감사 성향과 Horvitz–Thompson 클래스 사전 확률를 사용하는 신중하게 구현된 nnPU 추정기가 합성된 지연 피드백 환경에서 잠재적 성능을 효과적으로 회복할 수 있음을 보여준다.
실제 적용에 대한 겸손함: 저자는 이러한 결과가 실제 금융 기관의 조사에 대한 효능을 확립하는 것이 아님을 명시적으로 밝힌다. 벤치마크는 합성 데이터이며, 완벽한 특이성( $S=AY$ ) 및 미측정 혼란 변수가 없는 것과 같은 가정들이 실제 상황에서는 성립하지 않을 수 있다. 이 연구는 즉각적인 운영 배포를 위한 처방이라기보다, 배포 전 가정과 실패를 노출시키기 위한 "스트레스 테스트" 역할을 한다.
운영 권고 사항: 본 논문은 검증 팀이 감사 결정 로그를 유지하고, 결정 시간과 확인 시간을 구분하며, 타당한 라벨 정책 하에서 스트레스 테스트를 보고할 것을 권고한다. 또한 무작위 탐색이 지원(support)을 확립하는 데는 도움이 될 수 있지만, 이를 위한 보편적인 비율을 처방하지는 않으며, 실제 감사는 법적, 개인정보 보호 및 공정성 요구 사항에 의해 제한된다는 점을 유의할 것을 조언한다.