Optimizing Threshold-based Financial Crime Detection: Smoothing Rank Scale Gradient Descent for Discrete Loss Function-Based Threshold Adjustment

기술 요약: 평활 순위 척도 경사 하강법(Smoothing Rank Scale Gradient Descent)을 통한 임계값 기반 금융 범죄 탐지 최적화

문제 정의

전 세계 금융 기관들은 대만 금융감독위원회(FSC)나 미국의 BSA/AML 검사 매뉴얼과 같은 규제 기관으로부터 자금세탁방지(AML) 및 테러 자금 조달 방지(CTF)를 위해 임계값 기반 탐지 시스템을 운용하도록 의무화되어 있습니다. 이러한 시스템은 거래 빈도나 누적 금액과 같은 특정 특성이 사전 정의된 임계값을 초과할 경우 해당 거래를 의심 거래(SAM)로 분류합니다.

핵심 과제는 이러한 임계값을 최적화하는 것입니다. 금융 기관은 다음 세 가지 상충하는 목표 사이에서 균형을 잡아야 합니다:

1. 재현율(Recall): 규제에 의해 의무화된 최소한의 확정된 사기 사례 비율(SAR=1)을 포착해야 합니다.
2. 정밀도/운영 비용(Precision/Operational Cost): 수동 검토 비용(인적 자원 절감, HRS)을 줄이기 위해 오탐(False Positive, SAR=0)을 최소화해야 합니다.
3. 동적 적응성(Dynamic Adaptation): 범죄 조직이 정적인 규칙을 역설계하여 우회하는 것을 방지하기 위해 임계값을 조정해야 합니다.

이는 **이산 최적화 문제(Discrete Optimization Problem)**를 생성합니다. 재현율 저하와 수동 검토 비용 증가를 처벌하는 손실 함수는 미분 불가능하며 단계적(step-wise)입니다. 기존 방식들은 다음과 같은 심각한 문제에 직면합니다:

• 브루트 포스 열거(Brute-force enumeration): 가능한 임계값 조합의 조합 폭발(현실적인 데이터셋의 경우 $10^{20}$에 육박)로 인해 계산적으로 불가능합니다.
• 분위수 기반 그리드 탐색(Quantile-Based Grid Search, QGS): 업계에서 흔히 사용되는 방식이지만, 여전히 지수적 복잡도($O(N^K)$)를 보입니다. 실험 결과, 솔루션 품질을 높이기 위해 세분화도를 높이면 보장된 전역 최적해 없이도 계산 시간이 기하급급수적으로 증가(예: 몇 시간에서 며칠)하는 현상이 나타납니다.
• 시뮬레이티드 어닐링(Simulated Annealing) 및 기타 메타휴리스틱 알고리즘은 불균등한 데이터 분포로 인한 "울퉁불퉁한(rugged)" 손실 지형 때문에 수렴 속도가 느리고 불안정할 수 있습니다.

방법론: 평활 순위 척도 경사 하강법 (SRSGD)

저자들은 이산적인 임계값 선택 문제를 연속적인 문제로 변환하는 SRSGD라는 경사 기반 최적화 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

1. 시그모이드 함수를 통한 연속 근사(Continuous Approximation via Sigmoid Functions)
경사 하강법을 적용할 수 있도록, 이산적인 지표 함수(거래가 임계값을 초과하는지 결정하는 함수)를 시그모이드 함수를 사용하여 근사합니다.

• 단계 함수 $x \geq t$는 $\sigma(x, t) = \frac{1}{1 + e^{-M(x-t)}}$로 대체되며, 여기서 $M$은 가파른 정도를 제어합니다.
• 규제 시나리오에서 사용되는 복잡한 불리언 로직 규칙(AND/OR 조합)은 이러한 시그모이드 활성화 함수의 대수적 연산(예: AND를 위한 곱, OR를 위한 $a + b - ab$)을 사용하여 근사됩니다.
• 이러한 변환은 손실 함수를 임계값 파라미터에 대해 미분 가능하게 만들어 경사 하강법의 적용을 가능하게 합니다.

2. 순위 척도 변환(Rank-Scale Transformation)
식별된 주요 장애물은 거래 데이터의 불균등한 분포입니다. 대부분의 계좌는 낮은 가치 영역에 밀집되어 있어 후보 임계값 사이의 간격이 매우 좁은 반데, 희소한 영역은 매우 넓은 간격을 가집니다.

• 문제: 원래의 특성 공간(Feature Space)에서는 이로 인해 극단적인 경사 변화가 발생합니다. 밀집 지역에 적합한 학습률은 희소 지역에서 오버슈팅(overshooting)을 유발하고, 희소 지역에 적합한 학습률은 밀집 지역에서 진전이 거의 없게 만듭니다.
• 해결책: 저자들은 순위 척도 변환을 도입합니다. 임계값을 원래의 특성 공간에서 최적화하는 대신, 인접한 후보 임계값 간의 거리가 동일하도록 정규화된 "순위 공간(Rank Space)"에서 최적화합니다. 이는 전체 탐색 공간에 걸쳐 경사 크기를 균등하게 만들어 수렴을 안정화하고 효과적인 학습률 튜닝을 가능하게 합니다.

3. 분위수 기반 초기화(Quantile-Based Initialization)
울퉁불퉁한 손실 지형에서 지역 최적해(Local Optima)에 빠지는 것을 방지하기 위해, 알고리즘은 분위수 기반 선택을 사용하여 임계값을 초기화합니다. 이는 경사 하강 과정이 시작되기 전에 임계값들이 특성 공간 전체에 잘 분포되도록 보장합니다.

최적화 워크플로우
알고리즘은 연속적인 순위 공간에서 경사 하강법을 수행하여 최적의 임계값 값을 찾습니다. 수렴에 도달하면, 이 값들을 다시 원래의 특성 공간으로 매핑하여 배포를 위한 최종 이산 임계값을 결정합니다.

주요 기여

• 알고리즘 혁신: 규제적 해석 가능성(임계값 기반 규칙)과 현대적 최적화 기법(경사 하강법) 사이의 간극을 성공적으로 메우는 SRSGD를 제안했습니다.
• 이산 손실 처리: 시그모이드 근사와 순위 척도 변환을 사용하여 이산적이고 단계적인 손실 함수를 평활화하는 특정 기술을 개발함으로써, 금융 범죄 탐지의 불균등한 데이터 밀도 문제를 해결했습니다.
• 효율성: 경사 기반 방법이 전통적인 그리드 탐색이나 열거법보다 수십 배 더 빠르게 임계값 최적화 문제를 해결할 수 있음을 입증했습니다.

실험 결과

이 방법은 대만의 두 금융 기관(Bank T 및 Bank L)의 실제 데이터를 사용하여 여러 AML 시나리오(예: TWN-A11-01, TWN-A1A-01)에 대해 평가되었습니다.

• 계산 속도: SRSGD는 이산 경사법 대비 4,000배의 속도 향상을 달야냈으며, QGS보다 현저히 우수한 성능을 보였습니다. QGS가 최적화 실행당 1,000~17,000초(수 시간)가 소요된 반면, SRSGD는 단 몇 초 만에 작업을 완료했습니다.
• 성능 지표: SRSGD는 규제 준수 재현율(예: $\geq 80\%$)을 유지하면서 QGS보다 우수한 인적 자원 절감(HRS) 효과를 제공했습니다.
• 베이스라인 비교: 본 방법은 효율성과 일반화 성능 측면 모두에서 표준 경사 하강법(순위 척도 변환이 없는 SOSGD) 및 시뮬레이티드 어닐링보다 뛰어난 성능을 보였습니다. 절제 연구(Ablation studies)를 통해 순위 척도 변환과 분위수 기반 초기화가 모두 방법의 성공에 필수적임을 확인했습니다.

의의 및 주장

본 논문은 SRSGD가 규제 준수와 운영 효율성 사이의 상충 관계에 어려움을 겪는 금융 기관을 위한 실용적이고 즉시 적용 가능한 솔루션을 제공한다고 주장합니다. 협력 은행들의 AML 시스템에 성공적으로 통합됨으로써 다음을 입증했습니다:

1. 동적 임계값 조정이 대규모로 가능하며, 이를 통해 금융 기관은 막대한 계산 비용 없이 변화하는 범죄 행태에 적응할 수 있습니다.
2. 규제 준수(해석 가능성 및 재현율)를 엄격히 유지하면서도, 오탐(False Positives)과 관련된 수동 작업(HRS)을 크게 줄일 수 있습니다.
3. 경사 기반 방법은 손실 지형이 적절히 평활화되고 변환될 경우, 금융 분야의 이산 최적화 문제에 적용 가능한 강력한 대안이며, 전수 조사나 휴리스틱 방법보다 우월합니다.

저자들은 이 접근 방식이 금융감독위원회 기준을 준수하며, "블랙박스" 형태의 머신러닝 모델에 의존하지 않고 투명하고 해석 가능한 금융 범죄 탐지 메커니즘을 제공함으로써 엄격한 규제 책임 요구 사항을 충족한다고 강조합니다.