Algorithmic Compliance and Regulatory Loss in Digital Assets

이 논문은 암호화폐 자금세탁방지 (AML) 를 위한 머신러닝 기반 감시 시스템이 정적 분류 지표로는 높은 성능을 보이는 것처럼 보이지만, 시계열적 비정상성으로 인해 의사결정 규칙의 오교정이 발생하여 실제 규제 효율성이 크게 과장되고 지속적인 규제 손실이 초래됨을 밝히고 있습니다.

핵심

이 논문은 **"암호화폐를 감시하는 AI 가 왜 실제로는 실패할 수 있는가?"**에 대한 흥미로운 질문을 던집니다.

간단히 말해, **"AI 가 시험 점수 (성능 지표) 는 아주 잘 받았는데, 실제 현장 (현실 세계) 에 나가서 일하면 엉망이 되는 이유"**를 설명하는 연구입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 배경: 암호화폐 감시관과 '가짜 지폐' 찾기

암호화폐 (비트코인 등) 시장에는 범죄자들이 돈을 세탁하거나 불법 거래를 하려고 합니다. 규제 기관과 거래소는 이를 막기 위해 AI 감시관을 투입합니다. 이 AI 는 거래 내역을 보고 "이 거래는 의심스럽다 (범인이다)"라고 표시합니다.

지금까지 사람들은 이 AI 의 능력을 평가할 때 **"시험 점수"**만 보았습니다.

• "범인을 얼마나 잘 찾아냈는가?" (정확도)
• "범인을 놓치지 않았는가?" (재현율)

이 논문은 **"시험 점수가 100 점이라도, 실제 현장에서는 엉망이 될 수 있다"**고 경고합니다.

2. 핵심 비유: "날씨 예보와 우산"

이 논리의 핵심을 이해하기 위해 '우산' 비유를 사용해 보겠습니다.

• 상황: AI 는 "내일 비가 올 확률"을 예측합니다.
• 규제 기관의 결정: "비가 올 확률이 30% 이상이면 우산을 챙겨라." (이것이 임계값 Threshold입니다.)
• 문제: 이 '30%'라는 기준은 과거 데이터를 바탕으로 정해졌습니다.

하지만 암호화폐 시장은 날씨가 매우 변덕스럽습니다.

• 과거: 비가 자주 와서 '30%' 기준이 적절했습니다.
• 현재: 갑자기 가뭄이 들어 비가 거의 오지 않게 되었습니다 (범죄 거래 비율이 줄어듦).
• 결과: AI 는 여전히 "비가 올 확률 30% 이상이면 우산 챙겨!"라고 외칩니다.
  • 실제로는 비가 오지 않는데, AI 가 우산을 챙기라고 해서 **불필요한 우산 (불필요한 조사)**을 챙기는 사람이 넘쳐납니다.
  • 혹은 반대로, 갑자기 폭우가 쏟아지는데 (범죄 급증), AI 가 과거 기준을 고수해서 비 오는 날 우산을 안 챙기는 실수가 발생합니다.

이 논문은 **"날씨 (시장 상황) 가 변하는데, 우산 챙기는 기준 (AI 의 판단 기준) 을 옛날 그대로 고수하면 얼마나 큰 손해 (Regulatory Loss) 가 발생하는지"**를 계산했습니다.

3. 연구의 주요 발견: "시험은 잘 봤는데, 실전은 망했다"

연구진은 비트코인 거래 데이터를 가지고 두 가지 방식으로 AI 를 테스트했습니다.

1. 전통적인 방식 (시험지 방식): 과거 데이터를 무작위로 섞어서 AI 를 훈련시키고 테스트했습니다.
   • 결과: "와, AI 가 범인을 96% 나 잘 찾아내네! (ROC-AUC 0.96)" -> 성공!
2. 현실적인 방식 (실전 훈련): 과거 데이터를 먼저 보고, 그다음에 온 새로운 데이터 (미래) 로 테스트했습니다.
   • 결과: "어? 범인을 찾는 능력은 떨어졌고, **불필요한 조사 (거짓 경보)**가 너무 많이 발생해서 비용이 2 배 이상 늘었네!" -> 실패!

왜 이런 일이 일어났을까요?
AI 가 "범인을 찾는 능력" 자체는 나빠지지 않았습니다. 문제는 **"어디서 선을 그을지 (Threshold)"**를 과거의 기준에 맞춰 고정해 두었기 때문입니다.

• 시장 상황 (범죄 거래 비율) 이 변하면, 최적의 선을 그을 위치도 변해야 합니다.
• 하지만 규제 기관은 AI 의 기준을 자주 바꾸지 못합니다 (비용이 들고 번거로워서).
• 그 결과, 상황이 변했는데도 옛날 기준을 고수하다 보니, 불필요한 조사 비용이 폭증하거나 범죄를 놓치는 손실이 커집니다.

4. 이 연구가 우리에게 주는 교훈

이 논문은 암호화폐 규제와 AI 관리에 대해 세 가지 중요한 메시지를 줍니다.

1. 시험 점수 (성능 지표) 에 속지 마세요:
   AI 가 과거 데이터에서 얼마나 잘했는지 (정확도) 만 보는 것은 위험합니다. 실제 시장이 변할 때 어떻게 작동하는지 시간의 흐름을 고려한 테스트가 필요합니다.

2. 기준 (Threshold) 은 고정하지 말고 유연하게:
   "범인일 확률 30% 이상"이라는 기준을 영원히 고정해 두면 안 됩니다. 범죄가 줄거나 늘거나, 거래 패턴이 변하면 그 기준도 함께 움직여야 합니다. 이를 **"동적 조정"**이라고 합니다.

3. 손실 (Loss) 을 계산해야 합니다:
   "범인을 몇 명 잡았는가?"보다 **"불필요한 조사로 인한 비용과 놓친 범죄로 인한 피해가 얼마나 큰가?"**를 계산하는 것이 더 중요합니다.

요약

이 논문은 **"AI 가 과거의 시험에서는 천재였지만, 변덕스러운 암호화폐 시장에서 고정된 기준을 고수하다 보니 실제 감시 업무에서는 엄청난 낭비와 실패를 초래했다"**는 사실을 증명했습니다.

결론: 규제 기관은 AI 의 '스마트함'만 믿지 말고, 상황이 변할 때마다 AI 의 판단 기준을 유연하게 조정하는 시스템을 만들어야 합니다. 그래야만 불필요한 비용 없이 진짜 범죄를 막을 수 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 암호화폐 시장의 급격한 확장과 함께, 규제 당국과 거래소는 대규모 트랜잭션을 모니터링하기 위해 머신러닝 기반의 자동화된 자금세탁방지 (AML) 시스템을 광범위하게 도입하고 있습니다.
• 현재의 한계: 기존 AML 시스템의 성능 평가는 주로 정적 분류 지표 (Static Classification Metrics) 인 ROC-AUC, PR-AUC 등에 의존합니다. 이러한 지표는 모델의 순위 매기력 (Ranking Performance) 을 요약하지만, 실제 규제 환경에서 발생하는 비대칭적인 비용 (False Positive vs. False Negative) 과 의사결정 임계값 (Threshold) 의 역할을 간과합니다.
• 핵심 문제: 암호화폐 시장은 비정상성 (Non-stationarity) 이 뚜렷합니다. 거래 패턴, 불법 활동의 발생률 (Base Rate), 그리고 모델 점수 분포가 시간에 따라 급격히 변합니다 (Concept Drift).
  • 기존 연구는 데이터 생성 과정이 시간에 따라 일정하다고 가정 (Stationarity) 하지만, 이는 실제 암호화폐 시장과 동떨어진 가정입니다.
  • 주요 가설: 예측 정확도 (Predictive Accuracy) 가 높더라도, 과거 데이터로 고정된 의사결정 임계값 (Enforcement Threshold) 을 비정상적인 환경에 그대로 적용할 경우, 실제 규제 손실 (Regulatory Loss) 이 급증할 수 있습니다.

2. 연구 방법론 (Methodology)

• 데이터: Elliptic 비트코인 트랜잭션 데이터셋 사용 (약 46,564 개의 레이블이 지정된 트랜잭션, 불법 활동 비율은 시간 경과에 따라 14.3% 에서 5.3% 로 감소).
• 모델: L2 정규화가 적용된 로지스틱 회귀 (Regularized Logistic Regression) 를 사용하여 예측 모델 구축. (모델의 복잡성보다는 배포 설계의 영향을 분리하기 위해 단순 모델을 사용).
• 평가 프로토콜:
  1. 랜덤 분할 (Random Split): 기존 문헌의 표준 방식 (시간 순서 무시).
  2. 전진 분할 (Forward Split): 과거 데이터로 학습, 미래 데이터로 테스트 (시간 순서 준수).
  3. 롤링 배포 (Rolling Deployment): 각 시점 $t$에서 이전 10 개 기간의 데이터로 학습하고 시점 $t$의 데이터에 배포. 핵심: 학습 데이터로 최적화된 임계값 ($\tau^*$) 을 테스트 기간 동안 고정하여 사용.
• 규제 손실 함수 (Regulatory Loss Function):
  • $L(\tau) = C_{FN} \times FN(\tau) + C_{FP} \times FP(\tau)$
  • $C_{FN}$ (위음성 비용, 불법 활동 방치) 과 $C_{FP}$ (위양성 비용, 불필요한 조사 비용) 의 비율을 10 과 25 로 설정하여 민감도 분석 수행.
• 벤치마크 (Oracle Benchmark):
  • Oracle: 테스트 기간의 실제 데이터 분포를 알고 있어, 매 기간마다 손실을 최소화하는 임계값을 사후적으로 재최적화한 이상적인 기준.
  • Deployment Gap: 고정된 임계값을 사용한 실제 손실과 Oracle 손실 간의 차이 (과도한 규제 손실).

3. 주요 기여 (Key Contributions)

1. 정적 지표의 과대평가 경고: 높은 ROC-AUC 나 PR-AUC 가 실제 배포 환경에서의 규제 효과를 보장하지 않으며, 오히려 실제 손실을 과소평가할 수 있음을 실증함.
2. 임계값 불안정성의 규명: 예측 모델의 정확도가 유지되더라도, 불법 활동의 발생률 (Prevalence) 과 점수 분포의 변화로 인해 손실 최소화 임계값이 시간에 따라 극도로 불안정해짐을 발견.
3. 규제 손실 기반 평가 프레임워크 제안: 통계적 정확도 대신 경제적 손실 (Regulatory Loss) 을 중심으로 AML 시스템을 평가해야 함을 주장하며, 규제 당국과 업계에 새로운 평가 기준을 제시.

4. 주요 결과 (Results)

• 배포 간극 (Deployment Gap) 의 존재:
  • 고정된 임계값을 사용한 경우, Oracle(동적 최적화) 대비 규제 손실이 약 1.5 배~2.2 배까지 증가함.
  • 특히 시장 전환기 (Market Transition) 나 불법 활동 발생률이 급격히 변하는 시기에 손실 차이가 극대화됨.
• 정적 평가 vs. 동적 평가의 괴리:
  • 랜덤 분할: PR-AUC 0.77, ROC-AUC 0.96 이상으로 매우 높은 성능.
  • 전진/롤링 분할: PR-AUC 0.36 으로 급락, 테스트 손실은 약 2 배 증가.
  • 이는 모델의 예측 능력이 떨어졌기 때문이 아니라, 고정된 의사결정 규칙이 변화하는 환경과 불일치하기 때문임.
• 손실 메커니즘:
  • 불법 활동 발생률 (Base Rate) 이 감소할 때, 위양성 (False Positive) 의 상대적 비용이 증가하여 최적 임계값이 하향 조정되어야 함.
  • 그러나 고정된 임계값은 이러한 조정을 반영하지 못해, 불필요한 조사 (False Positive) 가 급증하거나 불법 활동을 놓치는 (False Negative) 상황이 발생함.
• 강건성 분석 (Robustness):
  • XGBoost 와 같은 더 복잡한 모델을 사용하더라도 동일한 현상이 발생함 (모델의 예측 능력 부족이 아님).
  • 짧은 주기로 임계값을 재조정하는 것만으로는 배포 간극을 해결하지 못함 (추정 노이즈 증가).

5. 의의 및 시사점 (Significance)

• 규제 정책적 시사점:
  • AML 시스템의 임계값 설정은 일회성 기술적 조정이 아닌, 지속적인 거버넌스 의사결정으로 접근해야 함.
  • 규제 당국은 AML 시스템 평가 시 정적 지표뿐만 아니라 시간을 고려한 전진/롤링 평가 프로토콜을 의무화하거나 권장해야 함.
• 모델 리스크 관리:
  • 금융 분야 모델 리스크 관리에서 '배킹테스트 (Back-testing)'의 한계를 지적. 과거 데이터로 검증된 모델이 시장 구조 변화 시 실패할 수 있음을 경고.
  • 손실 기반 (Loss-based) 평가가 규제 효율성을 측정하는 더 정확한 지표임을 입증.
• 기술적 함의:
  • 개념 드리프트 (Concept Drift) 가 단순히 예측 정확도 저하가 아니라, 비용 민감한 의사결정 규칙의 오교정 (Miscalibration) 을 통해 경제적 손실로 이어짐을 보여줌.

결론

이 논문은 암호화폐 AML 시스템에서 고정된 의사결정 규칙이 비정상적인 시장 환경에서 어떻게 규제 손실을 유발하는지를 실증적으로 규명했습니다. 예측 모델의 정확도가 높더라도, 불법 활동의 발생률과 트랜잭션 패턴의 변화를 반영하여 동적으로 임계값을 조정하지 않는다면, 실제 규제 효과는 현저히 떨어지고 막대한 경제적 비용이 발생함을 보여줍니다. 이는 규제 기술 (RegTech) 의 설계와 평가에 있어 시간적 비정상성 (Temporal Non-stationarity) 과 경제적 손실을 핵심 고려사항으로 삼아야 함을 강력히 시사합니다.