ERP-RiskBench: Leakage-Safe Ensemble Learning for Financial Risk

이 논문은 데이터 유출을 방지하고 과대평가된 성능을 교정하기 위해 중첩 교차검증과 시간/그룹 인식 분할을 적용한 앙상블 학습 기반의 ERP 재무 리스크 탐지 프레임워크 'ERP-RiskBench'를 제안하며, 이를 통해 조달 규정 준수 이상과 거래 사기를 효과적으로 식별할 수 있는 재현 가능한 실험 환경을 구축합니다.

핵심

이 논문은 기업의 거대한 디지털 두뇌인 ERP(전사적 자원 관리) 시스템 안에서 일어나는 사기나 위험을 찾아내는 방법에 대한 연구입니다.

기존의 연구들은 마치 "시험 문제를 미리 보고 답을 외운 학생"처럼, 실제 시험 (실제 운영) 에서는 성적이 나쁜 경우가 많았습니다. 이 논문은 그런 실수를 바로잡고, **정직하고 신뢰할 수 있는 '사기 탐지 시스템'**을 만드는 방법을 제시합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "가짜 시험지"의 함정

지금까지 많은 연구자들이 ERP 시스템의 데이터를 분석할 때, 데이터를 섞는 방식에 큰 실수를 저질렀습니다.

• 비유: imagine(상상해 보세요) 여러분이 수학 시험을 준비한다고 칩시다. 그런데 선생님이 정답이 적힌 시험지를 먼저 보여주고, 그걸 보고 공부한 뒤 "내가 100 점 맞았어요!"라고 자랑하는 꼴입니다.
• 현실: 기존 연구들은 데이터를 무작위로 섞어서 학습시켰는데, 그 과정에서 미래의 정보가 과거의 학습에 섞여버리는 **'데이터 누수 (Leakage)'**가 발생했습니다. 그래서 "정확도 99%!"라고 과장된 결과가 나왔지만, 실제로는 사기를 못 찾아내는 경우가 많았습니다.

2. 해결책: "ERP-RiskBench"라는 새로운 훈련장

저자들은 이 문제를 해결하기 위해 **새로운 훈련장 (ERP-RiskBench)**을 만들었습니다.

• 실제 데이터 + 가짜 데이터: 실제 기업에서 발생한 구매 기록 (BPI 데이터) 과 신용카드 사기 데이터를 가져와서 섞었습니다. 하지만 데이터가 부족해서, **컴퓨터가 만든 가짜 사기 패턴 (CTGAN)**도 추가했습니다.
• 규칙 기반의 사기: 이 가짜 데이터는 단순히 숫자를 랜덤하게 만든 게 아니라, "인보이스 금액이 너무 비슷하다", "물건을 받기 전에 돈을 먼저 보냈다" 같은 실제 사기 수법을 규칙으로 넣어 만들었습니다.

3. 핵심 방법: "엄격한 심판 시스템" (누수 방지)

이 연구의 가장 중요한 특징은 데이터를 다루는 방식입니다.

• 시간과 그룹을 고려한 분리: 데이터를 섞을 때, 시간 순서와 거래처 (벤더) 단위를 고려해서 분리했습니다.
  • 비유: 과거의 거래 기록으로만 학습하고, 미래의 거래 기록으로만 시험을 치르는 것입니다. 또한, 같은 거래처의 기록은 학습 세트와 시험 세트에 섞이지 않게 완벽하게 분리했습니다.
• 중첩 교차 검증 (Nested Cross-Validation): 모델을 고르는 과정과 성능을 평가하는 과정을 완전히 분리했습니다.
  • 비유: 요리사가 요리를 만들 때, **재료 고르기 (모델 선택)**와 **맛보기 (성능 평가)**를 다른 사람이 하거나, 다른 날에 해야 합니다. 그래야 "내가 만든 요리는 맛있다"라고 자기주장만 하는 것을 막을 수 있습니다.

4. 최고의 선수: "팀워크가 좋은 스택킹 (Stacking)"

연구진은 다양한 AI 모델을 시험해 보았습니다.

• 단일 선수 vs 팀: 혼자 잘하는 모델 (XGBoost, LightGBM 등) 도 있었지만, 여러 모델의 예측을 받아서 **최종 결정을 내리는 '팀 (Stacking Ensemble)'**이 가장 잘했습니다.
• 결과: 이 팀은 사기를 찾아내는 능력 (정확도) 이 가장 높았을 뿐만 아니라, 실제 운영 비용을 줄이는 데도 효과적이었습니다.
• 깊은 학습 (Deep Learning) 의 한계: 최근 유행하는 복잡한 딥러닝 모델들은 이 분야에서는 오히려 단순한 트리 기반 모델보다 성능이 떨어지거나 불안정했습니다.

5. 왜 중요한가? "투명한 설명"과 "비용 계산"

단순히 "사기다"라고만 말하면 기업은 믿지 않습니다.

• 투명한 설명 (Explainability): "왜 이 거래를 의심하나요?"라고 물었을 때, AI 가 **"세 가지 금액 (주문, 입고, 송장) 이 맞지 않아서"**라고 명확하게 이유를 설명해 줘야 합니다. 이 연구는 AI 가 왜 그런 판단을 내렸는지 SHAP라는 도구를 통해 투명하게 보여줍니다.
• 비용 민감도 (Cost-Sensitive): 사기를 놓치는 것 (False Negative) 이, innocent(무고한) 거래를 잘못 의심하는 것 (False Positive) 보다 훨씬 더 큰 손실입니다. 이 연구는 어느 정도 확률이면 의심해봐야 할지를 비용에 맞춰 계산해 줍니다.

6. 결론: "신뢰할 수 있는 보안관"

이 논문의 핵심 메시지는 다음과 같습니다.

"복잡한 AI 모델을 만드는 것보다, 데이터를 어떻게 나누고 검증하느냐가 더 중요합니다."

기존의 연구들이 "과장된 성적표"를 보여줬다면, 이 연구는 **실제 현장에서 작동할 수 있는, 검증된 '신뢰할 수 있는 보안관'**을 만드는 청사진을 제시합니다.

• 핵심 교훈:
  1. 데이터를 무작위로 섞지 말고, 시간과 그룹을 고려해 분리하세요.
  2. 학습 과정에서 미래 정보를 절대 쓰지 마세요 (누수 방지).
  3. 단순히 "정확도"만 보지 말고, "사기를 얼마나 잘 찾아냈는지 (MCC, AUPRC)"를 보세요.
  4. AI 가 왜 그런 판단을 했는지 설명할 수 있어야 합니다.

이 연구는 기업이 AI 를 도입할 때, 과장된 기대를 버리고 현실적이고 안전한 시스템을 구축하는 데 필요한 나침반이 되어줍니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 기업 자원 계획 (ERP) 시스템은 현대 조직의 운영 핵심이지만, 이 시스템 내에서의 재무 위험 (조달 불이행, 사기 등) 탐지는 머신러닝 적용 측면에서 아직 충분히 연구되지 않았습니다.
• 현황의 한계: 기존 연구들은 다음과 같은 방법론적 결함을 가지고 있습니다.
  • 모호한 데이터 설명: 데이터셋의 출처와 특성이 불명확함.
  • 데이터 누출 (Data Leakage): 데이터 분할 전 전처리가 수행되거나, 불균형 데이터 처리를 위해 SMOTE 등을 분할 전에 적용하여 성능이 과대평가됨.
  • 부적절한 평가 지표: 불균형 클래스 (사기 건수가 매우 적음) 상황에서 정확도 (Accuracy) 를 주 지표로 사용하여 실제 성능을 왜곡함.
• 목표: 누출이 방지되고, 재현 가능하며, 실제 운영 환경에 적합한 ERP 재무 위험 탐지를 위한 실험 프레임워크 구축.

2. 방법론 (Methodology)

가. 데이터셋 전략: ERP-RiskBench

연구는 4 가지 구성 요소로 이루어진 복합 벤치마크 데이터셋 ERP-RiskBench를 구축했습니다.

1. BPI Challenge 2019: 실제 조달 (Procure-to-Pay) 이벤트 로그 (25 만 건 이상).
2. Credit Card Fraud: 극단적인 불균형 (0.17% 사기율) 을 위한 신용카드 사기 데이터.
3. PaySim: 모바일 머니 거래를 시뮬레이션한 합성 데이터.
4. ERP-Synth (신규): 규칙 기반 위험 유형 (이중 청구, 승인 임계값 분할 등) 을 주입하고, 조건부 표적형 GAN(CTGAN) 으로 증강된 합성 ERP 데이터.

• 특징: 모든 데이터는 통합된 표준 스키마 (Canonical Schema) 로 매핑되며, 레이블은 준수 규칙 (예: 3-way matching 불일치) 에 따라 생성됩니다.

나. 누출 방지 실험 파이프라인 (Leakage-Safe Pipeline)

• 중첩 교차 검증 (Nested Cross-Validation):
  • Outer Loop (5 폴드): 성능 추정을 위해 사용.
  • Inner Loop (3 폴드): 하이퍼파라미터 최적화 및 특성 선택을 위해 사용.
  • 핵심 원칙: 모든 전처리 (결측치 처리, 스케일링), 특성 선택, 리샘플링 (SMOTE, CTGAN) 은 오직 훈련 폴드 (Training Fold) 내에서만 수행됩니다. 검증/테스트 데이터에는 변환만 적용됩니다.
• 분할 전략:
  • 단순 무작위 분할 대신 시간 기반 (Time-forward) 및 그룹 기반 (Group-aware, 예: 벤더별) 분할을 적용하여 시간적 의존성과 엔티티 누출을 방지합니다.

다. 모델 아키텍처

다양한 모델 군을 비교 평가했습니다.

• 기저 모델: 로지스틱 회귀, 랜덤 포레스트, XGBoost, LightGBM, CatBoost.
• 심층 학습: TabNet, FT-Transformer.
• 해석 가능 모델 (Glassbox): Explainable Boosting Machine (EBM).
• 최종 모델: Stacking Ensemble. 위 기저 모델들의 Out-of-Fold 예측값을 입력으로 받아 로지스틱 회귀 메타 학습기를 학습시키는 방식.

라. 평가 지표 및 비용 민감 분석

• 지표: 전체 정확도 대신 MCC (Matthews Correlation Coefficient), AUPRC (Precision-Recall 곡선 아래 면적), 균형 잡힌 정확도를 사용.
• 비용 민감 의사결정: 위양성 (불필요한 조사) 과 위음성 (사기 놓침) 의 비용 차이를 반영한 임계값 최적화 및 확률 보정 (Platt Scaling) 수행.

3. 주요 기여 (Key Contributions)

1. ERP-RiskBench 벤치마크 구축: 공개 데이터와 합성 데이터를 결합하고, 규칙 기반 위험 주입과 GAN 증강을 통해 재현 가능하고 통제된 실험 환경을 제공.
2. 누출 방지 프로토콜 정립: 불균형 분류 연구에서 흔히 발생하는 데이터 누출 (특히 리샘플링과 전처리 단계) 을 방지하기 위한 엄격한 중첩 교차 검증 및 분할 전략 제시.
3. 방법론적 엄격성 입증: 기존 연구들이 과대평가한 성능이 누출 방지 프로토콜을 적용하면 얼마나 감소하는지 실증.
4. 운영적 통찰: 모델 성능뿐만 아니라 특성 안정성 (Feature Stability) 과 해석 가능성 (SHAP, EBM) 을 포함한 감사 (Audit) 관점의 평가 체계 마련.

4. 실험 결과 (Results)

• 성능 비교:
  • Stacking Ensemble이 모든 데이터셋과 조건에서 가장 높은 MCC 와 AUPRC 를 기록했습니다.
  • 단일 모델 중에서는 LightGBM과 XGBoost가 가장 강력했으나, Stacking 이 통계적으로 유의미하게 더 좋은 성능을 보였습니다.
  • 심층 표적 모델 (TabNet, FT-Transformer) 은 트리 기반 앙상블보다 성능이 낮거나 변동성이 컸습니다.
  • EBM은 성능은 약간 낮았으나 (최고 모델 대비 MCC 0.03 차이), 완전한 해석 가능성을 제공하여 감사 환경에서 대안이 될 수 있음을 보였습니다.
• 분할 전략의 영향:
  • 무작위 분할 (Random Stratified) 을 사용할 경우, 실제 배포 환경에 가까운 시간 + 그룹 분할 (Time+Group) 대비 MCC 가 0.08~0.12 만큼 과대평가되었습니다. 이는 분할 전략이 성능 평가에 가장 큰 영향을 미치는 요소임을 시사합니다.
• 강건성 테스트 (Augmented Test Suites):
  • 유형 변화 (Typology Shift): 훈련 데이터에 없는 새로운 사기 패턴이 등장할 때, Stacking Ensemble 이 단일 모델보다 성능 저하가 가장 적었습니다.
  • 데이터 결측: 트리 기반 모델 (LightGBM, CatBoost) 은 결측치를 자연스럽게 처리하여 심층 모델보다 우위를 보였습니다.
• 특성 중요도:
  • **3-way matching 불일치 (구매 주문, 입고, 송장 금액 차이)**가 가장 중요한 예측 변수로 consistently 나타났습니다.
  • Stacking 과 LightGBM 은 특성 중요도 순위가 폴드 간에 매우 안정적이었으나, TabNet 은 불안정했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 학술적 의의: ERP 재무 위험 탐지 분야에서 재현성과 방법론적 엄격성을 위한 새로운 표준 (ERP-RiskBench) 을 제시했습니다. 특히 "누출 방지"가 단순한 기술적 세부사항이 아니라 성능 평가의 신뢰성을 결정하는 핵심 요소임을 강조했습니다.
• 실무적 의의:
  • 배포 가이드라인: 단순한 모델 복잡도 증가보다 올바른 데이터 분할과 누출 방지 파이프라인 구축이 더 중요합니다.
  • 비용 기반 의사결정: 확률 보정 (Calibration) 을 통해 모델 출력을 실제 운영 비용 (조사 비용 vs 사기 손실) 에 기반한 임계값으로 변환해야 함을 강조했습니다.
  • 감사 가능성: SHAP 기반 설명과 EBM 과 같은 투명성 모델의 중요성을 부각시켜, 규제 환경에서의 모델 도입 장벽을 낮추는 방안을 제시했습니다.
• 향후 과제: 실제 기업 환경의 비공개 ERP 데이터로 검증, 실시간 스트리밍 스코어링 적용, 그리고 그래프 기반 벤더 네트워크 분석 및 연방 학습 (Federated Learning) 등을 통한 확장성이 제안되었습니다.

이 논문은 머신러닝의 이론적 성능을 넘어, 실제 기업 환경 (ERP) 에서의 신뢰성, 재현성, 그리고 운영적 유용성을 종합적으로 고려한 실용적인 AI 프레임워크의 중요성을 역설합니다.