기술 요약: 고카디널리티 사기 탐지를 위한 해석 가능한 인코더와 학습된 인코더의 비교

문제 정의

본 논문은 표 형식의 사기 탐지 데이터셋(예: 카드 식별자, 이메일 도메인, 디바이스 핑거프린트 등)에서 고카디널리티(high-cardinality) 범주형 변수를 표현하는 문제를 다룹니다. 기존의 머신러닝 벤치마크는 주로 전통적인 모델 제품군 내에서의 인코더 성능에 집중하거나, 딥러닝 연구의 경우 인코딩을 고정시킨 채 모델 아키텍처를 변화시키는 경향이 있는 반면, 인코더 간의 성능을 직접적으로 비교한 통제된 증거는 부족합니다. 이러한 격차는 모델의 투명성과 감사 가능성이 요구되는 규제 금융 환경(예: SR 11-7 준수)에서 매우 중요합니다. 저자들은 고카디날리티 사기 데이터에 대한 인코딩 전략을 선택할 때, 다운스트림 학습기(learner)로부터 인코더의 기여도를 분리하여 정확도, 계산 비용, 그리고 해석 가능성 사이의 트레이드오프를 결정하고자 합니다.

방법론

본 연구는 IEEE-CIS 사기 탐지 데이터셋(590,540개 레코드, 3.5%의 양성 클래스, 카디널리티가 4에서 13,553 사이인 8개의 고카디널리티 컬럼)을 활용합니다.

실험 설계

저자들은 층화 5-겹 교차 검증(stratified 5-fold cross-validation)을 3회 반복(총 15회 실행)하여 통제된 실험을 수행했습니다. 핵심적인 혁신은 인코딩 방법의 효과를 고립시키기 위해 대부분의 비교에서 다운스트림 학습기를 고정했다는 점입니다.

평가된 7가지 인코더:

1. E1 (One-hot): 빈도 기반 드롭(dropping)을 적용한 표준 지표 인코딩.
2. E2 (Target Encoding): 베이지안 스무딩($m=30$)을 적용한 out-of-fold 평균 타겟값.
3. E3 (Frequency): 값을 상대적 빈도로 매핑.
4. E4 (Tier Grouping): 베이지안 스무딩된 사기율을 $K$개의 순서형 티어(ordinal tiers, $K \in \{3, 5, 7\}$)로 나누는 해석 가능한 방법. 이는 감사인이 읽을 수 있는 경계값을 생성합니다.
5. E5 (CatBoost): 순열 기반 순서형 타겟 통계량(permutation-based ordered target statistics)을 통해 원시 범주형 데이터를 직접 소비하는 교차 패러다임 참조 모델.
6. E6 (Entity Embeddings $\to$ LightGBM): 얕은 신경망을 통해 고카디널리티 컬럼에 대한 밀집 임베딩(dense embeddings)을 학습한 후, 이를 추출하여 고정된(frozen) LightGBM 학습기에 입력.
7. E7 (Target Encoding $\to$ TabNet): E2와 동일한 타겟 인코딩 입력을 사용하되, 이를 TabNet 딥러닝 아키텍처에 입력.

통제된 비교:

• E1, E2, E3, E4, E6: 모두 동일하게 고정된 하이퍼파라미터를 가진 고정된 LightGBM 학습기에 입력됩니다.
• E5 & E7: 각각 CatBoost와 TabNet이라는 서로 다른 학습기를 사용하는 교차 패러다임 참조 역할을 합니다.

지표 및 통계:

• 주요 지표: AUC-ROC (메트릭 쇼핑을 방지하기 위해 사전 결정).
• 보조 지표: AUC-PR (불균형 데이터에 대한 민감도 측정).
• 통계적 추론: 상관관계가 있는 CV 폴드를 처리하기 위한 Nadeau–Bengio 보정 재표본 t-검정(resampled t-test) 및 순위 측정을 위한 Friedman/Nemenyi 검정.

주요 결과

1. 정확도 및 통계적 유의성

• **엔티티 임베딩 (E6)**은 0.9612의 AUC-ROC를 달성하였으며, **CatBoost (E5)**의 0.9602와 통계적으로 동등한 수준을 보였습니다.
• **티어 그룹화 (E4)**는 0.9548을 기록하였으며, E6(0.9612)보다는 통계적으로 유의미하게 낮았으나($p < 0.001$), TabNet(E7)과는 통계적으로 동등하였고 빈도 인코딩(Frequency encoding)보다는 유의미하게 높았습니다.
• 타겟 인코딩 (E2) (0.9571)은 티어 그룹화보다 미세하지만 유의미한 차이(0.0023, $p=0.0003$)로 앞섰습니다.
• TabNet (E7) (0.9522)은 트리 기반 파이프라인을 능가하지 못했으며, 티어 그룹화와 유사한 성능을 보였습니다.

2. 지표 간 괴리 (AUC-ROC vs. AUC-PR)

본 연구는 지표 순위의 중요한 차이를 강조합니다:

• AUC-ROC: E6(임베딩)와 E5(CatBoost)가 선두를 차지했습니다.
• AUC-PR: **CatBoost (E5)**가 0.8216로 E6(0.7928)를 크게 앞섰습니다. AUC-PR에서의 격차(0.029)는 AUC-ROC에서의 격차(0.001)보다 한 자릿수 더 큽니다.
• 결론: 단일 인코더가 두 지표 모두를 지배하지는 않습니다. 선택은 배포 목적(순위 품질 vs. 정밀도-재현율 균형)에 따라 달라집니다.

3. 계산 비용 및 효율성

• **티어 그룹화 (E4)**가 24.5초/폴드로 가장 효율적입니다.
• **엔티티 임베딩 (E6)**은 미미한 AUC-ROC 이득(0.0064)을 위해 104.6초/폴드 (E4의 4.3배)가 소요됩니다.
• **TabNet (E7)**은 1654.3초/폴드 (E4의 67배)로 가장 비용이 많이 들며, 본 설정에서 트리 기반 방법보다 정확도 측면의 이점이 없습니다.

4. 견고성 및 민감도

• 데이터 희소성: 서브샘플링(데이터 10%까지 감소) 시, **TabNet (E7)**은 붕괴되었으나 (AUC-ROC 0.8108로 급락 및 높은 분산), 트리 기반 인코더(E1–E6)는 평행하고 안정적인 성능 저하를 보였습니다.
• 컬럼별 분석: 단일 고카디널리티 컬럼으로 학습했을 때, **엔티티 임베딩 (E6)**은 고전적 인코더보다 성능이 떨어졌습니다. 이는 E6의 이점이 단일 컬럼 인코딩의 우수성이 아니라, 결합된 다중 컬럼 표현(예: card1과 DeviceInfo 간의 잠재적 공생 관계 포착)에서 기인함을 확인시켜 줍니다.
• 티어 민감도: E4의 성능은 티어의 개수($K$)나 빈닝 규칙에 크게 영향을 받지 않았으며, AUC-ROC 변동폭은 0.0019 미만이었습니다.

주요 기여

1. 교차 패러다임 통제 실험: 저자들은 고전적(LightGBM) 및 딥러닝(TabNet) 패러다임 전반에 걸쳐 인코더를 통제 변수로 분리함으로써, 인코딩 선택만으로 약 0.01 AUC-ROC의 분산이 발생함을 입증했습니다.
2. 감사인이 읽을 수 있는 인코딩의 실용화: 스무딩된 사기율을 순서형 티어로 나누는 "티어 그룹화" 방법을 벤치마킹하여, 이것이 학습된 임베딩의 경쟁력 있고 저비용이며 완전히 감사 가능한 대안임을 보여주었습니다.
3. 해석 가능성 우선 프레임워크: 본 연구는 정확도와 함께 해석 가능성과 계산 비용을 명시적으로 평가하여, 모델 리스크 관리자가 점수를 정당화해야 하는(예: SR 11-7 하의) 규제 금융 환경을 위한 프레임워크를 제공합니다.

의의 및 주장

본 논문은 인코더 선택이 모델 패밀리를 변화시켰던 이전 연구들과 달리 독립적인 자유도라는 점을 주장합니다. 연구 결과는 다음과 같습니다:

• 학습된 임베딩(E6)은 가장 높은 AUC-ROC를 제공하지만, 더 높은 계산 비용과 낮은 해석 가능성(30차원 벡터 vs. 명확한 티어 경계)을 수반합니다.
• **티어 그룹화 (E4)**는 규제 환경을 위한 "스윗 스팟(sweet spot)"을 제공합니다: 최고 성능 모델과 AUC-ROC 차이가 0.0064에 불과하면서도, 투명하고 감사 친화적인 경계를 제공하며 훨씬 빠릅니다.
• 기성(off-the-shelf) TabNet은 이 작업에서 트리 기반 파이프라인을 능가하지 못하며, 데이터 희소성에 매우 민감합니다.
• 지표 선택의 중요성: 사기 탐지에서는 AUC-ROC와 AUC-PR가 서로 다른 승자를 낼 수 있으므로(CatBoost는 PR에서, 임베딩은 ROC에서 승리), 특정 배포 목표에 맞게 지표를 선택해야 합니다.

저자들은 학습된 임베딩이 결합된 표현을 통해 미미한 정확도 우위를 제공하지만, 티어 그룹화가 엄격한 규제 요구 사항을 충족하면서도 상당한 성능 손실 없이 강력하고 해석 가능하며 계산 효율적인 대안이 될 수 있다고 결론짓습니다.