Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles

기술 요약: FT-Transformer 및 스태킹 앙상블을 이용한 정형 데이터 기반 고객 이탈 예측

문제 정의
정형 테이블 데이터에서의 고객 이탈 예측은 이미지나 텍스트와 같은 비정형 데이터와는 구별되는 독특한 과제를 안고 있다. 주요 난제로는 심각한 클래스 불균형(통상적으로 이탈자는 15~25%), 복잡한 비선형 특성 상호작용, 그리고 이질적인 특성 유형(수치형 및 범주형)이 있다. 트리 기반 앙상블(예: XGBoost)은 축 정렬 분할(axis-aligned splits)과 불규칙한 결정 경계를 처리하는 능력 덕분에 역사적으로 정형 데이터에서 딥러닝보다 우수한 성능을 보여왔으나, 최근의 트랜스포머 아키텍처는 고차원적 특성 의존성을 포착할 수 있는 잠재력을 제공한다. 그러나 기존 연구들은 이러한 모델 제품군을 엄격한 통계적 검증, 확률 교정(probability calibration), 그리고 하이브리드 구성 요소의 체계적인 절제 실험(ablation) 없이 개별적으로 다루는 경우가 많았다. 또한, 많은 기존 연구가 합성 오버샘플링(예: SMOTE)에 의존하는데, 이는 인위적인 결과물(artifacts)을 도입하고 소수 클래스의 분포를 왜곡할 수 있다.

방법론
저자들은 FT-Transformer(Feature-Tokenized Transformer)를 XGBoost와 결합한 교정 인식 스태킹 앙상블(calibration-aware stacking ensemble)을 제안한다. 프레임워크는 다음과 같이 작동한다:

1. 데이터 전처리: 파이프라인은 데이터 누수를 방지하기 위해 엄격하게 훈련 세트에서 유도된 Z-score 정규화와 중앙값/최빈값 임퓨테이션(imputation)을 사용한다. 결정적으로, 저자들은 합성 오버샘플링을 피하는 대신, 약 4:1의 클래스 불균형을 처리하기 위해 클래스 가중치 손실 함수(class-weighted loss functions)를 채택하였다.
2. 기본 모델:
   • FT-Transformer: 이질적인 특성들을 일련의 임베딩 시퀀스로 변환한다. 수치형 특성은 선형 임베딩을 거치며, 범주형 특성은 학습된 임베딩 행렬을 사용한다. 학습 가능한 [CLS] 토큰은 정보를 집계하며, 멀티 헤드 셀프 어텐션 메커니즘은 쌍별 특성 상호작용을 모델링한다. 이 모델은 클래스 가중치가 적용된 이진 교차 엔트로피 손실을 사용한다.
   • XGBoost: 조기 종료(early stopping)와 불균형 해결을 위한 scale_pos_weight 파라미터가 설정된 그래디언트 부스팅 결정 트리 앙상블이다.
3. 스태킹 앙상블: 두 기본 모델의 출력은 5-폴드 교차 검증(5개의 무작위 시드에 대해 평균화됨)을 통해 생성된 OOF(Out-of-Fold) 예측을 사용하여 결합된다. 로지스틱 회귀 메타 학습기가 이 OOF 예측값 위에서 훈련되어 최적의 결합 가중치를 학습하고 확률을 재교정한다.
4. 검증: 본 연구는 25회의 독립적인 평가(5-fold CV × 5 seeds), 대응 표본 t-검정(paired t-tests), 그리고 기대 교정 오차(ECE) 분석을 포함한 엄격한 통계적 검증을 활용한다.

주요 기여
본 논문은 네 가지 주요 기여를 주장한다:

1. 하이브리드 아키텍처: 특히 이탈 예측을 위해 FT-Transformer와 XGBoost를 체계적으로 결합한 최초의 연구 중 하나이며, 오차 독립성($\rho = 0.62$)과 확률 교정(ECE = 0.038)을 입증하였다.
2. 포괄적 절제 실험(Ablation): 본 연구는 트랜스포머 레이어, 앙상블 전략, 그리고 메타 학습기 선택의 기여도를 분리하여, 두 구성 요소가 모두 필수적이며 중복되지 않음을 입증하였다.
3. 확률 교정: ECE 분석을 통해, 본 프레임워크는 별도의 교정 데이터셋 없이도 메타 학습기가 기본 모델의 과잉 확신(overconfident) 출력을 효과적으로 재교정함을 보여줌으로써 의사결정 신뢰도를 향상시켰다.
4. 재현성: 저자들은 독립적인 검증을 용이하게 하기 위해 상세한 알고리즘 명세, 전처리 단계, 그리고 정확한 하이퍼파라미터 설정을 제공한다.

실험 결과
공개된 은행 이탈 데이터셋(고객 10,000명, 이탈률 20.4%)에 대해 평가한 결과, 제안된 하이브리드 모델은 다음을 달성하였다:

• F1 Score: 62.10% (95% CI: [61.65, 62.55])
• AUC-ROC: 0.861 (95% CI: [0.858, 0.864])
• PR-AUC: 0.647

이 결과는 강력한 베이스라인인 MLP (+3.37 F1 포인트), XGBoost (+3.89 F1 포인트), 그리고 FT-Transformer 단독 모델 (+1.10 F1 포인트)에 비해 통계적으로 유의미한 개선($p < 0.001$)을 나타낸다.

특성 중요도 및 해석
XGBoost의 SHAP 값과 FT-Transformer의 어텐션 가중치 모두 연령(Age), 활성 회원 여부(IsActiveMember), **상품 수(NumOfProducts)**를 가장 중요한 예측 인자로 식별하였다. 트랜스포머는 특정 상호작용을 성공적으로 포착하였는데, 예를 들어 고령 고객이 3개 이상의 상품을 보유했을 때 이탈 위험이 급증하는 패턴(젊은 층이 상품 1개를 보유했을 때의 12% 대비 42%)을 찾아냈다. 이는 선형 모델이 표현하지 못하는 상호작용 패턴이다.

의의 및 주장
본 논문은 그 의의가 어텐션 기반 모델링의 최근 발전과 기존의 앙상블 기법을 연결하는 데 있다고 주장한다. 저자들은 하이브리드 접근 방식이 **상보적인 귀납적 편향(complementary inductive biases)**을 활용한다고 설명한다. 즉, 트랜스포머는 연속적인 특성 상호작용과 전역적 의존성을 포착하고, 트리 기반 모델은 이산적인 결정 경계 처리에 탁월하다는 것이다.

본 연구는 앙상블의 성공이 단순히 모델 복잡도 때문이 아니라, 기본 모델 간의 부분적 오차 독립성($\rho = 0.62$) 덕분임을 강조하며, 이를 통해 메타 학습기가 한 모델이 실패한 사례의 89.1%를 복구할 수 있음을 보여준다. 나아가, 본 프레임워크는 이전 문헌에서 발견된 통계적 검증 및 확률 교정의 공백을 메우는 재현 가능한 참조 아키텍처를 제공한다.

한계 및 범위
저자들은 일반화 가능성에 대해 겸허한 입장을 유지한다. 본 연구가 단일 데이터셋(유럽 은행, 2010–2015)을 기반으로 하며 시간적 행동 신호(temporal behavioral signals)가 부족하다는 점을 인정한다. 또한, 미학습 데이터에 대한 실제 운영 성능이 1~2 퍼센트 포인트 하락할 수 있으며, 통신이나 보험과 같은 다른 산업 분야로 전이하기 위해서는 도메인 특화된 특성 정렬이 필요하다고 경고한다. 논문은 보편적 최적성을 주장하는 것을 명시적으로 피하며, 샘플 크기가 매우 작거나(<2,000) 엄격한 지연 시간 제한(<10ms)이 있는 데이터셋의 경우 그래디언트 부스팅 단독 모델이 더 적합할 수 있음을 언급한다.