기술 요약: ChurnNet: 이탈 예측을 위한 최적화된 현대적 AI

문제 정의

소매업계는 옴니채널 판매로의 전환에 따른 전환 장벽의 완화로 인해 경쟁이 심화되고 있으며, 이에 따라 고객 유지(retention)가 전략적 우선순위가 되었습니다. 계약 기반 산업(예: 통신업)에서 이탈은 명시적인 해지로 정의되는 것과 달리, 비계약 기반 소매업에서의 이탈은 구매 빈도나 규모의 감소와 같은 행동 변화로부터 추론됩니다. 이러한 "조용한" 이탈은 감지하기 어렵지만 반드시 해결해야 할 중요한 문제입니다.

최근의 딥러닝 아키텍처, 특히 UniTS(Unified Multi-Task Time Series Model)와 같은 트랜스포머 기반 모델들이 다양한 도메인의 이진 시계열 분류에서 인상적인 성능을 입증해 왔으나, 소매업 이탈 예측에 대한 적용 연구는 여전히 미진한 상태입니다. 이러한 현대적 모델들은 계산 비용이 많이 들고 과적합(overfitting)되기 쉬우며 대규모 데이터셋을 필요로 합니다. 반면, 전통적인 머신러닝(ML) 방법론은 계산 효율성은 높지만 복잡한 시간적 역학(temporal dynamics)을 모델링하는 능력은 부족할 수 있습니다. 본 연구의 핵심 질문은 소매업 이탈 예측을 위해 현대적인 딥러닝 아키텍처의 복잡성이 반드시 필요한가, 아니면 더 단순한 전통적 모델만으로도 강력한 예측 성능, 데이터 효율성 및 배포 가능성을 제공하기에 충분한가 하는 것입니다.

방법론

본 연구는 여러 실제 소매 데이터셋을 대상으로 전통적인 ML 모델과 UniTS 트랜스포머 아키텍처를 비교 평가하기 위해 구조화된 파이프라인을 채택합니다.

데이터셋 및 전처리

평가에는 네 가지 데이터셋(Infocube의 독자적 데이터셋 IC1, IC2 및 공개 데이터셋 The Complete Journey [CJ], Let's Get Sort of Real [LGSR])이 사용됩니다.

• 전처리: 트랜잭션 데이터를 고객 ID별로 집계하고, 양수 값이 아닌 데이터를 필터링한 후 주 단위 시계열로 변환합니다. 거래가 없는 주에는 제로 패딩(zero-padding)을 적용합니다.
• 필터링: 충분한 행동 이력을 확보하기 위해 트랜잭션 주(week)가 20주 미만인 고객은 제외합니다.
• 이탈 라벨링: 관찰 창($A=40$주)과 라벨링 창($B=20$주)을 정의하는 동적 라벨링 전략을 사용합니다. 고객의 평균 주간 지출액($\mu$)과 거래 빈도($f$)가 모두 설정된 임계값($\alpha \cdot \mu_A > \mu_B$ 및 $\beta \cdot f_A > f_B$) 미만일 경우 라벨링 창에서 이탈자로 분류됩니다. 민감도($\alpha, \beta \in \{0.3, 0.4, 0.5\}$)가 다른 세 가지 정의(A, B, C)를 테스트합니다.
• 특징 윈도우(Feature Windowing): 고정된 20주 특징 윈도우를 사용합니다. 이탈자의 경우, 이 윈도우는 비활동 기간 직전의 기간을 나타내며, 비이탈자의 경우 무작위로 선택된 20주 구간을 사용합니다.

실험 설계

본 연구는 이탈 정의와 균형 전략을 변화시켜 36개의 별도 데이터셋을 구성합니다.

1. 균형(Balanced, 1:1): 이탈자와 비이탈자의 수가 동일함.
2. 제한적 불균형(Limited Unbalanced, 1:4): 모든 이탈자를 유지하되, 비이탈자의 수를 4배 더 많게 설정함.
3. 균형 하위 샘플링(Balanced Subsampled, B-SS): 데이터 효율성을 테스트하기 위해 다운샘플링된 버전(2,500명 또는 5,000명의 고객)을 사용함.

평가 모델

• 전통적 ML: 랜덤 포레스트(RF), XGBoost(XGB), 서포트 벡터 머신(SVM).
• 현대적 AI: 다중 작업 시계열 분석을 위해 설계된 트랜스포머 기반 모델인 UniTS. 본 연구는 "플러그 앤 플레이(plug-and-play)" 사용성을 반영하기 위해 광범위한 하이퍼파라미터 튜닝을 피하고, 사전 학습된 체크포인트로부터의 전이 학습을 활용한 지도 학습 패러다임을 사용합니다.

주요 결과

정확도(accuracy), 정밀도(precision), 재현율(recall), F1-score 및 ROC-AUC를 통해 평가된 실증적 결과는 다음과 같은 일관된 경향을 보입니다.

1. 전통적 모델의 우월성: 트리 기반 모델(XGBoost 및 Random Forest)은 균형 및 불균형 데이터셋을 포함한 모든 실험 조건에서 UniTS와 SVM보다 일관되게 우수한 성능을 보였습니다.
   • 균형 데이터셋(예: IC1, 정의 A)에서 XGBoost는 정확도 0.77을 달성하여 UniTS의 0.72를 앞질렀습니다.
   • 대규모 데이터셋(LGSR)에서 XGBoost와 RF는 0.940.96의 정확도에 도달하며 UniTS(0.800.87)를 크게 상회했습니다.
2. 불균형에 대한 강건성: 클래스 불균형(1:4) 상황에서도 트리 기반 모델은 UniTS와 SVM보다 높은 재현율과 정밀도를 유지했습니다. 예를 들어, IC2 데이터셋에서 XGBoost는 불균형 상황에서도 0.57의 재현율을 유지한 반면, SVM의 재현율은 0.24로 급락했습니다.
3. 데이터 효율성: 매우 중요한 발견은 데이터가 부족한 시나리오에서 UniTS의 성능 저하입니다.
   • 전체 IC2 데이터셋에서 UniTS는 0.80의 정확도를 달성했습니다.
   • 하위 샘플링된 버전(IC2*)에서 정확도는 0.73으로 떨어졌습니다.
   • 더 축소된 버전(IC2**)에서는 정확도가 0.50으로 붕괴되었습니다.
   • 반면, XGBoost와 RF는 샘플 크기가 크게 줄어들었음에도 불구하고 높은 정확도(0.82~0.85)를 유지하며 탁월한 데이터 효율성을 입증했습니다.
4. 이탈 정의의 영향: 이탈 정의가 완화됨에 따라(A에서 C로 이동) 성능이 일반적으로 향상되었는데, 이는 샘플 크기 증가와 클래스 분리 용이성 때문으로 보입니다. 그러나 모델 간의 상대적 순위(트리 기반 > UniTS > SVM)는 일관되게 유지되었습니다.

의의 및 주장

본 논문은 비계약 기반 소매 환경의 이탈 예측이라는 특정 과업에 대해, 전통적인 머신러닝 방법론이 UniTS와 같은 최첨단 트랜스포머 기반 아키텍처보다 여전히 우월한 선택지임을 주장합니다.

• 실무적 시사점: 본 연구 결과는 데이터가 구조화되어 있고 종종 제한적인 일반적인 소매 애플리케이션의 경우, 전통적인 앙상블 방법(XGBoost, Random Forest)이 더 신뢰할 수 있고 효율적이며 비용 효율적인 솔루션을 제공한다는 점을 시사합니다. 이 모델들은 더 낮은 계산 자원 요구 사항과 더 나은 일반화 성능을 갖추면서도 강력한 예측 성능을 달ach합니다.
• 현대적 AI의 한로: UniTS는 이론적으로 시간적 역학을 모델링하는 데 적합하지만, 본 연구는 소규모 내지 중규모의 테이블형 데이터셋에서 높은 데이터 요구량과 복잡성으로 인해 성능이 저하됨을 보여줍니다. 저자들은 현재 결과가 기본 설정 상태의 UniTS 성능를 반영하고 있음을 언급하며, 이탈 과업을 위한 특정 미세 조정(fine-tuning)이 결과를 바꿀 수도 있으나, 현재의 증거는 더 단순한 모델의 손을 들어주고 있습니다.
• 향 향후 연구 방향: 향후 연구에서는 추가적인 맥락적 특징(예: 브라우징 활동, 프로모션)의 통합을 탐구하고, 고급 아키텍처의 실제 배포 가능성을 더욱 평가하기 위해 훈련 시간 및 에너지 효율성에 대한 체계적인 분석을 수행할 것을 제안합니다.

결론적으로, 본 연구는 "더 크거나" "더 현대적인" 모델이 항상 필요한 것은 아니라는 가설에 도전하며, 소매업 이탈 예측을 위해서는 전통적인 트리 기반 모델의 단순함과 데이터 효율성이 강력한 이점을 제공한다는 것을 입증했습니다.