Data-Driven Telecom Marketing Optimization: A Machine Learning-Based Churn Prediction and Customer Segmentation Framework

통신 회사를 수천 명의 사람들이 모여 있는 거대하고 시끌벅적한 파티라고 상상해 보세요. 오랫동안 호스트들(마케팅 팀)은 파티장 전체에 커다란 "떠나지 마세요!" 현수막을 걸고 모두에게 똑같은 할인 쿠폰을 나눠주며 모두를 만족시키려 노력했습니다. 문제는 이미 즐거운 시간을 보내고 있으며 떠날 계획이 전혀 없는 사람들에게까지 돈을 낭비하고 있었고, 정작 뒷문으로 몰래 빠져나가고 있는 사람들은 무시했다는 점입니다.

이 논문은 이러한 무질서한 일괄적 접근 방식을 스마트하고 데이터 중심적인 '똑똑한 가드(bouncer)' 시스템으로 교체하는 탐정 이야기와 같습니다. 저자인 Nada Ali, Lina Ahmed, 그리고 Dr. Tahani Abdalla Attia가 어떻게 그 암호를 풀었는지 소개합니다.

거대한 문제: "눈먼" 파티

저자들은 전통적인 마케팅이 눈을 가린 채 움직이는 목표물을 맞추려는 것과 같다고 주장합니다. 그들은 단순히 누가 떠날지를 예측하고 거기서 멈추는 것은 불가능하다는 점을 명시적으로 배제합니다. 또한, 고객이 얼마나 떠날 가능성이 높은지를 보지 않고 단순히 지출 금액만으로 사람들을 그룹화하는 것은 실수라고 말합니다. 이 논문은 두 가지를 동시에 수행해야 한다고 강조합니다: 누가 위험한지(이탈 가능성)와 그들이 얼마나 가치 있는지(가치)를 모두 파악한 다음, 그들을 다르게 대우해야 한다는 것입니다.

탐정의 도구: "슈퍼 브레인"

이를 해결하기 위해 팀은 누가 그만둘지 예측하기 위해 세 가지 서로 다른 "슈퍼 브레인"(알고리즘)인 XGBoost, LightGBM, CatBoost를 사용하는 머신러닝 파이프라인을 구축했습니다. 그들은 고객의 가입 기간, 인터넷 종류, 요금 납부 방식 등 21가지의 서로 다른 단서들을 포함한 7,043명의 고객 데이터를 이 브레인들에게 입력했습니다.

데이터는 까다로웠습니다. 7,043명의 고객 중 실제로 떠나는 사람은 1,869명(약 26.6%)이었고, 남은 사람은 5,174명(약 73.4%)이었습니다. 이는 100명의 사람들 중 27명만이 떠나려고 하는 방에 있는 것과 같습니다. 남겨진 73명 때문에 27명을 찾아내는 것은 매우 어려운 일입니다.

이를 해결하기 위해 팀은 알고리즘이 무작위로 추측하게 두지 않았습니다. 그들은 "랜덤 서치(randomized search)"라는 특별한 기법을 사용하여 브레인을 완벽하게 튜닝했고, 알고리즘이 희귀한 "이탈자"들에게 더 집중하도록 규칙을 조정했습니다.

승자: CatBoost

치열한 경쟁 끝에 CatBoost가 챔피언의 왕관을 차지했습니다. 이 모델은 단순히 추측하는 것이 아니라, 고객이 떠나기 직전에 보이는 미묘한 징후를 포착하는 법을 배웠습니다.

• 정확도(Accuracy): **77.68%**의 확률로 정답을 맞혔습니다.
• 재현율(Recall): 실제로 떠나는 사람들의 **73.53%**를 성공적으로 잡아냈습니다 (이것은 매우 중요한데, 이탈자를 놓치는 것은 곧 돈을 잃는 것이기 때문입니다).
• 정밀도(Precision): 누군가 떠날 것이라고 말했을 때, 그 말이 맞을 확률은 **56.12%**였습니다.
• 점수: F1-score 0.6366과 PR-AUC 0.6553을 달려 성과를 냈습니다.

논문은 LightGBM이 이탈자를 조금 더 많이 찾아내긴 했지만, 너무 자주 "늑대다!"라고 외쳐서(낮은 정밀도) 실제로는 떠나지 않을 사람들에게까지 비용을 낭비하게 만들었다고 언급합니다. CatBoost는 최적의 균형점을 찾았습니다.

마법의 지도: 파티 손님 분류하기

시스템이 누가 위험한지 알게 된 후, 팀은 거기서 멈추지 않았습니다. 그들은 K-Means 클러스터링(스마트한 분류 기계라고 생각하세요)을 사용하여 고객을 세 가지 가치 버킷인 고가치(High-Value), 중가치(Medium-Value), **저가치(Low-Value)**로 그룹화했습니다.

그런 다음, 이 가치 버킷을 "위험" 라벨과 교차하여 네 가지 뚜렷한 그룹을 만들었습니다:

1. 고위험 / 고가치: 떠나기 직전인 VIP들입니다. (고객의 **6.1%**에 불과하지만, 가장 손실이 큰 그룹입니다.)
2. 저위험 / 고가치: 행복하게 머물고 있는 VIP들입니다.
3. 중가치: 규모가 크며(33.0%), 놀랍게도 **51.7%**라는 가장 높은 이탈률을 보인 그룹입니다.
4. 저가치: 예산 중심의 고객층입니다.

전략: 맞춤형 초대장

이 부분이 논문을 매우 실용적으로 만듭니다. 하나의 일반적인 제안 대신, 저자들은 각 그룹을 위한 구체적인 전략을 설계했습니다:

• 고위험 VIP를 위해: "레드 카펫" 대우를 제공합니다. 개인화된 유지 관리, 무료 서비스 이용권, 독점 콘텐츠 등을 제공합니다.
• 행복한 VIP를 위해: 자동 체크인과 작은 충성도 할인으로 충성도를 유지합니다.
• 중가치 고객층을 위해: 업셀링(더 많은 서비스 판매)을 시도하거나, 이들이 위험해 보일 경우 비용 효율적인 유지 전략을 제안합니다.
• 저가치 고객층을 위해: 저렴하고 가볍게 유지합니다. 추천 프로그램이나 무료 체험 등을 제공하되, 큰 돈을 쓰지는 않습니다.

논문은 **투자 수익률(ROI)**을 계산하기 위한 이론적 프레임워크를 제공합니다. 시뮬레이션된 시나리오에서, 고위험/고가치 그룹을 타겟팅하면 3.5배의 ROI를 얻을 수 있는 반면, 저위험/고가치 그룹은 유지 비용이 거의 들지 않기 때문에 4.1배의 ROI에 도달할 수 있습니다. 저자들은 이 수치들이 실제 캠페인 결과가 아니라 가상의 캠페인 비용을 바탕으로 한 시뮬레이션 결과임을 주의 깊게 명시하고 있습니다.

대시보드: "가드의 태블릿"

마지막으로, 저자들은 이것을 단순히 컴퓨터 속의 수학 문제로 남겨두지 않았습니다. 그들은 Streamlit을 사용하여 대화형 웹 앱을 구축했습니다. 마케팅 매니저가 코딩을 몰라도 사용할 수 있는 태블릿을 상상해 보세요. 그들은 고객 리스트를 업로드하고, "고위험" 또는 "저가치"별로 필터링하여 즉시 다음을 확인할 수 있습니다:

• 누가 떠나고 있는지 보여주는 지도.
• 그들에게 정확히 어떤 말을 해야 하는지에 대한 목록.
• 모든 세부 정보가 담긴 다운로드 가능한 보고서.

결론

논문은 이탈 예측과 가치 세분화를 결합하는 것이 진정한 게임 체인저라고 결론짓습니다. 단순히 누가 떠나는지를 아는 것만으로는 부족합니다. 그들을 붙잡기 위해 얼마나 열심히 싸워야 할지 결정하려면 그들이 얼마나 가치 있는지도 알아야 합니다.

하지만 저자들은 한계점에 대해서도 솔직합니다. 그들은 고객의 몇 년간의 흐름(비디오)이 아닌, 특정 시점의 데이터(사진)를 사용했습니다. 또한 경쟁사 데이터나 거시 경제 뉴스도 포함되지 않았습니다. ROI 수치는 실제 캠페인을 통해 입증된 결과가 아닌 이론적 시뮬레이션입니다. 그들은 향러 연구에서 실시간 데이터와 실제 환경에서의 테스트가 필요하다고 제안합니다.

요약하자면, 이 논문은 고객의 이탈을 막고 싶다면 모두를 똑같이 대하는 것을 멈추라고 조언합니다. 스마트한 수학을 사용하여 탈출하려는 VIP를 찾아내어 그들에게 VIP 대우를 해주고, 실제 도움이 필요한 사람들에게 예산을 아껴서 사용하십시오.