Retail Customer Segmentation Using Machine Learning-Based Clustering Techniques
이 논문은 4,338명의 영국 고객을 대상으로 한 RFM 기반 데이터셋에 K-평균 군집화를 적용하여 두 개의 뚜렷한 세그먼트를 밝혀내는 동시에, 방법론적 한계와 윤리적 고려 사항을 비판적으로 검토함으로써 소매 거래 데이터를 실행 가능한 통찰력으로 전환하는 과제를 다룬다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대적인 소매업의 거대하고 웅성거리는 창고 안에서, 새로운 기계가 아닌 사람들에 대한 더 깊은 이해를 바탕으로 한 조용한 혁명이 일어나고 있습니다. 수십 년 동안 기업들은 단순한 역설과 싸워왔습니다. 즉, 모든 구매 내역에 대한 방대한 데이터를 보유하고 있음에도 불구하고, 종종 모든 고객을 똑같은 사람처럼 취급해 왔다는 점입니다. 어떤 상점은 일 년에 한 번 물건을 하나 사는 사람과 매주 쇼핑하는 사람에게 동일한 전단지를 보내며, 사람들이 실제로 어떻게 행동하는지에 대한 미묘하지만 중요한 차이를 놓치곤 합니다. 이를 해결하기 위해 연구자들은 클러스터링(clustering)이라 불리는 분류법에 주목해 왔는데, 이는 본질적으로 데이터가 스스로 말하게 하는 방법입니다. 고객을 연령이나 지역에 따라 미리 만들어진 상자에 강제로 밀어 넣는 대신, 이 접근 방식은 세 가지 구체적인 행동, 즉 얼마나 최근에 구매했는지(recency), 얼마나 자주 돌아오는지(frequency), 그리고 얼마나 많은 금액을 지출하는지(monetary value)를 살펴봅니다. 유사한 행동을 하는 사람들을 그룹화함으로써, 소매업체들은 추측을 멈추고 이해를 시작하여, 자신들이 모시는 사람들의 실제 습관에 맞춰 제안을 맞춤화할 수 있습니다.
인도 산지바니 대학교의 연구원인 파완 힘팔레(Pawan Phimpale)의 최근 연구는 영국의 한 대형 온라인 소매업체로부터 얻은 실제 데이터셋을 사용하여 이 이론을 검증합니다. 연구자는 2010년부터 2011년 사이에 판매된 모든 품목을 기록한 수십만 건의 개별 거래가 담긴 거대한 로그 데이터로 시작했습니다. 이는 숫자의 혼란스러운 흐름이었습니다. 첫 번째 과제는 이 가공되지 않은 재료를 이해하는 것이었습니다. 데이터에는 오류, 반품, 그리고 구매자의 신원이 누락된 항목이 많았기 때문에, 연구원은 알려진 고객에 의한 명확하고 완료된 구매를 나타내지 않는 모든 것을 제거하여 목록을 신중하게 필터링했습니다. 이 과정을 통해 연구원은 거대한 로그를 4,338명의 고유 고객이라는 깨끗하고 구조화된 목록으로 줄였으며, 각 고객의 쇼핑 습관에 대한 계산된 이력을 산출했습니다.
깨끗한 데이터셋을 손에 쥔 연구원은 K-평균(K-Means) 클러스터링이라고 알려진 머신러닝 기법을 적용했습니다. 다양한 키와 몸무게를 가진 사람들이 모인 방을 상상해 보십시오. 만약 당신이 그들에게 이웃과 가장 닮은 사람을 기준으로 스스로를 그룹화하라고 요청한다면, 그들은 자연스럽게 군집을 형성할 것입니다. 컴퓨터도 이와 유사하게 작동했지만, 숫자를 가지고 수행했습니다. 컴퓨터는 세 가지 핵심 행동인 최근성, 빈도, 금전적 가치를 살펴보고, 4,338명의 고객을 별개의 그룹으로 나누는 최선의 방법을 찾으려 노력했습니다. 목표는 각 그룹 내부의 사람들은 서로 매우 유사하지만, 다른 그룹의 사람들과는 매우 다른 그룹의 수를 찾는 것이었습니다. 연구원은 데이터를 나누는 여러 가지 방식을 테스트하며, 각 분할이 얼마나 잘 결합되어 있는지를 측정하도록 설계된 수학적 도구들을 통해 각 분할의 품질을 확인했습니다.
결과는 놀랍고도 다소 의외인 패턴을 드러냈습니다. 데이터는 "할인 사냥꾼", "빈번한 방문객", "럭셔리 구매자"와 같은 다양한 유형의 쇼핑객이 균형 있게 섞인 형태로 나뉘지 않았습니다. 대신, 가장 효과적인 분할 결과는 단 두 개의 그룹만을 만들어냈습니다. 첫 번째 그룹은 거대했으며, 소매업체 고객 기반의 대다수를 차지하는 4,313명의 고객을 포함했습니다. 이들은 가끔 구매하고 적당한 금액을 지출하는 일반적인 습관을 가진 정기적인 쇼핑객들이었습니다. 두 두 번째 그룹은 단 26명으로 구성된 아주 작은 집단이었습니다. 이들은 단순히 조금 더 나은 고객이 아니라, 다른 누구보다 훨씬 더 많은 돈을 쓰고 훨씬 더 자주 쇼핑하는 극단적인 이상치(outliers)였습니다. 사실, 이 26명은 너무나 달랐기에 컴퓨터 알고리즘은 이들을 완전히 분리하여 별도의 독특한 범주로 취급했습니다.
이 결과는 현실 세계에서 데이터가 어떻게 작동하는지에 대한 결정적인 실체를 보여줍니다. 연구는 이 26명의 개인의 소비 습관이 너무나 극단적이어서 수학적 계산을 지배했고, 결과적으로 나머지 인구로부터 그룹의 경계를 멀리 끌어당겼음을 발견했습니다. 이 방법이 고가치 이상치를 성공적으로 식별해 내기는 했지만, 연구원은 이 결과가 데이터의 특수한 성격에 크게 영향을 받았다고 언급했습니다. 데이터셋이 거의 전적으로 영국 고객들로 구성되어 있었기 때문에, 발견된 패턴이 다른 국가의 쇼핑객들에게는 적용되지 않을 수 있다는 점입니다. 또한, 데이터를 정제하는 과정에서 로그인하지 않은 게스트 등의 많은 거래가 제외되었는데, 이는 평균적인 고객에 대한 그림을 왜곡했을 수 있습니다.
연구는 머신러닝이 고객 행동의 숨겨진 패턴을 찾는 강력한 도구이기는 하지만, 자동으로 완벽한 마케팅 리스트를 만들어내는 마법 지팡이는 아니라고 결론짓습니다. 분석 결과, 이 특정 데이터셋에서의 가장 명백한 분할은 다양한 유형의 고객이라는 미묘한 스펙트럼이 아니라, 평균적인 쇼핑객과 소수의 초고액 지출가 사이의 구분임이 나타났습니다. 연구원은 이러한 발견이 탐색적이며 중요한 주의 사항이 따른다는 점을 강조합니다. 그룹 간의 극단적인 불균형은 알고리즘이 인간 행동의 자연스럽고 균형 잡힌 다양성보다는 몇 개의 매우 큰 숫자에 반응했음을 시사합니다. 기업이 이 그룹들을 바탕으로 실제 의사결정을 내리기 전에는, 극단적인 지출 데이터를 처리하는 방식을 조정하거나 더 다양한 범위의 고객으로부터 정보를 수집하는 등의 조치를 통해 이러한 편향을 고려해야 할 것입니다. 궁극적으로 이 작업은 모든 알고리즘 뒤에는 어떤 데이터를 유지하고 어떤 데이터를 버릴지에 대한 선택이 존재하며, 그러한 선택이 데이터가 들려주는 이야기를 형성한다는 사실을 상기시켜 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.