When to Target Customers? Retention Management using Constrained Dynamic Off-Policy Policy Learning

물건을 판매하는 모든 기업은 조용하고도 지속적인 문제에 직면합니다. 바로 사람들이 구매를 멈춘다는 것입니다. 고객 관계의 세계에서 가장 위험한 순간은 첫 구매 직후입니다. 많은 신규 고객이 다시 돌아오기도 전에 사라져 버리며, 기업이 그들이 누구인지 파악하기도 전에 미끄러지듯 떠나갑니다. 이러한 초기 고객을 유지하는 것은 매우 중요한데, 단 한 번의 재구매가 훨씬 더 길고 가치 있는 관계로 이어지는 신호가 되기 때문입니다. 수십 년 동안 기업들은 감사 인사나 쿠폰을 보내는 방식으로 이 문제를 해결하려 노력해 왔지만, 고객이 다시 구매할 준비가 되었는지 혹은 이미 관심을 잃었는지와 상관없이 모두에게 동일한 메시지를 동시에 보내는 식의 맹목적인 방식을 취해왔습니다.

문제는 고객이 정체되어 있지 않고 매일 변화한다는 점입니다. 어떤 사람은 셔츠를 구매한 지 일주일 만에 다시 구매하고 싶어 할 수도 있지만, 한 달 뒤에는 무관심해질 수도 있습니다. 이는 '최신성 함정(recency trap)'이라 불리는데, 구매 후 시간이 흐를수록 고객이 돌아올 가능성이 낮아지는 현상을 말합니다. 하지만 고객이 어차피 다시 돌아올 예정인데 너무 빨리 보상을 제공하는 것은 돈 낭비가 될 수 있습니다. 이상적인 해결책은 각 고객의 행동을 관찰하고, 적절한 순간을 기다렸다가, 보상을 제공할지 여부를 결정하는 시스템일 것입니다. 하지만 여기에는 제약이 있습니다. 기업의 예산은 한정되어 있습니다. 모든 사람에게 쿠폰을 보낼 수는 없으므로, 모든 달러가 최대의 가치를 창출할 수 있도록 누구에게 언제 보낼지를 반드시 선택해야 합니다.

이것이 바로 연구진이 일본의 한 대형 온라인 패션 소매업체의 데이터를 사용하여 해결하고자 했던 정확한 퍼즐입니다. 그들은 고객 유지의 완벽한 타이밍을 학습하는 방법을 개발했으며, 각 개인의 변화하는 행동에 적응하면서도 지출 한도를 엄격히 준遵守하는 전략을 만들었습니다. 단순히 언제 쿠폰을 보낼지 추측하는 대신, 이 시스템은 수천 번의 실제 실험으로부터 학습하여 특정 고객이 인센티브에 반응할 가능성이 가장 높은 정확한 순간을 결정합니다. 그 결과, 고객을 유지하는 데 더 효과적일 뿐만 아니라 오늘날 기업들이 사용하는 표준 방식보다 운영 비용이 현저히 저렴한 동적 정책을 만들어냈습니다.

연구진은 젊은 여성들에게 의류를 판매하는 플랫폼을 대상으로 작업했는데, 이곳은 첫 구매자는 풍부하지만 금방 떠나버리는 경우가 많은 곳입니다. 이 회사의 기존 전략은 단순하고 정적적이었습니다. 고객의 첫 구매 후 정확히 2일, 10일, 30일째에 일반적인 감사 이메일과 함께 쿠폰을 보내는 것이었습니다. 이 방식은 모든 고객을 동일하게 취급하여, 어떤 고객은 10일째에 이미 두 번째 아이템을 구매했을 수도 있고, 다른 고객은 완전히 흥미를 잃었을 수도 있다는 사실을 무시했습니다. 회사는 더 나은 방법을 원했습니다. 고객과의 상호작용을 개인화하고 싶었지만, 엄격한 제약 조건이 있었습니다. 쿠폰에 무제한의 돈을 쓸 수는 없었습니다. 그들은 예산을 초과하지 않으면서도 재방문 고객 수를 극대화할 수 있는 전략이 필요했습니다.

답을 찾기 위해 연구진은 대규모의 실제 실험을 설계했습니다. 그들은 수천 명의 신규 고객을 모집하여 서로 다른 그룹에 무작위로 배정했습니다. 어떤 그룹은 첫 구매 2일 후에 쿠폰을 받았고, 어떤 그룹은 10일 후에, 또 다른 그룹은 30일 후에 받았습니다. 어떤 그룹은 쿠폰을 전혀 받지 않고 감사 메시지만 받았습니다. 결정적으로, 이 실험은 각 고객이 전체 기간 동안 최대 하나의 쿠폰만 받도록 설계되었습니다. 이는 기업이 한 명의 고객에게 끝없이 할인 혜택을 퍼부을 여력이 없다는 현실적인 제약을 모사한 것입니다. 연구진은 이러한 다양한 그룹이 이후 몇 달 동안 어떻게 행동하는지 관찰함으로써, 제안의 타이밍이 고객의 재방문 결정에 어떻게 영향을 미치는지 보여주는 풍부한 데이터셋을 수집했습니다.

이 데이터를 바탕으로 연구진은 '동적 처방 체계(dynamic treatment regime)'를 구축하기 위해 정교한 학습법을 적용했습니다. 쉽게 말해, 이는 시간이 흐름에 따라 변하는 규칙의 집합입니다. 시작 단계에서 모든 것을 결정하는 정적인 계획과 달리, 동적인 계획은 기다리고 관찰합니다. 고객이 첫 구매 이후 무엇을 했는지, 무엇을 둘러보았는지, 무엇을 클릭했는지, 그리고 얼마나 시간이 흘렀는지를 살펴본 뒤, 지금 쿠폰을 보낼지, 기다릴지, 아니면 아예 보내지 않을지를 결정합니다. 연구진은 예산 제한을 처리하기 위해 기존의 수학적 도구들을 확장하여, 학습된 규칙이 허용된 금액보다 더 많은 돈을 쓰지 않도록 보장했습니다. 그들은 두 가지 주요 접근 방식을 테스트했습니다. 하나는 고객의 이력을 바탕으로 미래 가치를 예측하는 방식이었고, 다른 하나는 문제를 일련의 분류 작업으로 취급하여 어떤 행동이 최선의 결과를 이끌어내는지 직접 학습하는 방식이었습니다.

결과는 놀라웠습니다. 연구진이 새로운 동적 정책을 별도의 고객 그룹에 테스트했을 때, 예산 제약을 준수하는 전략이 가장 우수한 성과를 보였습니다. 이 정책은 단순히 2일째에 모든 사람에게 쿠폰을 보내는 방식이 아니었습니다. 대신, 선택적으로 행동하는 법을 배웠습니다. 어떤 고객들에게는 행동 패턴상 이탈 직전이라는 징후가 보였기에 즉시 쿠폰을 보냈습니다. 반면, 다른 고객들에게는 10일이나 30일째에 보내거나 혹은 아예 보내지 않고 기다렸는데, 이는 그들이 스스로 돌아올 가능성이 높았기 때문입니다. 쿠폰 없이도 돌아올 고객들에게 쿠폰을 지급하지 않음으로써 정책은 비용을 절감했습니다. 그리고 그렇게 아낀 자금을 진정으로 인센티브가 필요한 고객들을 타겟팅하는 데 사용했습니다.

데이터는 이러한 예산 중심의 동적 접근 방식이 기존의 정적 방식보다 훨씬 효율적임을 보여주었습니다. 2일째에 모든 사람에게 쿠폰을 보내는 전통적인 전략은 재방문율을 일정 수준 높였지만, 그 비용이 매우 높았습니다. 새로운 동적 정책은 재방문율을 비슷하거나 더 높게 달성하면서도 훨씬 적은 비용을 사용했습니다. 실제로, 지출된 1엔당 재방문율 개선도를 측정했을 때, 새로운 정책은 모든 벤치마크를 능가했습니다. 결국 '일률적인(one-size-fits-all)' 방식은 낭비였습니다. 기다리고 관찰함으로써, 시스템은 인센티브가 차이를 만들어낼 수 있는 정확한 순간을 식출할 수 있었고, 사람들이 이미 할 행동에 대해 대가를 지불하는 함정을 피할 수 있었습니다.

연구진은 또한 시스템이 쿠폰을 보낼 시기뿐만 아니라, 단순한 감사 이메일을 보낼지 아니면 아무것도 보내지 않을지까지 선택할 수 있는 더 복잡한 버전의 문제도 탐구했습니다. 이 시나리오에서 시스템은 적절한 경우 값비싼 쿠폰 대신 저렴한 이메일로 대체하는 법을 학습했습니다. 관심은 있어 보이지만 금전적 자극이 필요하지 않은 고객에게는 무료 이메일을 보내어, 쿠폰을 정말로 필요한 사람을 위해 아껴두었습니다. 이러한 유연성은 전략의 비용 효율성을 더욱 향상시켰습니다. 회사는 이 결과를 실제 현장에 적용하여, 새로운 정책을 실제 고객들에게 적용하는 대규모 온라인 테스트를 실시했습니다. 온라인 결과는 오프라인의 예측을 확인해주었습니다. 예산 제약이 있는 동적 정책이 가장 높은 투자 수익률(ROI)을 창출했으며, 회사가 시도했던 그 어떤 전략보다 지출된 달러당 더 많은 고객을 유지해냈습니다.

이 연구는 효과적인 고객 유지를 위한 핵심이 단순히 데이터를 보유하는 것이 아니라, 그 데이터를 시간에 따라 어떻게 활용하느냐에 있다는 것을 입증합니다. 연구진은 고객 유지를 단일 사건이 아닌 일련의 결정 과정으로 다루고, 예산 제한을 엄격히 고려함으로써 기업이 훨씬 더 나은 결과를 얻을 수 있음을 증명했습니다. 연구는 '최신성 함정'이 실재하지만, 적절한 타이밍을 통해 이를 헤쳐 나갈 수 있다고 시사합니다. 가장 효과적인 전략은 가장 크게 또는 가장 자주 외치는 것이 아니라, 적절한 순간에 적절한 사람에게 말을 거는 것입니다. 일본의 소매업체에게 이는 단순히 더 똑똑할 뿐만 아니라 더 수익성이 높은 정책이었으며, 이전 방식과 비교했을 때 단 1년 만에 수백만 달러의 추가 가치를 창출했습니다. 이 교훈은 패션 소매업을 넘어 확장됩니다. 고객의 주의력이 찰나적이고 자원이 한정적인 모든 비즈니스에서, 적응하고 기다리는 능력은 제안 그 자체만큼이나 중요합니다.