기술 요약: 쿠폰 효과에 미치는 타이밍의 영향 추정

문제 정의

쿠폰 인센티브는 마케팅 전략의 핵심 요소이지만, 많은 기업이 투자 대비 수익률(ROI)을 극대화하는 데 어려움을 겪고 있습니다. 기존 연구들이 주로 쿠폰의 '가치'(예: 할인율)나 사용자의 '세분화'(예: 업리프트 모델링)를 최적화하는 데 집중해 온 반면, '타이밍'이 미치는 영향은 많은 맥락에서 여전히 충분히 탐구되지 않았습니다.

핵-질적인 과제는 "사용자 참여의 결정적 순간에 쿠폰을 전달할 때 더 효과적이다"라는 가설을 검증하기 위해서는 실시간 이벤트 트리거 기반의 배포 시스템이 필요하다는 점입니다. 이러한 시스템을 구축하는 것은 상당한 엔지니어링 노력과 비용을 수반합니다. 결과적으로 기업들은 일종의 "캐치-22(진퇴양난)" 상황에 직면합니다: 즉, 즉시 전달과 지연 전달를 비교하는 전용 무작위 대조 실험(RCT)을 수행하기 위한 인프라를 구축해야 할 정당성을 확보하기 위해 증거가 필요하지만, 그 증거를 생성하기 위해서는 해당 인프라가 있어야만 합니다.

본 논문은 별도의 전용 AB 테스트나 기존의 실시간 배포 서비스 없이도 쿠폰 타이밍이 전환율에 미치는 인과적 효과를 추정하는 문제를 다룹니다.

방법론

저자들은 기존의 "자연적 무작위 대조 실험(natural randomized control trial)" 데이터를 적용하는 프레임워크를 제안합니다. 이 접근 방식은 사용자가 컨트롤(control) 그룹과 트리트먼트(treatment) 그룹으로 무작위 배정되지만, 정확한 쿠폰 전달 타이밍은 배치(batch) 처리 스케줄에 따른 사용자의 등록 또는 활동 시간에 의해 결정되는 표준 배치 기반 캠페인 데이터를 활용합니다.

1. 인과 모델링 및 식별

프레임워크는 유향 비순환 그래프(Directed Acyclic Graphs, DAGs)를 활용하여 혼란 변수를 식별하고 편향되지 않은 추정을 위한 조건 집합을 결정합니다.

• 사용자 온보딩 사례: 저자들은 사용자 속성($X$), 처치($T$), 사전 구매 이벤트($P$), 그리고 결과($Y$, 향후 구매) 간의 관계를 모델링합니다. 여기서 중요한 함정을 식별했는데, $P$(아직 구매하지 않은 사용자)를 조건화하면 타이밍 공변량과 결과 사이의 순방향 경로를 차단하여 상호작용 추정에 편향을 일으킨다는 점입니다. 타이밍과 처치 간의 상호작용($P(Y|do(T), do(M))$)을 추정하기 위해서는, 모델이 상호작용을 분석할 때$P$를 조건화하지 않거나, 배치 프로세스에 의해 도입된 선택 편향을 신중하게 고려해야 합니다.
• 사용자 리텐션 사례: Lenta의 공개 데이터셋에 적용되는 더 단순한 인과 모델이 적용됩니다. 목표는 마지막 구매 이후 경과된 시간과 처치 효과 간의 상호작용을 추정하는 것입니다.

2. 상호작용 항을 이용한 업리프트 모델링(Uplift Modeling)

인과 구조가 정의되면, 저자들은 조건부 평균 처치 효과(CATE)를 추정하기 위해 업리프트 모델링을 수행합니다.

• 모델 아키텍처: 신경망이나 결정 트리와 같은 복잡한 알고리즘 대신, 해석 가능성을 우선시하여 상호작용 항이 포함된 로지스틱 회귀 모델을 사용합니다.
• 공식: 모델은 베이스라인 공변량($X$)과 처치 그룹 특유의 업리프트 구성 요소($S$)의 함수로서 미래 구매($Y$)의 로그 오즈(log-odds)를 예측합니다. 결정적으로, 처치 지표와 시간 관련 공변량(예: 등록 분, 마지막 구매 후 경과 시간)을 곱하여 상호작용 항을 생성합니다.
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• 특징 공학(Feature Engineering): 시간 관련 특징(시, 분, 최신성)은 표준화됩니다. 온보딩 사례에서 저자들은 등록 시의 '분(minute)'을 표준화함으로써, 쿠폰이 밤에는 배포되지 않고 지연 시간이 시간 단위 내에서 일정하다는 점을 고려하여 주기적 불연속성(예: 자정) 문제를 방ell합니다.

3. 실험 설정

• 내부 데이터 (Mercari): 매 시간 단위 배치 작업을 통해 사용자가 컨트롤/트리트먼트 그룹으로 무작위 배정된 사용자 온보딩 캠페인을 분석합니다. "자연 실험"의 측면은 등록 시점과 쿠폰 수령 사이의 지연 시간이 마케터의 통제와 무관하게 등록 분(minute)에 따라 달라진다는 점에서 발생합니다.
• 공개 데이터 (Lenta): 프레임워크의 일반화 가능성과 재현성을 검증하기 위해 러시아 하이퍼마켓 체인의 사용자 리텐션 캠민 데이터셋을 사용합니다.

주요 결과

사용자 온보딩 (Mercari)

• 통계적 유의성: **등록 분(minute of registration)**에 대한 업리프트 계수는 양수이며 통계적으로 유의미($p \approx 0.05$)한 것으로 나타났습니다. 이는 시간대 상단에 가깝게 등록한 사용자(쿠폰을 더 빨리 받는 사용자)가 등록 시점이 늦은 사용자보다 증가된 전환율을 보였음을 의미합니다.
• 해석: 계정 생성과 쿠폰 전달 사이의 경과 시간은 쿠폰의 효과에 상당한 영향을 미칩니다.
• 역사실적 분석(Counterfactual Analysis): 모델의 예측 시각화를 보면, 베이스라인 전환율은 등록 시간에 따라 약간씩 변하지만, *처치 효과(uplift)*는 쿠폰을 즉시 받는 사용자에게서 명확히 높게 나타납니다. 이는 실시간 배포 시스템을 위한 엔지니어링 투자를 정당화하는 데 필요한 근거를 제공합니다.

사용자 리텐션 (Lenta)

• 베이스라인 효과: "최근 구매 시간"에 대한 베이스라인 계수가 강한 양수를 기록하여, 최근 구매가 있는 사용자가 전환될 가능성이 높다는 것("존(zone)" 가설)을 확인했습니다.
• 타이밍 상호작용: 마지막 구매 이후 경과된 시간에 대한 업리프트 계수는 약한 양수였으나 통계적으로 유의미하지 않았습니다.
• 결론: 온보딩 시나리오와 달리, 이 특정 데이터셋에서는 구매 직후에 쿠폰을 전달하는 것이 (지연된 배치 방식에 비해) 유의미한 비즈니스 임팩트를 제공하지 않습니다.

기여 및 의의

본 논문의 구체적인 기여는 다음과 같습니다:

1. 타이밍의 중요성 강조: 타이밍이 마케팅 효과성에 있어 결정적이며 종종 간과되는 변수임을 입증했습니다.
2. 방법론적 프레임워크: 자연적 RCT와 인과 추론(특히 do-calculus 및 업리프트 모델링)을 사용하여 타이밍의 인과적 효과를 추정하는 프레임워크를 제안합니다. 이를 통해 기업은 비싼 실시간 인프라를 먼저 구축하지 않고도 그 필요성을 검증할 수 있습니다.
3. 실증적 검증:
   • 내부 온보딩 캠페인을 통해 프레임워크의 성공을 입증함으로써, 실시간 이벤트 트리거 쿠폰 구현을 위한 데이터 기반의 정당성을 제공했습니다.
   • 공개 데이터셋을 사용한 사용자 리텐션 분석을 통해 프레임워크의 일반화 가능성을 검증하였으며, 타이밍이 중요한 시나리오(온보딩)와 그렇지 않은 시나리오(이 특정 데이터셋에서의 리텐션)를 구분할 수 있음을 보여주었습니다.
4. 재현성: 공개 데이터셋에 방법을 적용하고 소스 코드를 공개함으로써, 연구의 재현성과 접근성을 높이고자 했습니다.

한계점

저자들은 자신들의 편향되지 않은 추정치의 타당성이 전적으로 올바른 인과 다이어그램(causal diagrams)에 달려 있음을 인정합니다.

• 관찰되지 않은 혼란 변수: 온보딩 사례의 경우, 등록 시간과 전환 모두에 영향을 미칠 수 있는 관찰되지 않은 혼란 변수(예: 소득, 취미)가 없다고 가정합니다. 저자들은 '시간(hour)'을 통제함으로써 이 위험을 완화한다고 주장합니다.
• 데이터 특이성: 리텐션 결과는 Lenta 데이터셋에 국한된 것입니다. 여기서 타이밍 효과가 유의미하게 나타나지 않은 것이 모든 리텐션 맥락에서 타이밍의 중요성을 부정하는 것은 아니며, 단지 이 프레임워크가 타이밍이 주요 레버가 아닌 곳을 식별할 수 있음을 시사합니다.

결론

본 논문은 일반적으로 쿠폰 전달은 빠를수록 좋지만, 그 이득의 크기는 사용자 여정 단계에 따라 달라진다고 결론짓습니다. 온보딩의 경우, 배치 프로세스로 인한 지연이 쿠폰의 효능을 크게 감소시킵니다. 반면 리텐션의 경우, 구매 직후의 골든 타임이 동일한 수준의 한계 이득을 제공하지 않을 수 있습니다. 제안된 프레임워크는 기업이 자신의 특정 유스케이스에 대해 실시간 배포 인프라 투자가 정말로 가치가 있는지 결정할 수 있는 비용 효율적이고 데이터에 기반한 경로를 제공합니다.