Learning Consumer Preferences from Bundle Sales Data

기술 요약: 번들 판매 데이터를 통한 고객 선호도 학습

문제 정의
본 논문은 제품이 개별적으로도, 할인된 번들 형태로도 판매되는 과거 거래 데이터를 사용하여 개별 제품에 대한 소비자 가치를 추정하는 과제를 다룹다. 제품 번들링은 보편적인 가격 책정 전략이지만, 다음과 같은 세 가지 주요 장애물로 인해 이러한 데이터로부터 기저의 소비자 가치 분포를 학습하는 것은 어렵다:

1. 부분 관측 가능성 (Partial Observability): 거래 데이터는 구매 결정은 기록하지만 구체적인 지불 의사(Willingness-to-Pay, WTP)는 기록하지 않는다. 가격 $p$에서의 구매는 가치가 적어도 $p$ 이상임을 나타낼 뿐이며, 이는 구간 검열(interval-censored) 데이터를 생성한다.
2. 수요 검열 (Demand Censoring): 표준 거래 데이터셋은 일반적으로 "미구매" 관측치를 누락하며, 이는 저가치 고객이 관측되지 않는 선택 편향(selection bias)을 초래한다.
3. 구조적 복잡성 (Structural Complexity): 번들이 제공될 때, 번들의 효용은 구성 요소들의 가치와 연결된다. 표준 이산 선택 모델(예: 다항 로짓 모델)은 번들을 독립적인 제품으로 취급하는 경우가 많아, 개별 제품 가치의 구조적 파라미터를 복구하는 데 실패한다.

기존 문헌은 알려진 수요 분포를 가정하거나 설문 조사 데이터에 의존하는 경우가 많다. 본 논문은 수요 추정이 가격 책정 노력의 대부분을 차지하는 산업계의 관행을 강조하며, 번들 판매 거래로부터 이러한 분포를 직접 학습하는 데이터 기반 프레임워크를 제안한다.

방법론
저자들은 몬테카를로 시뮬레이션으로 보강된 기대-최대화(Expectation-Maximization, EM) 알고리즘에 기반한 최대 우도 추정(Maximum Likelihood Estimation) 프레임워크를 제안한다.

• 모델 공식화: 기본 모델은 $I$개 제품에 대한 소비자 가치가 다변량 가우시안 분포 $V \sim \mathcal{N}(\mu, \Sigma)$를 따른다고 가정한다. 번들의 효용은 구성 요소들의 가치의 합(가산적 효용)으로 정의된다.
• 검열된 다면체 (Censored Polyhedra): 핵심 통찰은 관측된 구매 결정 $c_n = j$가 가치 벡터 $v_n$을 드러내는 것이 아니라, $v_n$이 반드시 존재해야 하는 가치 공간 내의 다면체 영역 $R^j_n$을 식별한다는 것이다. 이 영역은 유인 일치(Incentive-Compatible, IC) 제약 조건(즉, 선택된 번들이 다른 모든 가용 옵션 및 외부 옵션보다 높은 효용을 제공함)에 의해 정의된다.
• Monte Carlo를 이용한 EM 알고리즘:
  • E-단계 (E-step): 우도 함수가 고차원 다면체 영역에서의 다변량 정규 분포 적분을 포함하므로(폐쇄형 해가 없음), 저자들은 몬테카를로 시뮬레이션을 사용하여 기대 완전 데이터 로그-우도를 근사한다. 이들은 IC 다면체로 정의된 절단된 정규 분포에서 가치 벡터를 샘플링하기 위해 수락-거부(acceptance-rejection) 방법을 사용한다.
  • M-단계 (M-step): 몬테카를로 샘플이 주어지면, 다변량 정규 분포에 대한 표준 폐쇄형 최대 우도 추정치를 사용하여 파라미터 $\mu$와 $\Sigma$를 업데이트한다.
• 확장:
  • 제품 시너지 (Product Synergy): 프레임워크는 번들이 보완성 또는 대체성을 나타내는 비가산적 효용을 처리할 수 있도록 확장된다. 이는 쌍별 상호작용 행렬 $A$를 통해 모델링된다. $A$에 대한 IC 제약 조건의 비미분성을 다루기 위해, 저자들은 하드 제약 조건을 매끄럽게 만드는 시그모이드 함수를 사용하는 미분 가능한 대리 함수(surrogate)를 도입하여 M-단계 내에서 $A$의 경사 하강법 기반 최적화를 가능하게 한다.
  • 검열된 수요 (Censored Demand): 모델은 관측되지 않은 미구매 결정을 고려하도록 확장된다. 총 고객 수(미구매자 포함)는 음이항 분포를 통해 모델링되는 잠재 변수로 취급되어 E-단계에 통합된다.
  • 가우시안 혼합 모델 (GMM): 프레나임워크는 가치 분포가 가우시안의 혼합이 되도록 허용함으로써 클러스터링된 시장 세그먼트를 수용한다.

주요 기여

1. 결측 데이터로의 재구성: 본 논문은 번들 거래 데이터를 고차원 다면체 영역(IC 다면체)에 대한 결측 데이터 추정 문제로 재구성하여, 구간 검열 개념을 다차원으로 일반화한다.
2. 확장 가능한 알고리즘: 제안된 EM 알고리즘은 몬테카를로 시뮬레이션 및 중요도 샘플링 기술과 결합되어, 최대 6개의 제품과 10,000개의 거래에 대해 가치 분포를 추정할 수 있게 한다. 저자들은 임의의 번들 가격 메뉴에 대해 이 정도 규모의 추정을 처리할 수 있는 알려진 알고리즘이 없음을 언급한다.
3. 이론적 보장:
   • 식별 가능성 (Identifiability): 본 논문은 모델이 식별 가능하기 위한 충분 조건을 확립한다. 구체적으로, 아이템이 정가와 적어도 하나의 별도 프로모션 가격으로 각각 판매된다면 파라미터 $(\mu, \Sigma)$를 유일하게 복구할 수 있음을 증명한다.
   • 수렴성 (Convergence): Balakrishnan 등(2017)의 프레임워크를 응용하여, 저자들은 모집단 EM 연산자가 국소적으로 수축(locally contractive)하는 조건을 제공하며, 특정 인력 범위(basin of attraction) 내에서 초기화될 경우 실제 파라미터로 수렴함을 보장한다.
4. 실증적 검증: 제안된 방법은 합성 데이터셋과 JD.com의 대규모 실제 데이터셋을 통해 검증된다.

결과

• 합성 데이터: 수치 실험 결과, 알고리즘이 안정적으로 수렴하며 추정 정확도($\ell_1$-error로 측정)가 샘플 크기에 따라 향상됨을 보여준다. 이 방법은 특히 고차원에서 파라미터 복구 성능이 우수하며, 유사한 로그-우도 점수를 달성하면서도 Jedidi 등(2003)의 베이지안 벤치마크보다 뛰어난 성능을 보인다.
• MNL과의 비교: 번들을 독립적인 제품으로 취급하는 오설정된 다항 로짓(MNL) 모델과 비교했을 때, 제안된 가우시안 모델은 표본 외 로그-우도 및 평균 제곱근 오차(RMSE) 측면에서 MNL을 크게 능가하며, 이는 번들과 구성 요소 간의 구조적 의존성을 모델링하는 것의 중요성을 강조한다.
• 시너지 및 검열: 확장된 모델은 시너지 파라미터를 성공적으로 복구하고 검열된 수요를 처리하며, 검열이 파라미터 오차를 증가시키더라도 모델이 높은 예측 로그-우도를 유지함을 보여준다.
• 실제 데이터 (JD.com): 약 500,000건의 거래 데이터에 적용했을 때, 제안된 모델(Base, Synergy, GMM)은 로그-우도, RMSE, top-$k$ 정확도 지표 전반에서 MNL 및 베이지안 벤치마크를 일관되게 능가했다. Base 모델만으로도 벤치마크 대비 상당한 개선을 제공했으며, Synergy와 GMM은 미미하지만 일관된 이득을 제공했다.

의의 및 주장
본 논문은 소매업자가 번들 판매 데이터로부터 소비자 선호도를 학습할 수 있는 실용적인 데이터 기반 프레임워크를 제공한다고 주장한다. 이는 현재 번들이 존재하는 상황에서 표준 이산 선택 모델의 한계로 인해 어려운 작업이다. 저자들은 자신들의 접근 방식이 이론적 가격 책정 메커니즘(종종 알려진 가치를 가정함)과 실제 구현(데이터로부터 가치를 학습해야 함) 사이의 간극을 메운다는 점을 강조한다.

본 연구의 의의는 다음과 같다:

• 실용적 가이드 제공: 복잡한 번들링 환경에서 수요 분포를 추정하기 위한 계산 가능한 알고리즘을 소매업자에게 제공한다.
• 이론적 엄밀성: 번들 판매 추정 문제에 대한 최초의 식별 가능성 및 국소 수렴 결과를 제공한다.
• 유연성: 비가산적 시너지를 포착하고 관측되지 않은 미구매를 처리하면서도 계산적 추적 가능성을 유지하며 프레임워크를 확장할 수 있음을 입증한다.

저자들은 향후 방향에 대해 겸허한 태도를 유지하며, 경쟁사 데이터가 검열된 상황에서의 경쟁 가격 추정, 몬테카를로 오차 경계의 정교화, 가우시안 혼합 모델의 구성 요소 수를 자동으로 결정하는 등의 과제가 남아 있다고 언급한다.