Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 온라인 마켓플레이스 (예: 항공권, 호텔 검색) 는 가격 조정이나 프로모션과 같은 실험을 통해 의사결정을 내립니다. 그러나 이러한 환경에서는 간섭 (Interference) 현상이 빈번하게 발생합니다. 즉, 한 아이템의 가격 변경이 사용자의 제한된 주의를 경쟁하는 다른 아이템들의 수요에 영향을 미쳐 (대체 또는 보완 효과), 아이템 수준의 A/B 테스트 결과가 편향됩니다.
• 핵심 제약 조건 (Coherency): 플랫폼 실험은 일관성 (Coherency) 을 유지해야 합니다.
  1. 가격 균등성 (Price Parity): 모든 사용자가 동일한 아이템에 대해 동일한 가격 (또는 처리 상태) 을 보아야 합니다. (유럽 경쟁법 및 소비자 신뢰 문제 때문)
  2. 전체 카탈로그 접근성: 모든 사용자는 실험 기간 동안 전체 아이템 목록에 접근할 수 있어야 합니다. (아이템 제거는 사용자 경험과 수익을 해침)
• 기존 방법론의 한계:
  • 사용자 수준 무작위화 (User-level Randomization): 처리된 사용자에게만 처리된 아이템을 보여줌. 일관성 (가격 균등성) 을 위반하여 실행 불가.
  • 아이템 수준 무작위화 (Item-level/Bernoulli Randomization): 일관성은 유지하지만, 간섭으로 인해 심각한 편향 (Bias) 이 발생함.
  • 클러스터 무작위화 (Cluster Randomization): 간섭을 줄일 수 있으나, 통계적 검정력 (Power) 이 낮고 (분산이 큼), 간섭 구조를 정확히 파악하기 어려우며 구현 비용이 높음.

2. 제안된 방법론: 양면 우선순위 랭킹 (TSPR)

저자들은 Two-Sided Prioritized Ranking (TSPR) 을 제안합니다. 이는 랭킹 시스템의 위치 편향 (Position Bias) 을 활용하여 처리 노출 (Treatment Exposure) 을 조작하면서도 일관성을 유지하는 실험 설계입니다.

2.1 핵심 메커니즘

1. 아이템 분할: 모든 아이템을 세 그룹으로 무작위 분할합니다.
   • 처리군 (Treated): 처리 (예: 가격 할인) 적용.
   • 대조군 (Untreated): 처리 미적용.
   • 위약군 (Placebo): 처리/대조군 사이의 완충 역할을 하는 그룹 (균형 유지 및 오염 방지 목적).
2. 사용자 그룹화 및 우선순위 재배열:
   • 사용자를 두 그룹 ($Q_A$, $Q_B$) 으로 무작위 할당합니다.
   • $Q_B$ (처리 우선군): 처리된 아이템을 목록 상단 (높은 노출) 으로, 위약군을 중간, 대조군을 하단으로 배치합니다.
   • $Q_A$ (대조 우선군): 대조군 아이템을 상단으로, 위약군을 중간, 처리군을 하단으로 배치합니다.
3. 일관성 유지: 모든 사용자는 동일한 아이템 목록을 보며, 각 아이템의 처리 상태 (가격 등) 는 사용자 그룹에 관계없이 동일하게 유지됩니다. 다만, 아이템이 노출되는 순위만 그룹별로 다르게 조정됩니다.

2.2 이론적 가정 및 추정

• 가정: 사용자는 상단에 위치한 아이템에 더 많은 주의를 기울이며 (위치 편향), 처리된 아이템이 상단에 집중될 때 그 효과가 극대화됩니다.
• 추정 대상 (Global Lift, $\Phi$): 모든 아이템이 처리된 상태와 모두 대조 상태일 때의 전체 결과 (예: 총 예약 수) 의 비율 변화.
• 추정식:
  • $Q_B$ (처리 우선) 와 $Q_A$ (대조 우선) 의 부분적 결과 (상위 $l$개 아이템까지의 누적 결과) 를 비교합니다.
  • 블록 크기 ($l$) 가 커질수록 부분적 효과 ($\phi(l)$) 는 전체 처리 효과 ($\Phi$) 에 수렴한다는 성질을 이용합니다.
  • 모수적 추정 (Weighted Least Squares): $\tau(l) = 1 + 1/l$과 같은 함수 형태를 가정하여 $\Phi$를 추정.
  • 비모수적 추정 (Isotonic Regression): $\phi(l)$이 $l$에 대해 단조 수렴한다는 형태적 제약을 이용해 $\Phi$를 추정.

3. 실험 설정 및 데이터 (Data & Simulation)

• 데이터: Expedia 의 호텔 검색 데이터 (약 80,000 개의 검색어, 200 만 건의 관측치) 를 기반으로 한 준-합성 (Semi-synthetic) 시뮬레이션.
• 모델링:
  • 클릭 모델: 로지스틱 회귀를 사용하여 위치, 이전 클릭 이력, 잠재 효용 (Latent Utility) 을 기반으로 클릭 확률 모델링.
  • 예약 모델: 멀티노미얼 로짓 모델에 '클릭 순서 (Click Order)' 효과를 추가하여 (Cascade 모델), 사용자가 더 일찍 클릭한 아이템을 예약할 확률이 높음을 반영.
• 간섭 시나리오: 한 호텔의 처리 (가격 상승/하락) 가 해당 검색어 내 다른 호텔의 예약 확률에 영향을 미치는 대체 효과 (Substitution) 를 가정.

4. 주요 결과 (Results)

TSPR 은 베르누이 무작위화 (Bernoulli Randomization) 와 클러스터 무작위화 (Cluster Randomization) 와 비교하여 다음과 같은 성과를 보였습니다.

• 편향 감소: 기존 아이템 단위 A/B 테스트는 간섭으로 인해 처리 효과의 크기를 과대평가하는 심각한 편향을 보였습니다. TSPR 은 이를 획기적으로 줄였습니다.
• 분산 감소: 클러스터 무작위화는 편향은 낮지만, 클러스터 수가 적어 분산이 매우 컸습니다. TSPR 은 분산이 클러스터 방식보다 약 8 배 낮아 통계적 검정력이 뛰어났습니다.
• 강건성: 처리 확률 ($p$) 을 0.10 에서 0.45 까지 변화시켰을 때 TSPR 의 성능이 일관되게 우수함을 확인했습니다.

5. 기여 및 의의 (Contributions & Significance)

1. 새로운 실험 설계 프레임워크: 온라인 마켓플레이스에서의 일관성 (Coherency) 제약 하에 간섭을 해결할 수 있는 실용적인 실험 설계 (TSPR) 를 제시했습니다. 이는 법적/윤리적 제약 (가격 차별 금지) 이 있는 환경에서 특히 중요합니다.
2. 위치 편향의 역이용: 기존에는 위치 편향이 노이즈로 간주되었으나, TSPR 은 이를 식별 변이 (Identifying Variation) 의 원천으로 활용하여 간섭을 통제했습니다.
3. 편향 - 분산 트레이드오프 최적화: 기존 방법론들의 단점 (편향 또는 높은 분산) 을 모두 해결하여, 낮은 편향과 낮은 분산을 동시에 달성하는 최적의 균형을 제공했습니다.
4. 실무 적용 용이성: 기존 추천 시스템의 랭킹 로직을 수정하는 것만으로 구현 가능하여, 별도의 복잡한 네트워크 모델링이나 사용자 그룹 분할 없이도 배포가 용이합니다.

6. 결론

이 논문은 온라인 마켓플레이스 실험에서 발생하는 간섭 문제와 일관성 유지 요구사항 사이의 긴장 관계를 해결하는 혁신적인 방법론을 제시합니다. TSPR 은 Expedia 와 같은 실제 데이터 기반 시뮬레이션에서 기존 방법론들을 압도하는 성능을 입증했으며, 플랫폼이 신뢰할 수 있는 인과 추론을 수행하면서도 사용자 경험과 법적 요구사항을 준수할 수 있는 길을 열었습니다.