Unified Learning-to-Rank for Multi-Channel Retrieval in Large-Scale E-Commerce Search

이 논문은 대규모 전자상거래 검색에서 여러 채널의 결과를 고정된 가중치 방식이 아닌 쿼리 의존적 학습 랭킹 모델로 통합하여 사용자 전환율을 2.85% 향상시키고 50ms 미만의 지연 시간으로 타겟닷컴에 배포한 방법을 제안합니다.

핵심

🛒 문제: "너무 많은 진열대, 어떻게 하나로 합칠까?"

대형 쇼핑몰에는 수백만 개의 상품이 있습니다. 사용자는 "겨울 코트"라고 검색하면, 다음과 같은 **서로 다른 목적을 가진 여러 진열대 (채널)**에서 상품을 가져옵니다.

1. 베스트셀러 진열대: 항상 많이 팔리는 인기 상품들.
2. 신상품 진열대: 막 나온 최신 트렌드 상품들.
3. 계절성 진열대: 지금 계절에 딱 맞는 상품들.
4. 지역별 진열대: 사용자의 거주 지역에 맞는 상품들.

기존의 방식 (RRF, 가중치 교차 등):
예전에는 이 진열대들에서 가져온 상품들을 섞을 때, "인기 진열대는 30%, 신상품 진열대는 20%..." 처럼 고정된 비율로 섞었습니다. 마치 요리사가 "무조건 소금 3 스푼, 설탕 2 스푼"을 넣는 것과 비슷하죠.

• 문제점: 사용자가 "겨울 코트"를 검색할 때는 '신상품'이 중요할 수도 있고, "생일 선물"을 검색할 때는 '베스트셀러'가 중요할 수도 있습니다. 하지만 고정된 비율은 이런 상황 (검색어) 에 따른 유연한 판단을 못 합니다.

---

💡 해결책: "상황을 읽는 똑똑한 비서 (통합 학습 랭킹)"

이 논문은 고정된 비율 대신, **모든 진열대의 상품을 한 번에 보고 "지금 이 사용자에게 가장 잘 팔릴 상품"을 스스로 판단하는 똑똑한 비서 (모델)**를 만들었습니다.

1. 모든 정보를 한눈에 (통합 랭킹)

이 비서는 각 진열대 (채널) 에서 온 상품들의 점수를 따로따로 보는 게 아니라, **"이 상품이 이 진열대에서 왔고, 사용자는 최근 무엇을 봤고, 무엇을 장바구니에 담았는지"**를 모두 종합해서 점수를 매깁니다.

• 비유: 기존 방식이 "각 팀장 (진열대) 이 추천한 사람을 고정된 순서대로 나열"했다면, 새로운 방식은 "모든 팀이 추천한 사람을 한자리에 모아, 오늘의 날씨와 고객의 기분을 보고 가장 적합한 순서로 다시 정렬"하는 것입니다.

2. 사용자의 '최근 행동'을 기억하다 (행동 신호)

비서는 사용자가 최근에 무엇을 클릭했는지, 장바구니에 무엇을 담았는지를 매우 중요하게 생각합니다.

• 상황: 사용자가 갑자기 "캠핑 용품"을 검색했는데, 최근에는 "아기 기저귀"를 많이 봤다면?
• 기존: "아기 기저귀" 관련 상품이 계속 상단에 뜰 수 있음.
• 새로운 비서: "아! 사용자의 관심이 캠핑으로 급변했구나!"라고 파악하고, 캠핑 용품을 더 상단에 배치합니다. 이를 통해 구매 전환 (결재) 확률을 높입니다.

3. '구매'를 가장 중요하게 여기다 (레이블링 전략)

비서를 훈련시킬 때, 단순히 "클릭"만 중요하게 여기지 않습니다.

• 클릭 = "오, 이거 재밌네" (가벼운 관심)
• 장바구니 담기 = "사야겠다" (진지한 관심)
• 구매 = "돈을 냈다" (최고의 성공)

이 모델은 **구매 (Purchase)**를 가장 높은 점수로 주고, 장바구니와 클릭을 그다음으로 평가하여 훈련시킵니다. 마치 요리사가 "맛있는 요리를 만들어야 한다"는 목표에 맞춰 재료를 고르는 것처럼, 실제 매출이 나는 상품을 찾아내도록 설계된 것입니다.

---

🚀 결과: 얼마나 잘 작동할까?

이 새로운 시스템을 타겟 (Target.com) 에 적용해 본 결과, 놀라운 성과가 나왔습니다.

1. 구매율 2.85% 증가: 기존 방식보다 사용자가 실제로 물건을 사는 비율이 크게 늘었습니다. (쇼핑몰 입장에서는 엄청난 수익!)
2. 빠른 속도: 복잡한 계산을 하더라도 사용자는 50 밀리초 (0.05 초) 안에 결과를 받습니다. 이는 사람이 눈을 깜빡이는 시간보다도 훨씬 빠릅니다.
3. 유연한 대응: 사용자의 검색 의도가 바뀌면 (예: 평범한 검색에서 급한 구매로), 비서가 즉시 반응하여 가장 적합한 상품을 보여줍니다.

📝 한 줄 요약

"고정된 규칙으로 상품을 섞는 대신, 사용자의 상황과 최근 행동을 실시간으로 분석해 '가장 잘 팔릴 상품'을 찾아내는 똑똑한 비서를 만들어, 쇼핑몰의 매출을 높이고 사용자 경험을 개선했다."

이 기술은 이제 타겟 쇼핑몰에서 매일 수백만 명의 고객을 위해 작동하고 있습니다.

기술 요약

논문 요약: 대규모 전자상거래 검색을 위한 통합 학습 순위 (Unified Learning-to-Rank) 를 통한 멀티 채널 검색

1. 문제 정의 (Problem Definition)

대규모 전자상거래 시스템 (Target.com 등) 은 수백만 개의 제품 카탈로그를 다루며, 베스트셀러부터 신상품, 트렌드, 시즌 상품까지 다양한 목적을 가진 **다양한 검색 채널 (Retrieval Channels)**을 사용합니다.

• 현재의 한계: 기존 시스템은 각 채널 (어휘 기반, 의미적 유사성, 신선도, 트렌드 등) 에서 검색된 결과를 병합할 때 **Reciprocal Rank Fusion (RRF)**이나 **가중치 교차 (Weighted Interleaving)**와 같은 고정된 규칙 기반 방법을 사용합니다.
• 핵심 문제점:
  • 채널별 가중치가 고정되어 있어 쿼리별 (Query-dependent) 채널의 유용성을 반영하지 못함.
  • 이질적인 채널 간의 상호작용 (Cross-channel interactions) 을 고려하지 않음.
  • 비즈니스 KPI(전환율 등) 를 직접 최적화하지 않고, 각 채널의 독립적인 점수에 의존함.
  • 엄격한 지연 시간 (Latency) 제약 하에서 복잡한 모델링이 어려움.

2. 방법론 (Methodology)

저자들은 멀티 채널 병합 문제를 이질적인 후보 소스를 대상으로 하는 쿼리 의존적 학습 순위 (Learning-to-Rank, LTR) 문제로 재정의하고, 단일 GBDT 모델을 통해 통합하는 프레임워크를 제안합니다.

• 시스템 아키텍처:

  • 멀티 채널 검색: 여러 채널 ($C = \{c_1, ..., c_K\}$) 이 각각 독립적으로 Top-$n_k$개의 후보를 생성합니다.
  • 통합 재순위 (Unified Reranking): 모든 채널에서 추출된 후보의 합집합을 하나의 학습 모델에 입력하여 최종 순위를 결정합니다.

• 데이터 표현 및 레이블링 (Data Representation & Labeling):

  • 시간적 단위: 쿼리 - 아이템 - 주 (Query-Item-Week) 단위로 데이터를 집계하여 계절성, 트렌드, 사용자 의도 변화를 포착합니다.
  • 레이블 구성 (Label Construction):
    • 전환 계층 구조 (Impression $\to$ Click $\to$ AddToCart $\to$ Purchase) 를 반영합니다.
    • 희귀하고 고가치인 행동 (구매) 에 더 높은 가중치를 부여하는 가중치 합산 방식을 사용합니다 ($L = aP + bA + cC + dV$).
    • 쿼리별 최대값으로 정규화하여 희귀 쿼리에서의 편향을 줄입니다.

• 특징 (Features):

  • 아이템 특징: 가격, 카테고리, 장기적 인기도, 신선도 등.
  • 채널 인지 쿼리 - 아이템 특징: 각 채널의 검색 점수 및 신호를 포함하여 모델이 쿼리별 채널 유용성을 학습하도록 합니다.
  • 사용자 참여 특징 (Engagement Features): 최근 사용자 행동 (클릭, 장바구니 담기, 구매) 을 특징으로 활용하여 단기적인 의도 변화를 포착합니다.

• 모델 (Model):

  • GBDT (Gradient Boosted Decision Trees): 구조화된 이질적 특징 처리와 높은 추론 속도 (저지연) 를 위해 선택되었습니다.
  • 학습 목적 함수: LambdaMART 를 사용하여 NDCG 를 직접 최적화하며, 이차 도함수 (Hessian) 기반의 게인 계산을 통해 분할 품질을 높였습니다.

3. 주요 기여 (Key Contributions)

1. 통합 순위 프레임워크 제안: 엄격한 지연 시간 제약 하에서 여러 이질적인 검색 채널을 단일 LTR 모델로 통합하는 실용적인 아키텍처를 제시했습니다.
2. 공동 최적화 전략: 클릭, 장바구니 담기, 구매를 동시에 최적화하고 채널별 목적을 반영하는 데이터 표현 및 레이블링 전략을 개발했습니다.
3. 사용자 행동 신호의 중요성 입증: 최근 사용자 행동 신호 (Engagement Signals) 를 특징으로 포함함으로써 멀티 채널 순위에서의 전환율 향상에 결정적인 역할을 함을 증명했습니다.
4. 대규모 온라인 검증: Target.com 에서 대규모 A/B 테스트를 통해 기존 방법론 대비 유의미한 비즈니스 성과 개선을 입증했습니다.

4. 실험 결과 (Results)

Target.com 에서 수행된 오프라인 및 온라인 (A/B 테스트) 실험 결과는 다음과 같습니다.

• 비교 대상: 기존 Weighted Interleaving (WI) 베이스라인 vs 제안된 모델 (UR, UR+EF, UR+EF+CL).
• 성능 향상:
  • 오프라인 (NDCG@8): 베이스라인 (0.6620) 대비 통합 순위 모델 (UR) 은 0.7169 로 향상되었으며, 참여 특징 (EF) 과 변환 가중치 레이블 (CL) 을 추가한 최종 모델은 0.7994까지 상승했습니다.
  • 온라인 비즈니스 지표 (A/B Test Lift):
    • 클릭률 (CTR): +1.52% 향상.
    • 장바구니 담기 (Add-to-Cart): +2.81% 향상.
    • 전환율 (Conversion): +2.85% 향상 (통계적으로 유의미함).
• 성능: 모델은 생산 환경의 지연 시간 요구사항을 충족하며, p95 지연 시간이 50ms 미만으로 유지되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 대규모 전자상거래 검색 시스템에서 고정된 규칙 기반 병합 (Heuristic Fusion) 을 학습 기반 통합 순위 (Unified Learning-to-Rank) 로 전환할 수 있음을 입증했습니다.

• 비즈니스 임팩트: 단순한 순위 병합을 넘어, 쿼리별 맥락과 사용자 의도를 실시간으로 반영하여 전환율과 같은 핵심 비즈니스 KPI 를 직접 최적화할 수 있음을 보여줍니다.
• 실용성: 복잡한 딥러닝 모델 대신 GBDT 를 사용하여 높은 정확도와 낮은 지연 시간을 동시에 달성함으로써, 실제 대규모 트래픽 환경에서의 배포 가능성을 입증했습니다.
• 향후 과제: 긴 꼬리 (Long-tail) 쿼리 처리를 위한 샘플링 기법, 채널 간 공정한 노출을 위한 편향 검증, 그리고 개인화 신호의 통합 등을 향후 연구 과제로 제시했습니다.

이 연구는 Target.com 과 같은 대규모 플랫폼에서 검색 품질과 비즈니스 성과를 동시에 극대화하기 위한 새로운 표준 아키텍처를 제시한다는 점에서 의의가 큽니다.