🤖 AI

One Hierarchy, Two Systems: Semantic Product IDs for Discovery-Surface Ranking and Search-Page Query Reformulation

이 논문은 단일하게 학습된 계층적 시맨틱 ID 표현이 행동 신호의 집합을 통한 개인화된 랭킹 개선과 개념 기반 내비게이션을 통한 효과적인 쿼리 재구성을 모두 가능하게 하는 동시에 태스크별 컨텍스트를 보존함으로써, 제품 탐색과 검색 태스크를 효과적으로 통합할 수 있음을 입증한다.

원저자: Steven Xu, Sanjyot Thete, Saathvik Dirisala, Raghav Saboo, Nimesh Sinha, Leo Shao, Elyse Winer, Sudeep Das, Martin Wang, Kyle MacDonald

게시일 2026-08-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Steven Xu, Sanjyot Thete, Saathvik Dirisala, Raghav Saboo, Nimesh Sinha, Leo Shao, Elyse Winer, Sudeep Das, Martin Wang, Kyle MacDonald

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

우리가 식료품, 의류, 생활용품을 구매하는 거대한 디지털 시장에서, 하나의 제품은 종종 여러 가지 다른 얼굴을 하고 나타납니다. 특정 브랜드의 우유가 한 상점에서는 한 이름으로 등록되어 있고, 다른 상점에서는 완전히 다른 코드로 등록되어 있을 수 있지만, 선반 위의 병은 동일한 제품일 수 있습니다. 이러한 파편화는 고객이 한 버전의 제품을 구매했을 때 그와 유사한 다른 제품에도 관심을 가질 가능성이 높다는 것을 컴퓨터가 이해하기 어렵게 만듭니다. 이를 해결하기 위해 연구자들은 도서관이 분류 체계를 사용하는 것처럼 제품을 카테고리로 조직화하려고 오랫동안 시도해 왔습니다. 그러나 인간이 만든 카테고리는 아이템 간의 미묘한 차이를 포착하기에는 너무 광범위한 경우가 많고, 각 상점에서 제공하는 원시 데이터는 점들을 연결하기에 너무 무질서합니다. 과제는 컴퓨터가 쇼핑객에게 중요한 구체적인 세부 사항을 놓치지 않으면서도 제품 간의 관계를 볼 수 있도록 가르치는 방법을 찾는 데 있습니다.

DoorDash의 연구팀은 제품을 표현하는 새로운 방식, 즉 제품을 추천하고 사람들이 검색하는 것을 돕기 위한 공통 언어 역할을 하는 방식을 개발하여 이 문제를 해결하고자 했습니다. 그들은 제품 정보를 짧고 고유한 코드, 즉 디지털 지문과 유사한 형태로 변환하는 시스템을 개발했습니다. 이 코드들을 분석했을 때, 그들은 코드들이 마치 중첩된 상자 세트처럼 자연스럽게 계층 구조를 형성한다는 것을 발견했습니다. 코드의 바깥쪽 층은 제품을 광범위한 카테고리로 그룹화하는 반면, 안쪽 층은 점점 더 구체적인 세부 사항으로 파고듭니다. 이러한 구조 덕분에 시스템은 비록 상점마다 제품을 다르게 명명하더라도, 제품들이 코드의 앞부분을 공유하기 때문에 서로 관련이 있다는 것을 이해할 수 있었습니다. 연구진은 이 단일 계층 구조가 고객의 브라우징 페이지에 어떤 제품을 보여줄 것인지 결정하는 작업과, 고객이 쿼리를 입력할 때 더 나은 검색어를 제안하는 작업이라는 매우 다른 두 가지 작업을 수행할 수 있는지 테스트했습니다.

연구진은 먼저 이 계층 구조를 "여름 그릴링(Summer Grilling)"이나 "뷰티(Beauty)"와 같은 아이템의 캐러셀을 통해 사용자가 제품을 둘러보는 디스커버리 페이지의 제품 순위를 매기는 문제에 적용했습니다. 과거에는 시스템이 모든 상점의 리스팅을 별개의 개체로 취급했기 때문에 고객의 선호도를 학습하는 데 어려움을 겪었습니다. 예를 들어 사용자가 한 상점에서 특정 종류의 커피를 구매했다면, 시스템은 그 사용자가 다른 상점에서도 동일한 커피를 좋아할 수 있다는 것을 자동으로 알지 못했습니다. 새로운 계층적 코드를 사용함으로써, 시스템은 이러한 유사한 아이템들을 함께 그룹화하고 모든 상점에 걸친 고객의 이력을 통합할 수 있었습니다. 이를 통해 랭킹 알고리즘은 단순히 특정 상점의 리스팅이 아니라 '제품 개념'에 대한 선호도를 인식할 수 있게 되었습니다. 이를 실제 환경에서 테스트했을 때, 시스템은 고객이 장바구니에 담고 싶어 하는 것을 예측하는 데 훨씬 더 뛰어난 성능을 보였습니다. 결과는 고객이 브라우징 목록의 상단 위치에서 아이템을 더 많이 장바구니에 담는 등 참여도가 눈에 띄게 증가했음을 보여주었습니다. 더욱 중요한 것은, 시스템이 더 다양한 제품을 보여줌으로써 인기 있는 베스트셀러만 반복해서 보여주는 대신 덜 유명한 아이템들도 공정하게 노출될 기회를 주었다는 점입니다.

동일한 계층 구조는 사용자가 쿼리를 입력할 때 나타나는 제안, 즉 검색 경험을 개선하는 데에도 사용되었습니다. 전통적으로 검색 시스템은 사람들이 검색 기록에서 다음에 무엇을 입력했는지를 보고 새로운 용어를 제안합니다. 이 방식은 철자 오류, 약어, 또는 동일한 단어가 맥락에 따라 다른 의미를 가질 수 있다는 사실 때문에 혼란을 겪는 경우가 많습니다. 새로운 시스템은 대신 사용자의 검색을 계층적 코드로 정의된 제품 개념으로 변환합니다. 그런 다음 시스템은 원시 단어 사이의 전이가 아니라 이러한 개념들 사이의 전이를 찾습니다. 예를 들어, 사용자가 "우유(milk)"를 검색하면 시스템은 이를 하나의 제품 개념으로 이해하며, 사용자가 과거에 실제로 클릭했던 것에 따라 "시리얼(cereal)"로 수평 이동하거나 "전유(whole milk)"로 검색을 정교화하도록 제안할 수 있습니다. 이 방법은 이전 방식보다 더 정밀하다는 것이 증명되었습니다. 테스트에서 새로운 시스템은 더 뚜렷하고 유용한 제안을 생성하여 사용자가 원하는 것을 더 빠르게 찾을 수 있도록 도왔습니다. 실제 사용자들에게 배포했을 때, 시스템은 제품을 찾는 데 필요한 스크롤과 클릭 횟수를 줄였으며, 이는 쇼핑객이 더 적은 노력으로 원하는 아이템에 도달할 수 있음을 의미합니다.

이 연구는 학습된 단일 제품 코드 계층 구조가 제품을 추천하고 검색 쿼리를 정교화하는 두 가지 작업 모두에 강력한 토대가 될 수 있음을 보여줍니다. 인간이 만든 경직된 카테고리에서 벗어나 컴퓨터가 데이터로부터 직접 학습한 구조를 사용함으로써, 연구진은 유연하면서도 정밀한 시스템을 구축했습니다. 이 결과는 컴퓨터가 여러 수준의 세부 정보에 걸쳐 제품 간의 관계를 이해할 때, 개별 쇼핑객의 구체적인 요구에 더 잘 부응할 수 있음을 시사합니다. 연구 결과는 단순히 이론적인 것에 그치지 않았습니다. 새로운 시스템이 기존 방식보다 일관되게 우수한 성능을 보였으며, 이는 더 만족스러운 고객 경험과 더 효율적인 시장을 이끌어냈다는 점에서 실질적인 성과로 측정되었습니다. 이 작업은 제품 구조에 대한 공유된 이해가 수백만 개의 서로 다른 리스팅이 존재하는 혼란스러운 현실과 모든 쇼퍼가 기대하는 개인화된 경험 사이의 간극을 어떻게 메울 수 있는지를 강조합니다.

기술 요약: 하나의 계층 구조, 두 개의 시스템

문제 정의

멀티 머천트(multi-merchant) 이커머스 카탈로그는 근본적인 표현의 과제에 직면해 있습니다. 즉, 동등하거나 연관된 제품들이 서로 다른 머천트 범위의 식별자(ID) 아래에 나열되어 플랫폼 전체의 행동 증거가 파편화되는 현상입니다. 기존 솔루션들은 정밀도와 일반화 사이의 균형을 맞추는 데 어려움을 겪고 있습니다:

머천트 범위의 리스팅 ID(Merchant-scoped Listing IDs): 정확한 정체성은 보존하지만, 서로 다른 머천트 간에 동등한 제품에 대한 선호도 신호를 전달하지 못하여, 신뢰할 수 있는 선호도를 학습하기 위한 데이터가 희소해지는 문제를 야기합니다.
전문가 정의 분류 체계(Expert-defined Taxonomies): 더 넓은 범위의 증거 공유를 가능하게 하지만, 미세한 개인화 및 탐색을 수행하기에는 너무 거칠 수 있습니다.
쿼리 재구성(Query Reformulation) 시스템: 가공되지 않은 쿼리 문자열 전이에 의존하는 시스템은 오타, 약어, 동의어 표현으로 인해 증거가 파편화되는 문제를 겪습니다. 또한, 동일한 쿼리 문자열이 서로 다른 비즈니스 버티컬(verticals)에서 서로 다른 의도를 혼재시킬 수 있습니다.

핵심 문제는 개인화를 위해 유용한 구분을 보존할 만큼 충분히 정밀하면서도, 추천 및 검색 도메인 모두에서 증거 집계와 의도 정교화를 지원할 수 있을 만큼 계층적인 단일 제품 표현을 식별하는 것입니다.

방법론

저자들은 개인화된 아이템 랭킹과 쿼리 재구라는 두 가지 별개의 시스템을 위한 공유 제품 표현으로서, 학습된 의미론적 ID(Semantic ID, SID) 계층 구조를 활용하는 통합 프레임워크를 제안합니다.

1. 공유 제품 계층 구조 구축

계층 구조는 카탈로그 콘텐츠를 사용하여 **잔차 양자화 K-평균(Residual Quantization K-means, RQ-K-means)**을 통해 한 번에 구축됩니다:

임베딩(Embedding): 제품 프로필(제품명, 브랜드, 사이즈)은 사전 학습된 텍스트 인코더(gemini-embedding-001)를 사용하여 고차원 벡터(3,072 차원)로 인코딩됩니다.
양자화(Quantization): 벡터는 각 단계당 512개의 중심점(centroid)을 갖는 3단계 잔차 양자화를 거칩니다.
구조(Structure): 각 제품에는 3개의 코드 시퀀스 $s_i = [c_{i,0}, c_{i,1}, c_{i,2}]$ 가 할당됩니다. 깊이 1, 2, 3(L1, L2, L3)에서의 접두사(prefix)는 카탈로그의 중첩된 분할을 정의합니다.
속성(Properties): 계층 구조는 점진적으로 구체화되는 제품 개념을 포착합니다. 긴 공유 접두사는 더 높은 의미론적 일관성과 더 나은 그룹 분리(낮은 Davies-Bouldin Index)를 유지하면서도 균형 잡힌 코드 사용량을 나타냅니다.

2. 적용 A: 개인화된 아이템 랭킹

SID 계층 구조는 소비자 행동을 다양한 의미론적 해상도에서 집계함으로써 발견(discovery) 표면(예: 카테고리 캐러셀)에서의 랭킹을 강화하는 데 사용됩니다.

밀집 특징(Dense Features): 행동 통계(주문 빈도, 구매 최신성, 성과율)는 소비자, 서브마켓 및 글로벌 컨텍스트에 대해 SID 접두사(L1, L2, L3)를 기준으로 집계됩니다. 이를 통해 모델은 광범위한 개념과 미세한 변형에 대한 선호도를 동시에 학습할 수 있습니다.
시퀀스 특징(Sequence Features): SID 코드는 SentencePiece(BPE 변형)를 사용하여 "SPM 토큰"으로 토큰화됩니다. 이 토큰들은 후보 아이템과 소비자 이력(지난 180일간의 주문 제품)을 모두 나타냅니다.
모델 아키텍처: CTR, ATC, CVR을 예측하는 멀티 태스크 신경망은 이러한 밀집 집계값과 시퀀스 임베딩을 입력받습니다. 공유 임베딩 테이블을 통해 모델은 후보 제품의 서브워드(subword)를 역사적 소비자 선호도와 직접 연결할 수 있습니다.

3. 적용 B: 쿼리 재구성

계층 구조는 제품 개념에 쿼리를 접지(grounding)시켜 제안 쿼리 필(pill)을 개선합니다.

쿼리-개념 접지(Query-to-Concept Grounding): 쿼리는 모호성을 해결하기 위해 비즈니스 버티컬을 조건으로 하여, 연관된 장바구니 담기(ATC) 이벤트에 기반해 지배적인 SID 접두사(L1 또는 L2)로 매핑됩니다.
전이 모델링(Transition Modeling):
- 수평적 탐색(Lateral Navigation): 접지된 SID 접두사 간의 전이는 수평적 피벗(예: 우유 $\to$ 시리얼)을 포착하기 위해 정규화된 점 상호 정보량(NPMI)을 사용하여 모델링됩니다.
- 계층적 정교화(Hierarchical Refinement): 병렬 경로를 통해 L2 접두사에서 그 자식인 L3로 내려가는 과정을 모델링하여 미세한 의도가 자기 루프(self-loops)로 붕괴되는 것을 방지합니다(예: 우유 $\to$ 전유 우유).
렌더링 및 필터링(Rendering & Filtering): 언어 모델은 타겟 개념을 소비자 친화적인 쿼리로 렌더링합니다. 제안된 후보들은 머천트의 활성 상품 구성(assortment)과 대조하여 필터링됨으로써 제안이 실행 가능하도록 보장합니다.

주요 기여

프로덕션 규모 연구: 본 논문은 재사용 가능한 표현으로서 학습된 SID 계층 구조를 추천 및 검색 시스템 모두에 사용하는 대규모 배포 사례를 제시합니다.
태스크별 적응: 단일 계층 구조가 두 가지 서로 다른 목적을 어떻게 지원하는지 입증합니다:
- 랭킹: 여러 정밀도에서 선호도를 모델링하기 위해 SID 접두사에 걸쳐 상호작용을 집계합니다.
- 재구성: 쿼리를 제품 개념에 접지하고 계층 구조 내에서의 전이를 모델링하여 수평적 탐색과 계층적 정교화를 모두 지원합니다.
경험적 우월성: 학습된 SID가 전문가 정의 분류 체계보다 의도 구분을 더 잘 보존하며, 원시 쿼리 문자열보다 행동 전이를 추출하는 데 더 뛰어남을 입증합니다.

결과

오프라인 평가

랭킹: 어블레이션 연구(ablation study) 결과, SID 유래 특징을 제거한 모델(FC-A)은 전체 모델(FC)에 비해 성능이 크게 하락했습니다. 전체 모델은 베이스라인 대비 MRR@5에서 +6.98%, **NDCG@5에서 +6.76%**를 달성한 반면, 어블레이션 모델은 각각 +2.10%와 +2.92%에 그쳐 SID 특징이 성능 향상의 주된 동인임을 보여주었습니다.
재구성: 전문가 분류 체계와 비교했을 때, SID는 의도 붕탈(intent-collapsing) 전이율을 18.8%에서 10.9%로 감소시켰습니다. 원시 쿼리 문자열 그래프와 비교했을 때, SID 기반 시스템은 랭크-원(rank-one) 제안의 판단 품질을 0.522에서 0 la 0.734로 개선했습니다.

온라인 평가

랭킹 영향: 전체 처리(SID 특징 + 동시 업데이트)를 통해 평균 캐러셀 장바구니 담기(ATC) 비율이 5.5% 개선되었으며, 특히 1번 위치에서 +8%, 2번 위치에서 +16%의 특정 이득을 보였습니다. 또한 소계(subtotal)를 0.31% 증가시켰습니다. 주목할 점은, 이 처리가 인기 집중도를 완화하여 첫 번째 캐러셀 위치에 있는 아이템의 평균 과거 인기도를 18.1% 감소시켰다는 것입니다.
재구성 영향: SID 기반 재구성 모듈은 구매 MRR을 +0.558% 증가시켰고, ATC 위치를 1.571% 감소시켰으며, 검색 스크롤 깊이를 1.866% 감소시켰습니다. 이는 사용자가 더 적은 노력으로 더 빠르게 구매 가능한 제품에 도달했음을 나타냅니다.

의의

본 논문은 공유된 의미론적 제품 계층 구조가 각 애플리케이션에 필요한 태스크별 컨텍스트를 보존하면서 추천과 검색 모두를 효과적으로 지원할 수 있음을 주장합니다. 계층 구조의 구축(카탈로그 콘텐츠 기반)을 그 적용(행동 컨텍스트 기반)으로부터 분리함으로써, 시스템은 두 시스템 간의 모델 파라미터나 학습 목표를 공유하지 않고도 교차 머천트 선호도 전이와 조-정밀(coarse-to-fine) 쿼리 탐색을 가능하게 합니다. 이 접근 방식은 멀티 머천트 이커머스 환경에서 발생하는 행동 증거의 파편화에 대한 확장 가능한 솔루션을 제공합니다.