Scaling Multilingual Semantic Search in Uber Eats Delivery

이 논문은 수억 개의 쿼리 - 문서 상호작용 데이터를 기반으로 Qwen2 기반의 양방향 모델과 Matryoshka 표현 학습을 활용하여 우버 이츠의 스토어, 메뉴, 식료품 등 다양한 카테고리와 다국어 검색을 통합한 대규모 의미 기반 검색 시스템을 구축하고 평가한 내용을 담고 있습니다.

핵심

우버 이츠의 '만능 검색 비서' 이야기: 복잡한 도시를 한 번에 찾는 법

이 논문은 우버 이츠 (Uber Eats) 가 어떻게 수백만 개의 식당, 메뉴, 그리고 마트 상품을 한 번에 찾아주는 똑똑한 검색 시스템을 만들었는지 설명합니다. 마치 거대한 도시의 모든 가게와 음식을 한눈에 꿰뚫어 보는 '초능력의 비서'를 고용한 셈이죠.

기존 방식은 식당, 메뉴, 마트 상품을 각각 따로따로 관리하는 '조각난 지도'를 사용했다면, 이번 시스템은 하나의 통합된 지도를 만들어 모든 것을 한 번에 찾아냅니다.

이 시스템을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 두 개의 타워: 질문하는 사람과 답변하는 도서관

이 시스템은 '두 개의 타워 (Two-Tower)' 구조로 되어 있습니다.

• 질문 타워 (사용자): 사용자가 "피자"라고 검색하면, 이 타워는 사용자의 의도를 파악하여 '의미 있는 코드 (임베딩)'로 변환합니다.
• 답변 타워 (데이터): 식당 이름, 메뉴 설명, 마트 상품 정보 등을 미리 분석하여 같은 '코드'로 변환해 둡니다.

비유: 마치 도서관 사서와 독서광이 서로 다른 언어를 쓰지 않고, 오직 '공통의 손짓 (코드)'만으로 소통하는 것과 같습니다. 사용자가 "배고파"라고 말하면, 사서는 그 손짓을 보고 "아, 피자 가게가 필요하시군요!"라고 바로 알아채고 가장 가까운 피자 가게를 찾아냅니다.

2. 마트료시카 인형 (Matryoshka): 크기를 조절하는 마법

우리는 상황에 따라 검색 속도와 정확도 사이의 균형을 맞춰야 합니다.

• 빠른 검색: 모바일 앱에서 즉각적인 결과를 원할 때는 경량화된 코드가 필요합니다.
• 정확한 검색: 복잡한 검색이나 추천에는 더 많은 정보가 담긴 큰 코드가 필요합니다.

비유: 이 시스템은 **마트료시카 인형 (俄羅斯 인형)**과 같습니다.
큰 인형 (1536 차원) 을 열면 그 안에 더 작은 인형 (1024, 768, 256 차원 등) 이 들어 있고, 다시 열면 더 작은 인형이 나옵니다.

• 장점: 하나의 모델로 모든 크기의 인형 (검색 속도) 을 만들어냅니다.
• 효과: 속도가 중요한 순간에는 작은 인형 하나만 꺼내서 빠르게 검색하고, 정확도가 중요할 때는 큰 인형 전체를 열어 정밀하게 검색할 수 있습니다. 저장 공간도 크게 절약됩니다.

3. 두 단계의 훈련: "많이 보고"와 "어려운 문제 풀기"

이 똑똑한 비서를 만들기 위해 두 단계의 훈련을 시켰습니다.

• 1 단계: 거대한 도서관에서 읽기 (InfoNCE 학습)
  수억 건의 검색 기록 (누가 무엇을 클릭했는지, 장바구니에 담았는지) 을 빠르게 훑으며 일반적인 패턴을 배웁니다. "피자"를 검색하면 "피자 가게"가 나온다는 식의 기본 상식을 익히는 단계입니다.
• 2 단계: 어려운 문제 풀기 (Triplet NCE 학습)
  이제 인공지능 (LLM) 선생님이 등장합니다. 이 선생님이 "이 검색어와 이 메뉴는 비슷해 보이지만 실제로는 관련이 없다"거나 "이 두 가지는 매우 관련이 깊다"는 식으로 **어려운 예시 (Hard Negatives)**를 만들어냅니다.
  비유: 시험지 풀이처럼, 틀리기 쉬운 문제들을 집중적으로 훈련시켜서 모델이 헷갈리지 않도록 만듭니다.

4. JSON 이라는 '정리된 노트'

기존에는 텍스트를 그냥 나열했지만, 이 시스템은 JSON(구조화된 데이터) 형태로 정보를 입력받습니다.

• 비유: 메뉴를 설명할 때 "피자, 치즈, 토마토, 이탈리아"라고 나열하는 대신, { "종류": "피자", "재료": ["치즈", "토마토"], "국적": "이탈리아" }처럼 라벨이 붙은 정리된 노트를 줍니다.
• 효과: 모델이 "치즈"라는 단어가 '재료'인지 '가게 이름'인지 헷갈리지 않고, 정확한 의미를 파악할 수 있게 됩니다.

5. 실전 성과: 더 빠르고, 더 정확하게

이 시스템을 실제로 적용한 결과 놀라운 변화가 있었습니다.

• 기존 방식 대비: 식당 찾기 정확도가 **88%**나 향상되었습니다! (예: "초밥"을 검색했을 때 초밥집을 못 찾는 경우가 거의 없어짐).
• 비용 절감: 마트료시카 인형과 압축 기술 (Quantization) 을 써서 저장 공간과 연산 비용을 90% 이상 줄이면서도 정확도는 유지했습니다.
• 다국어 지원: 일본, 프랑스, 멕시코 등 전 세계 6 개 국가에서 모두 똑같이 잘 작동합니다.

6. 결론: 왜 이것이 중요한가?

이 논문은 단순히 "검색이 잘 된다"는 것을 넘어, 거대한 데이터 속에서 어떻게 효율적이고 똑똑한 시스템을 만드는지에 대한 완벽한 가이드북입니다.

• 하나의 시스템으로 모든 것을 해결: 식당, 메뉴, 마트 상품을 따로 관리할 필요가 없어졌습니다.
• 유연함: 상황에 따라 속도와 정확도를 조절할 수 있습니다.
• 지속 가능성: 매일 새로운 데이터를 학습하고 자동으로 업데이트되는 시스템을 구축했습니다.

한 줄 요약:

우버 이츠는 이제 하나의 초능력을 가진 비서를 통해, 전 세계 사용자의 "배고픔"을 가장 정확하고 빠르게 해결해 줍니다.

기술 요약

1. 문제 정의 (Problem)

Uber Eats 의 검색은 사용자의 의도를 단순 키워드 매칭을 넘어 이해해야 하는 복잡한 과제입니다. 기존 시스템은 다음과 같은 한계가 있었습니다:

• 분산된 솔루션: 식당, 요리, 식료품 등 각 수직 분야 (Vertical) 마다 별도의 BERT 기반 모델을 사용하거나 단순 키워드 검색을 병행하여 운영 복잡도가 높았습니다.
• 일반화 부족: 각 모델이 특정 도메인에만 최적화되어 다른 분야로의 전이 학습 (Generalization) 이 어렵고, 성능 향상의 여지가 제한적이었습니다.
• 다국어 지원의 어려움: 다양한 언어와 문화적 맥락을 통합적으로 처리하는 단일 모델의 부재로 인해 검색 품질의 편차가 존재했습니다.

2. 방법론 (Methodology)

2.1 아키텍처: 두 개의 탑 (Two-Tower) 기반 LLM

• 기반 모델: 오픈소스 디코더 전용 LLM 인 **Qwen2 **(gte-Qwen2-1.5B)을 백본으로 사용합니다.
• 구조: 쿼리 인코더 (Query Encoder) 와 문서 인코더 (Document Encoder) 로 구성된 두 개의 탑 구조를 채택했습니다. 두 인코더는 가중치가 공유되지 않아 독립적으로 학습되며, 이는 문서 임베딩의 오프라인 사전 계산과 실시간 ANN(Approximate Nearest Neighbor) 검색을 가능하게 합니다.
• 입력 표현: 단순 텍스트 연결 대신 구조화된 JSON을 입력으로 사용합니다. 쿼리와 문서 (식당, 메뉴, 상품) 를 JSON 스키마로 표현하여 모델이 필드 이름 (예: store_name, cuisine_type) 을 통해 문서 유형과 맥락을 명확히 이해하도록 합니다.
• Pooling 전략: 토큰 수준의 표현을 단일 벡터로 압축할 때, **EOS **(End-of-Sentence)를 사용하여 평균 풀링이나 마지막 토큰 풀링보다 우수한 성능을 입증했습니다.

2.2 학습 전략 (Training Strategy)

• 데이터: 2023 년 12 월부터 2025 년 3 월까지의 Uber Eats 검색 로그 (수억 건의 클릭, 장바구니 담기 등 암시적 피드백) 를 기반으로 도메인 적응 (Domain Adaptation) 을 수행했습니다.
• 2 단계 학습 파이프라인:
  1. **1 단계 **(InfoNCE): 대량의 인-배치 (in-batch) 네거티브 샘플을 활용한 InfoNCE 손실 함수로 대규모 도메인 적응을 수행합니다.
  2. **2 단계 **(Triplet NCE): LLM 을 활용하여 생성된 고품질 '하드 네거티브/포지티브' 데이터를 기반으로 Triplet NCE 손실을 적용하여 모델의 결정 경계를 정교화합니다.
• **Matryoshka Representation Learning **(MRL) 하나의 모델에서 다양한 임베딩 차원 (128~1536 차) 을 지원하도록 학습합니다. 이를 통해 지연 시간 (Latency) 과 정확도 간의 트레이드오프를 유연하게 조절할 수 있습니다.

2.3 점수 산정 (Scoring)

• 기본 검색에는 효율적인 코사인 유사도를 사용합니다.
• 미세 재순위 (Micro Re-ranking) 단계에서는 **비선형 신경망 거리 함수 **(FFN-based scoring head)를 도입하여 코사인 유사도에서 누락된 세밀한 의미 관계를 복원합니다.

3. 주요 기여 (Key Contributions)

1. 통합 다국어·다수직 시스템: 식당, 요리, 식료품 등 3 가지 수직 분야를 하나의 Qwen2 기반 모델로 통합하여 운영 복잡도를 줄이고 성능을 극대화했습니다.
2. 확장 가능한 학습 레시피: 대규모 도메인 적응 (InfoNCE) 과 하드 네거티브 미세 조정 (Triplet NCE) 을 결합한 2 단계 학습 프로세스를 정립했습니다.
3. **유연한 임베딩 **(MRL) 단일 모델로 다양한 차원의 임베딩을 지원하여, 서비스 요구 사항에 따라 저장소 비용과 검색 속도를 동적으로 조절할 수 있게 했습니다.
4. 생산 환경 최적화: ANN 인덱싱 (HNSW), 양자화 (INT8), 그리고 파이프라인 자동화를 통해 대규모 배포를 가능하게 했습니다.

4. 실험 결과 (Results)

4.1 오프라인 평가 (Recall 성능)

• 기존 모델 대비 향상: 레거시 Mini-LM 기반 모델 대비 Store(식당)에서 88%, Dish(요리)에서 **38%**의 Recall@20 향상을 기록했습니다.
• 다국어 성능: 일본 (JPN), 대만 (TWN) 등 기존 성능이 낮았던 시장에서도 두드러진 개선 (최대 65% 이상) 을 보이며 통합 다국어 모델의 효과를 입증했습니다.
• 학습 전략 효과: 2 단계 학습 (Triplet NCE 추가) 은 1 단계 학습 대비 모든 수직 분야에서 1~4% 의 추가 Recall 향상을 제공했습니다.

4.2 운영 효율성 (MRL 및 양자화)

• MRL 효과: 1536 차원 임베딩을 256 차원으로 잘라내도 Recall@200 은 0.002%p 만 감소하는 등 성능 저하가 미미했습니다. 반면, 저장 공간은 16% 로, 인덱스 비용은 23% 로 대폭 절감되었습니다.
• INT8 양자화: 256 차원 MRL 임베딩에 INT8 양자화를 적용하면 인덱스 크기가 **4%**까지 줄어들며, 오프라인 평가에서 약간의 Recall 감소가 있었으나 온라인 A/B 테스트에서는 FP32 와 유의미한 Recall 차이가 없었습니다.

4.3 온라인 A/B 테스트 (비즈니스 지표)

• **전환율 **(CVR) 의도 있는 검색 (Intentful Search) 에서 CVR +0.44%, 검색당 주문 수 (CoPSU) 에서 **+0.54%**의 통계적으로 유의미한 상승을 기록했습니다.
• Zero-Result Rate: 검색 결과가 없는 경우를 69.10% 감소시켜 검색 커버리지와 견고성을 크게 향상시켰습니다.
• 지연 시간: 검색 서비스 자체의 지연 시간은 변동이 없었으나, 상위 랭킹 단계에서 더 많은 후보를 처리함에 따라 전체 검색 지연 시간이 18% 증가했습니다. 이는 높은 Recall 을 위한 합리적인 비용으로 판단됩니다.

5. 의의 및 결론 (Significance)

이 연구는 대규모 e-커머스 검색 시스템에서 LLM 기반의 의미 검색을 성공적으로 생산 환경에 적용한 대표적인 사례입니다.

• 기술적 혁신: 단일 모델로 다국어와 다수직을 처리하고, MRL 을 통해 비용과 성능을 유연하게 조절하는 아키텍처는 향후 검색 시스템의 표준이 될 수 있는 방향성을 제시합니다.
• 실용적 가치: 단순한 모델 성능 향상을 넘어, 양자화, 인덱싱 전략, 자동화된 파이프라인 등을 포함한 **운영 **(Operational)을 체계적으로 제시하여 실제 비즈니스 KPI(전환율, 주문 수) 에 직접적인 기여를 증명했습니다.
• 미래 방향: 향후 7B/14B 규모의 더 큰 백본 모델 확장, 멀티모달 (이미지) 신호 통합, 그리고 다목적 학습 (Multi-objective learning) 프레임워크 도입 등을 통해 시스템을 고도화할 계획입니다.

결론적으로, Uber Eats 는 이 시스템을 통해 검색의 정확성과 사용자 경험을 획기적으로 개선하면서도, 대규모 데이터 처리에 필요한 비용 효율성을 달성하는 데 성공했습니다.