기술 요약: JourneyFormer

문제 정의

Airbnb와 같은 양면형 이커머스 플랫폼에서 검색 랭킹은 게스트와 적합한 숙소를 연결하는 데 매우 중요합니다. 시퀀스 모델링은 사용자 의도를 포착하기 위해 추천 시스템에서 주목받아 왔으나, 이를 실제 프로덕션 검색 랭킹에 배포하는 데는 상당한 장애물이 존재합니다. 구체적으로, Airbnb 게스트의 여정은 다음과 같은 특징을 가집니다:

1. 길고 탐색적인 시퀀스: 게스트는 다양한 목적지와 날짜를 넘나들며 광범위하게 브라우징하며, 이로 인해 시퀀스는 수십만 개의 이벤트에 달할 정도로 길어집니다. 이러한 시퀀스에는 많은 노이즈가 포함되어 있는데, 많은 '조회(view)' 이벤트는 예약 의도를 나타내기보다는 단순한 탐색적 행위인 경우가 많습니다.
2. 이벤트 복잡도: 게스트의 상호작용은 빈도와 의미 측면에서 매우 다양합니다. 빈도가 높은 이벤트(예: 조회)는 명확한 의도가 없는 경우가 많으며, 반대로 빈도가 낮은 이벤트(예: 예약, 취소, 리뷰)는 정보 가치는 높지만 매우 희소합니다.
3. 희소한 레이블: 인게이지먼트(engagement)를 최적화하는 소셜 미디어 플랫폼과 달리, Airbnb는 예약 전환을 우선시합니다. 타겟 신호(예약)는 인게이지먼트 신호에 비해 극도로 희소하므로, 노이즈가 많은 인게이지먼트 데이터에 과적합되지 않으면서 잘 일반화되는 모델을 학습시키는 것이 어렵습니다.
4. 프로덕션 확장성: 기존 방식은 시간 창(time window)에 따라 집계된 수작업 피처(hand-crafted features)에 의존했습니다. 이러한 방식은 효과적이긴 했으나, 피처의 수가 늘어남에 따라 유지보수와 확장이 어려워졌으며, 복잡하고 비선형적인 게스트의 의도를 포착하는 데 한계가 있었습니다.

방법론: JourneyFormer

JourneyFormer는 게스트의 여정을 압축된 표현(representation)으로 인코딩하도록 설계된 시퀀스 모델링 솔루션입니다. 이 아키텍처와 설계 선택은 프로덕션의 제약 조건과 Airbnb 데이터의 특성을 바탕으로 결정되었습니다.

1. 데이터 선택 및 시퀀스 구성

게스트 데이터의 규모와 노이즈를 관리하기 위해, 저자들은 빈도 기반의 이벤트 선택 전략을 채택했습니다:

• 장기 시퀀스(Long-term Sequence): 지난 7년간의 드물지만 가치가 높은 이벤트(예약, 리뷰, 취소, CS 티켓)를 포착합니다.
• 단기 시퀀스(Short-term Sequence): 지난 21일간의 고빈도 이벤트(조회)를 포착합니다.
• 캡핑(Capping): 학습 시 GPU 메모리 효율성을 보장하기 위해 시퀀스 길이를 장기 80개, 단기 200개로 제한하며, 이는 가장 긴 히스토리를 가진 상위 2%의 게스트를 커버합니다.

2. 피처 표현

임베딩 학습을 용이하게 하기 위해 게스트 시퀀스, 검색 쿼리, 리스팅 후보 전반에 걸쳐 공유 피처 풀(shared feature pool)을 사용합니다:

• ID 피처: 리스팅 ID, 호스트 ID, 계층적 S2Cell ID(레벨 0부터 13까지의 지리적 인덱싱)는 **통합 임베딩(Unified Embedding)**을 통해 처리됩니다. 이 기술은 고차원(high-cardinality) ID를 효율적으로 처리하기 위해 랜덤 해싱 시드를 사용하는 단일 공유 임베딩 테이블을 사용하며, 별도의 ID 임베딩보다 우수한 성능을 보였습니다.
• 범주형 및 연속형 피처: 범주형 피처는 임베딩 처리되며, 연속형 피처(예: 가격)는 배치 정규화(batch normalization)를 통해 정규화됩니다.
• 원시 시맨틱(Raw Semantics): 모델은 광범위한 수동 피처 엔지니어링 없이 원시 피처를 사용하며, 상호작용 모델링은 신경망 아키텍처에 위임합니다.

3. 모델 아키텍처

• 시퀀스 인코더: 멀티 헤드 셀프 어텐션(multi-head self-attention)과 인과적 마스킹(causal masking)을 갖춘 트랜스포머 기반 인코더를 사용합니다. 인과적 마스크는 미래의 이벤트가 과거의 인코딩에 영향을 미치지 않도록 하여 정보 누출(information leakage)을 방지합니다. 특히, 저자들은 표준 트랜스포머에서 흔히 쓰이는 **피드포워드 레이어(feed-forward layers)**가 성능을 저하시키고 학습 속도를 늦춘다는 것을 발견하여 이를 제외했습니다.
• 랭킹 모델: 시퀀스 임베딩은 쿼리 및 리스팅 후보 임베딩과 결합됩니다. 경량 멀티 레이어 퍼셉트론(MLP)이 리스팅의 점수를 계산합니다.
• 레이블 귀속(Label Attribution): 레이블 희소성 문제를 해결하기 위해, 하나의 예약은 해당 예약 전 7일 동안 수행된 모든 검색에 귀속됩니다. 학습에는 최소 하나 이상의 예약이 발생한 검색만을 사용하며, 게스트당 하루 최대 4개의 검색을 샘플링하여 다양성을 유지합니다.

4. 학습 및 서빙 전략

학습과 추론 속도를 약 4배 가속화하기 위해 다음과 같은 전략이 구현되었습니다:

• 시퀀스 버킷화(Sequence Bucketization): 패딩 오버헤드를 최소화하기 위해 시퀀스를 길이별(예: 4, 16, 44, 88, 148, 280)로 그룹화합니다.
• 검색 배칭(Batching of Searches): 시퀀스 인코더의 중간 임베딩(마지막 이벤트 이전의 이벤트들에 대한 것)을 동일한 여정 내의 후속 검색을 위한 시퀀스 임베딩으로 재사용하여, 중복된 순전파/역전파 과정을 줄입니다.
• 희소 계산(Sparse Calculation): 패딩되지 않은 검색만 랭킹 모델에 전달하여 불필요한 계산을 방지합니다.
• 하이브리드 서빙: 시퀀스 인코더는 매일 **배치 모드(batch mode)**로 실행하여 게스트 임베딩을 미리 계산해 두고, 랭킹 모델은 이 사전 계산된 임베딩을 사용하여 **실시간(real-time)**으로 실행함으로써 지연 시간과 비용 사이의 균 균형을 맞춥니다.

주요 기여

1. 프로덕션 지향적 설계: 본 논문은 순수 알고리즘의 참신함을 넘어 데이터 선택, 레이블 귀속, 서빙 확장성을 다룸으로써 산업 현장에 시퀀스 모델을 배포하는 데 필요한 구체적인 트레이드오프를 상세히 설명합니다.
2. JourneyFormer 배포: 수작업 피처 엔지니어링을 학습된 시퀀스 임베딩으로 대체하여, Airbnb의 검색 랭킹에 트랜스포머 기반 시퀀스 모델을 성공적으로 도입했습니다.
3. 경험적 검증: 모델이 랭킹 지표와 핵심 비즈니스 성과를 모두 개선함을 보여주는 광범한 오프라인 및 온라인 분석을 제공합니다.
4. 교훈(Lessons Learned): 저자들은 온라인 이득이 없거나 복잡성만 증가시킨 사례(예: 양방향 인코더, 실시간 시퀀스 추론, 뷰 레이블을 활용한 멀티 태스크 학습) 등 탐색했으나 채택하지 않은 설계 선택들에 대한 통찰을 제공합니다.

결과

오프라인 성능

• NDCG 개선: JourneyFormer는 강력한 프로덕션 베이스라인(수작업 피처 기반)을 크게 상회했습니다. 전체 모델(장기 및 단기 시퀀스 모두 사용)은 NDCG에서 **+1.48%**의 개선을 달림으로써 성능을 입증했습니다.
• 시퀀스 길이 분석: 장기 시퀀스가 길수록 성능이 향상되었습니다. 그러나 단기 시퀀스는 11~20개의 이벤트에서 정점을 찍은 후 감소했는데, 이는 과도한 조회가 노이즈를 유발한다는 가설을 입증합니다.
• 설계 절제 실험(Ablation Study): ID 임베딩(특히 S2Cell ID)을 제거하거나 피드포워드 레이어를 추가하면 성능이 하락하여, 위치의 세밀함과 특정 아키텍처 선택의 중요성을 확인했습니다.

온라인 A/B 테스트

• 검색 랭킹: 3주간의 기간 동안 JourneyFormer-Full은 주요 비즈니스 지표에서 유의미한 상승을 보였습니다:
  • 예약자(Bookers): +0.55%
  • 예약 숙박일수(Booked Nights): +0.82%
  • 조회수(Views): +0.90%
• 프로모션 이메일: 이메일 리스팅 랭킹에 적용했을 때, 모델은 이메일 클릭률을 +5.04% 높였으며, 예약자와 예약 숙박일수에서도 유의미한 상승을 기록했습니다.
• 분포 변화(Distribution Shift): 모델은 학습 후 한 달간의 평가 데이터 동안 일관된 성능(NDCG 개선폭 >1.4%)을 유지하여, 분포 변화에 대한 견고함과 잦은 재학습의 필요성을 줄임을 보여주었습니다.

의의 및 주장

본 논문은 JourneyFormer가 이론적인 시퀀스 모델링과 산업 규모의 배포 사이의 간극을 성공적으로 메웠음을 주장합니다. 그 의의는 다음과 같습니다:

1. 희소한 레이블 환경에서의 효과 증명: 예약 레이블의 희소성과 탐색적 브라우징의 노이즈에도 불구하고, 시퀀스 모델링이 예약 의도를 효과적으로 추론할 수 있음을 입증했습니다.
2. 확장성: 버킷화, 배치 검색 추론, 통합 임베딩과 같은 정교한 엔지니어링을 통해, 수백만 건의 일일 이벤트가 발생하는 Airbnb 규모에서 복잡한 시퀀스 모델을 효율적으로 학습하고 서빙할 수 있음을 보여주었습니다.
3. 비즈니스 임팩트: 아주 작은 개선조차 어려운 고도로 최적화되고 성숙한 검색 랭킹 시스템에서, 시퀀스 모델링이 예약 및 숙박일수 증가라는 실질적인 비즈니스 성장을 이끌어낼 수 있다는 구체적인 증거를 제시했습니다.
4. 실무적 가이드라인: 다른 실무자들이 이커머스 검색 랭킹에서 무엇이 효과적이고(인과적 마스킹, 계층적 위치 ID, 빈도 기반 캡핑), 무엇이 그렇지 않은지(리타겟팅을 위한 실시간 시퀀스 추론, 노이즈가 많은 인게이지먼트 레이블을 활용한 멀티 태스크 학습)에 대한 로드맵을 제공합니다.