기술 요약: Gap을 메우다: 멀티 버티컬 추천 시스템에서 LLM을 활용한 행동 격차 해소

1. 문제 정의

DoorDash와 같은 멀티 버티컬 이커머스 생태계에서 새로운 도메인(예: 식료품, 리테일, 뷰티)으로 확장할 때, 이는 중대한 개인화 과제인 "콜드 스타트(cold start)" 문제를 야기합니다. 사용자는 이러한 신규 버티컬에 대한 참여 이력이 부족하여 관련성 높은 추천을 생성하기 어렵습니다. 반면, 플랫폼은 기존의 트래픽이 높은 버티컬(예: 음식 주문)로부터 풍부한 행동 데이터를 보유하고 있습니다. 본 연구가 다루는 핵심 과제는 직접적인 과거 상호작용 없이도, 데이터가 풍부한 버티컬의 잠재적 지식을 데이터가 희소한 버티컬로 어떻게 효과적으로 전이하여 추천 품질을 높일 것인가 하는 점입니다.

2. 방법론

저자들은 LLM을 활용하여 비정형 행동 데이터로부터 구조화된 사용자 선호도 피처를 합성하는 '의미론적 피처 엔지니어링(semantic feature engineering)'을 수행하는 새로운 프레임워크를 제안합니다.

2.1 계층적 검색 증강 생성 (Hierarchical RAG)

시스템은 비정형 사용자 시그널(음식 주문 이력 및 검색 쿼리)을 4단계 내부 제품 분류 체계(L1–L4)에 매핑하기 위해 계층적 RAG 파이프라인을 채택합니다.

• 계단식 추론 (Cascaded Inference): 프로세스는 계단식 추론 전략을 통해 작동합니다. 모델은 먼저 광범위한 상위 레벨(L1, L2) 분류 선호도를 식별합니다. 이렇게 높은 신뢰도로 분류된 결과는 이후 더 세분화된 하위 레벨(예: L3)의 생성형 검색 범위를 제한하는 역할을 합니다. 이러한 반복적 정교화 과정은 그럴듯해 보이지만 실제로는 틀린 하위 카테고리가 생성되는 것을 방지합니다.
• 피처 집중 (Feature Focus): 프로덕션 멀티 태스크 학습(MTL) 랭커를 위해, 시스템은 L1은 너무 일반적이고 L4는 희소성이 지나치게 높다는 점을 고려하여 L2 및 L3 선호도를 타겟팅합니다.

2.2 생성형 피처 합성

프레임워크는 사용자 표현(representation)을 보강하기 위해 두 가지 구별된 클래스의 피처를 생성합니다.

1. 장기적 교차 버티컬 선호도 프로필 (Long-Term Cross-Vertical Affinity Profile): 누적된 음식 주문 이력으로부터 추론된 잠재적, 역사적 선호도를 포착합니다.
2. 단기적 의도 프로필 (Short-Term Intent Profile): 최근의 플랫폼 내 검색 활동에서 유도된 일시적이고 최근의 관심사를 모델링합니다.

2.3 프롬프트 엔지니어링 및 제어

높은 충실도와 결정론적 출력을 보장하기 위해 저자들은 엄격한 프롬프트 엔지니어링 제어 기능을 구현했습니다.

• 문맥적 입력 (Contextual Input): 프롬프트는 최근 행동에 우선순위를 둔 음식 이름과 주문 항목들을 시간 순서대로 결합하며, 여기에 검색 쿼리를 함께 포함합니다.
• 신뢰도 필터링 (Confidence Filtering): 모델은 각 생성된 선호도에 대해 신뢰도 점수를 할당하도록 지시받습니다. 신뢰도가 0.8을 초과하는 분류 체계만 포함됩니다. 이는 허구적인 연관성을 걸러내는 자가 수정 메커니즘 역할을 합니다.
• 출력 제약 (Output Constraints): 모델은 제공된 리스트 내의 정확한 분류 명칭만을 출력하도록 제한되어, 존재하지 않는 카테고리를 만들어내는 것을 방지합니다 가.

2.4 프로덕션 MTL로의 통합

LLM 기반 피처는 기존 프로덕션 멀티 태스크 학습(MTL) 랭킹 모델에 통합됩니다.

• 피처 보강 (Feature Augmentation): 사용자 선호도를 나타내는 새로운 희소 피처($u_{LLM}$)는 기존의 사용자 참여 벡터($u_{eng}$) 및 아이템 피치 벡터($i_{eng}$)와 결합됩니다.
• 임베딩 전략 (Embedding Strategy): 가변 길이의 범주형 피처(분류 ID 리스트)는 공유 임베딩 테이블을 통해 밀집 벡터로 매핑되며, 굴곡진(jagged) 입력 텐서를 처리하기 위해 평균 풀링(mean pooling)을 사용하여 집계됩니다.
• 모델 아키텍처: 보강된 피처 벡터는 공유 MLP 트렁크(trunk)로 전달된 후, 클릭률(CTR), 장바구니 담기, 구매 등의 목적 함수를 공동 최적화하는 태스크별 예측 헤드로 전달됩니다.

2.5 최적화

• 모델 선택: 비용 대비 성능 분석 결과, GPT-4o-mini가 GPT-4o와 대등한 품질을 제공하면서도 계산 비용은 현저히 낮아 최적의 모델로 식별되었습니다.
• 비용 절감: 프롬프트 캐싱(정적 지침 및 분류 체계용)과 적시 피처 실체화(사용자의 새로운 행동 발생 시에만 선호도 업데이트)를 구현하여 전체 계산 비용을 약 80% 절감했습니다.

3. 실험적 평가

3.1 오프라인 평가

제안된 모델은 역사적 참여 데이터와 아이템 속성만을 사용하여 학습된 베이스라인 MTL 모델과 15일간의 홀드아웃 데이터셋을 통해 비교 평가되었습니다.

• 지표: 성능은 AUC-ROC(Area Under the Receiver Operating Characteristic Curve)와 MRR(Mean Reciprocal Rank)로 측정되었습니다.
• 코호트 분석:
  • 전체 인구 집단: 제안된 모델은 AUC-ROC에서 4.4% 상대적 향상을, MRR에서 4.8% 향상을 달왔습니다.
  • 콜드 스타트 소비자: 이 코호트는 AUC-ROC 4.0% 향상 및 MRR 1.1% 향상을 기록하여, 역사적 취향 선호도가 다른 버티컬로 효과적으로 전이될 수 있다는 가설을 검증했습니다.
  • 파워 소비자 (Power Consumers): 이 그룹은 검색 쿼리 시그널로부터 가장 큰 혜택을 입었으며, AUC-ROC 5.2% 향상 및 MRR 2.2% 향상을 달성했습니다.

3.2 온라인 섀도 디플로이먼트 (Shadow Deployment)

오프라인 결과를 검증하기 위해 시스템을 실제 트래픽을 대상으로 하는 섀도 모드로 배포했습니다.

• 결과: LLM 보강 모델은 일반 인구 집단에 대해 베이스라인 대비 AUC-ROC 4.3% 개선 및 MRR 3.2% 증가를 보여 실질적인 효용성을 확인했습니다.

3.3 피처 품질 평가

정성적 및 정량적 평가를 통해 생성된 피처의 관련성을 확인했습니다.

• 인간 평가: 검색 쿼리에서 유도된 피처는 음식 주문의 경우(53.0%)보다 높은 **70.7%**의 사례에서 "매우 개인화됨(Highly Personalized)"이라는 평가를 받았습니다.
• LLM-as-a-Judge: GPT-4o를 사용하여 관련성을 점수화했을 때, 검색 쿼리가 음식 주문(56.6%)보다 높은 61.6%의 높은 개인화 수준을 보여, 검색 의도의 명시적 특성과 일치하는 결과를 보였습니다.

4. 주요 기여 및 의의

본 논문은 멀티 버티컬 마켓플레이스에서의 행동 데이터 격차를 해결함으로써, 더욱 총체적이고 적응적인 추천 시스템을 구축하기 위한 실질적인 경로를 제시합니다.

• 새로운 프레임워크: 비정형 사용자 데이터로부터 다단계 분류 피처를 도출하기 위한 계층적 RAG 파이프라인을 도입했습니다.
• 의미론적 가교 (Semantic Bridge): LLM이 데이터가 풍부한 버티컬(음식)에서 데이터가 희소한 버티컬(식료품/리테일)로 지식을 효과적으로 전이하여 콜드 스타트 문제를 해결하는 의미론적 가교 역할을 할 수 있음을 입증했습니다.
• 프로덕션 실행 가능성: LLM 생성 피처가 계산 비용을 관리하면서도 상당한 성능 향상을 가져오며 프로덕션 MTL 랭킹 모델에 통합될 수 있음을 증명했습니다.
• 행동 통찰: 한 버티컬에서 추론된 잠재적 사용자 선호도가 다른 버티컬(특히 해당 도메인의 직접적인 이력이 없는 사용자)의 개인화를 크게 개선할 수 있음을 검증했습니다.

5. 향 향후 연구 방향

저자들은 향후 연구를 위한 세 가지 구체적인 방향을 제시합니다.

1. 고급 프롬프팅: Chain-of-Thought 및 자가 수정(self-correction) 패러다임을 조사하고, 더 작고 효율적인 도메인 특화 LLM의 미세 조정을 탐색합니다.
2. 퍼널 통합 (Funnel Integration): 생성형 피처를 추천 퍼널의 더 이른 단계인 후보군 추출(candidate retrieval) 단계에 통합하여, 보다 시너지 있는 엔드 투 엔드 시스템을 구축합니다.
3. 시간적 역학 (Temporal Dynamics): 더 적응적이고 세션 인지적인 추천 모델을 구축하기 위해 선호도의 시간적 역학을 탐구합니다.