Enhancement of E-commerce Sponsored Search Relevancy with LLM

기술 요약: LLM을 통한 이커머스 스폰서 검색 관련성 향상

문제 정의
스폰서 검색은 광고주의 키워드와 사용자의 검색 쿼리를 정확하게 매칭하는 데 의존하는 이커머스 플랫폼의 핵심 수익원입니다. 그러나 방대한 양으로 진화하는 키워드 공간, 사용자 및 광고주의 의도의 모호성, 그리고 주제와 언어의 다양성으로 인해 광고의 적절성을 보장하는 것은 복잡한 과제입니다. 키워드 매칭이나 협업 필터링과 같은 전통적인 알고리즘 방식은 소비자 쿼리의 미묘한 언어적 뉘앙스(예: 내구성이나 가격대에 대한 암묵적 선호도)를 포착하는 데 종종 실패합니다. 이러한 한계는 최적화되지 않은 검색 결과로 이어져 사용자 만족도, 클릭률(CTR) 및 전환율에 부정적인 영향을 미칩니다. 과제는 라이브 이커머스 환경의 제약 조건 내에서 짧고 복잡한 쿼리 의도를 빠르고 정확하며 비용 효율적으로 해석할 수 있는 시스템을 개발하는 것입니다.

방법론
저자들은 이커머스 스폰서 검색 맥락에 맞게 특별히 조정된 LLaMA2 7B 디코더 기반 대규모 언어 모델(LLM)을 기반으로 한 고급 광고 관련성 모델을 제안합니다. 핵심 기술 혁신은 사전 학습된 모델을 미세 조정하기 위한 저차원 적응(Low-Rank Adaptation, LoRA)의 사용입니다.

• 아키텍처: 시스템은 매개변수 효율적 미세 조정(Peft) 방식을 활용합니다. 7B 파라미터 전체 모델을 재학습시키는 대신, LoRA는 어텐션 메커니즘(query, key, value 및 output projection)과 피드포워드 네트워크(gate, up, down projection)를 포함한 특정 구성 요소의 가중치 행렬에 저차원 행렬($A$ 및 $B$)을 도입합니다. 원래의 가중치($W$)는 동결된 상태로 유지되며, 학습 중에는 LoRA 파라미터만 업데이트됩니다. 이는 계산 자원과 학습 시간을 크게 줄여줍니다.
• 태스크 정식화: 모델은 <query, ad title> 분류기로 작동합니다. 사용자 쿼리와 광고 아이템 타이틀을 입력으로 받아 관련성 점수를 예측하고, 해당 쌍을 관련 있음(Relevant), 부분적 관련 있음(Partially Relevant), 또는 **관련 없음(Irrelevant)**의 세 가지 클래스로 분류합니다.
• 학습 데이터: 모델은 월마트(Walmart)의 쿼리 로그에서 추출한 데이터셋으로 학습되었으며, 학습용 250,000개의 쿼리-아이템 쌍과 검증 및 테스트용 각 56,000개의 쌍으로 구성되었습니다. 데이터는 제3자 인간 평가자에 의해 3점 척도(0: 관련 없음, 1: 부분적 관련 있음, 2: 관련 있음)로 주석이 달렸으며, 다수결 원칙에 따라 정답(ground truth)이 결정되었습니다.
• 최적화: 모델은 4대의 Tesla V100 GPU 환경에서 1e-5의 학습률과 범주형 교차 엔트로피 손실 함수를 사용하여 7 에포크(epoch) 동안 Adam 옵티마이저를 통해 학습되었습니다.

주요 기여

1. 이커머스를 위한 LLM 적응: 본 논문은 오픈 소스 LLaMA2 7B 모델이 별도의 복잡한 쿼리 이해 시스템 없이도 이커머스 쿼리 뒤에 숨겨진 특정 의도(예: "에너지 효율적인 LED 전구")를 이해하도록 성공적으로 적응되었음을 입증합니다.
2. LoRA를 통한 효율적인 미세 조정: 저자들은 높은 성능을 달면서도 계산 효율성과 운영 프라이버시를 유지하며 스폰서 검색을 위해 대규모 언어 모델을 미세 조정하는 LoRA의 참신한 적용 사례를 보여줍니다.
3. 새로운 분류 시스템: 관련성을 세 가지 별도 카테고리로 구분하는 특화된 <query, ad title> 분류기를 개발하여 기존의 이진 관련성 모델을 개선했습니다.
4. 자동 레이블링 프레임워크: 시스템은 고급 자동 레이블링 기능을 통해 지속적인 모델 학습을 용ord하며, 수동 데이터 주석에 대한 의존도를 낮춥니다.
5. 포괄적인 벤치마킹: 전통적인 NLP 모델(BERT 기반 Bi-Encoder 및 Cross-Encoder) 및 최첨단 모델(few-shot learning을 사용하는 GPT-4)에 대한 엄격한 비교 분석을 수행했습니다.

실험 결과
미세 조정된 LLaMA2 7B 모델은 여러 지표에서 우수한 성능을 보였습니다:

• 정확도(Accuracy): 모델은 테스트 데이터셋에서 **89.43%**의 정확도를 달성하여, BERT 기반 Cross-Encoder(86.27%)와 BERT 기반 Bi-Encoder(74.42%), 그리고 GPT-4(63.02%)를 능가했습니다.
• 정밀도 및 재현율(Precision and Recall): 모델은 **89.75%**의 정밀도와 **89.22%**의 재현율을 유지하여 **89.41%**의 F1-score를 기록했습니다. 이러한 균형은 광고 배치 시 허위 양성(false positives)과 허위 음성(false negatives)을 모두 최소화하는 데 매우 중요합니다.
• 관련성 순위(Relevance Ranking): 정규화된 누적 이득(NDCG) 측면에서, 모델은 NDCG@4에서 0.7142, NDCG@8에서 0.6774를 달성하여 두 BERT 변체보다 우수한 성과를 보였습니다.
• 질적 분석: 사례 연구에 따르면, GPT-4는 과잉 일반화하는 경향이 있는 반면(예: "Chicken Shredder"를 "shredded chicken"에 매우 관련 있다고 분류), 미세 조정된 LLaMA 모델은 간접적 관련성과 문맥을 더 잘 식별하는 능력을 보였습니다. 예를 들어, "first aid tape"에 대해 "McKesson Medical Tape"를 올바르게 식별하는 동시에, "ZEISS lens wipes"에 대해 "glass cleaner"와 같은 무관한 아이템을 허위 양성으로 분류하는 것을 피했습니다.

의의 및 주장
본 논문은 LoRA를 LLaMA2 7B 모델과 결$\합하는 것이 이커머스 애플리케이션을 위한 언어 모델을 커스터마이징하는 데 있어 중요한 진전이라고 주장합니다. 본 연구의 의의는 현대 디지털 마켓플레이스에 필수적인 세 가지 이점을 제공할 수 있다는 점에 있습니다:

1. 검색 정확도 향상: 복잡한 쿼리 의도를 더 잘 이해함으로써, 모델은 스폰서 결과의 관련성을 높여 사용자 만족도와 비즈니스 지표를 직접적으로 향상시킵니다.
2. 비용 효율성: LoRA 방식은 전체 모델 재학습에 필요한 광범한 계산 자원 없이도 효율적인 미세 조정을 가능하게 하여, 대규모 이커머스 플랫폼에 대한 확장성을 제공합니다.
3. 운영 프라이버시: 외부 API(예: GPT-4)를 사용하는 것과 달리, 오픈 소스 기반의 자체 호스팅 모델을 사용함으로써 기업용 이커머스 환경에서 중요한 요소인 데이터 프라이버시와 보안을 보장합니다.

저자들은 본 평가가 스폰서 검색에 초점을 맞추었으나, 이 방법론은 더 넓은 이커머스 검색 맥락에도 적용 가능한 다재다능한 모델이며, 온라인 리테일 경험을 개선하기 위한 실질적이고 영향력 있는 솔루션을 제공한다고 결론지었습니다.