기술 요약: 스폰서 검색을 위한 인벤토리 인식형 RAG 기반 생성형 AI

1. 문제 정의

스폰서 검색은 월마트와 같은 이커머스 플랫폼의 주요 수익 동력이지만, 심각한 비효율성이 존재합니다. 약 13%의 사용자 검색 쿼리가 어떠한 스폰서 제품 광고도 불러오지 못하는 현상이 발생합니다. 이러한 "제로 필(zero-fill)" 현상은 사용자 쿼리, 방대하고 진화하는 키워드 환경, 그리고 실시간 인벤토리 제약 사이의 불일치에서 기인합니다.

현재의 솔루션은 일반적으로 두 가지 범주로 나뉩니다:

• 정보 검색 (Information Retrieval, IR): ANCE, RocketQA와 같은 덴스 리트리벌(Dense Retrieval) 방식은 딥러닝을 사용하여 쿼리와 키워드를 매칭하지만, 실시간 인벤토리 동기화가 부족한 경우가 많습니다.
• 자연어 생성 (Natural Language Generation, NLG): CLOVER 및 ProphetNet-Ads와 같은 모델은 키워드 변형을 생성하지만, 동적인 인벤토리 데이터와 특정 광고 캠메이션 입찰 전략을 간과하는 경우가 빈번합니다.

핵심 과제는 두 가지입니다. 가용 인벤토리 및 광고 캠페인 입찰 전략에 맞춰 광고 배치(ad placement)의 관련성을 높이는 동시에, 사용자가 관련성이 있다고 느끼는 광고를 제시함으로써 고품질의 사용자 경험을 유지하는 것입니다. 이러한 불일치를 해결하지 못하면 상당한 수익 손실과 고객 참여 기회 상실로 이어집니다.

2. 방법론: InvAwr-RAG

저자들은 실시간으로 사용자 쿼리를 재작성하여 가용 인벤토리 및 광고 캠페인과 정렬하도록 설계된 **인벤토리 인식형 RAG 기반 생성형 AI 모델 (InvAwr-RAG)**을 제안합니다. 이 방법론은 네 가지 주요 단계로 구성됩니다.

2.1. 데이터 준비

• Two-Tower BERT 데이터셋: 쿼리는 제품 제목 및 관련성 점수와 쌍을 이루며, 의미론적 관계를 포착하기 위해 인간의 주석(human annotation)을 통해 강화되었습니다.
• 검색 로그 분석: RAG 구성 요소를 가이드하기 위해 빈도와 광고 노출 수를 기준으로 인기 있는 쿼리를 식별합니다.
• 재작성된 쿼리 수집: 시스템은 성공적인 쿼리 재작성 데이터셋을 큐레이션합니다. 구체적으로, 6개월 동안 동일한 아이템에 대해 500회 이상의 클릭을 생성한 쿼리들이 선택되었습니다. 이들은 쿼리 재작성 LLM 학습 전, 고유성과 뚜렷한 대안을 보장하기 위해 인간 평가자에 의해 엄격하게 필터링되었습니다.

2.2. 모델 아키텍처

이 아키텍처는 검색 구성 요소와 생성 구성 요소를 통합합니다:

• Two-Tower BERT: 이 구성 요소는 별도의 인코더를 사용하여 사용자 쿼리와 제품 제목을 각각 처리하여 임베딩($U$ 및 $V$)을 생성합니다. 코사인 유사도를 사용하여 매치 품질을 평가하며, 모델이 쿼리에 가장 적합한 제품을 식별하도록 학습시킵니다.
• 쿼리 재작성 LLM (LoRA 파인튜닝): Llama2 7B를 기반으로 하며, **LoRA(Low-Rank Adaptation)**를 사용하여 파인튜닝되었습니다. 이 방식은 가중치 행렬에 저차원 행렬($A$ 및 $B$)을 도입하여, 전체 모델을 재학습시키지 않고도 스폰서 검색 도메인에 효율적이고 타겟팅된 적응을 가능하게 합니다. 모델은 문맥적으로 관련 있고 인벤토리를 인식하는 쿼리 재작성을 생성하는 법을 학습합니다.

2.3. 검색 증강 생성 (RAG) 파이프라인

엔드 투 엔드 시스템은 6단계 파이프라인(그림 3)을 통해 작동합니다:

1. 쿼리 분류기 (Query Classifier): 규칙 기반 분류기가 성과가 낮은 쿼리(예: 낮은 클릭률)를 식별하고 이를 재작성 파이프라인으로 리다이렉트합니다.
2. 동적 인벤토리 검색 (Dynamic Inventory Retrieval): 시스템은 벡터 데이터베이스에서 쿼리와의 코사인 유사도를 기반으로 상위 $N=20$개의 인벤토리 아이템을 검색하여 예산 제약 조건이 충족되도록 합니다.
3. 프롬프트 준비 (Prompt Preparation): 원래의 사용자 쿼리와 검색된 상위 아이템들의 설명을 결합하여 프롬프트를 구성합니다 (그림 4).
4. LLM 재작성 (LLM Rewriting): 파인튜닝된 LLM은 가용 인벤토리와 연결된 다양하고 관련성 높은 재작성 쿼리를 생성합니다.
5. 인기 쿼리 통합 (Popular Query Integration): 시스템은 검색 로그에서 LLM의 출력과 유사한, 역사적으로 성공적이었던 쿼리를 검색하여 제안을 풍부하게 만듭니다.
6. 병합 및 최종 검색 (Merging and Final Retrieval): $K=5$개의 재작성된 쿼리를 인기 있는 역사적 쿼리와 병합합니다. 크로스 인코더(Cross-encoder) BERT 모델이 결과 광고 아이템의 관련성을 평가하여, 사전 정의된 관련성 임계값을 충족하는 아이템을 필터링합니다.

2.4. 파라미터 선택

• $N=20$개 아이템: 결정 피로를 유발하지 않으면서 다양성과 특수성의 균형을 맞추고 사용자 참여를 극대화하며, 계산 효율성을 유지하기 위해 선택되었습니다.
• $K=5$개 재작성 쿼리: 사용자의 의도를 포착하기 위해 충분한 언어적 변형을 제공하는 동시에 정밀도와 집중도를 유지하도록 선택되었습니다.

3. 주요 기여

본 논문은 다섯 가지 주요 혁신을 강조합니다:

1. 강력한 동적 쿼리 재작성: 실시간 인벤토리 및 입찰가와 일치하도록 쿼리를 조정하여, 이전에 이행 불가능했던 검색을 광고 기회로 전환하는 모델입니다.
2. 실시간 데이터 통합: 모든 검색이 관련 있는 광고 표시로 이어질 수 있도록 라이브 인벤토리 및 입찰 데이터를 통합합니다.
3. 하이브리드 쿼리 생성: 신선함과 신뢰성 사이의 균고를 맞추기 위해 AI 생성 쿼리와 역사적으로 성공적인 쿼리를 혼합하는 독특한 접근 방식입니다.
4. 이중 최적화: 관련성 높은 제안을 통해 사용자 경험을 개선하는 동시에, 제품 가시성을 극대화하여 광고주의 ROI를 높입니다.
5. 확장성: 고급 데이터 처리와 LLM 적응성을 활용하여 솔루션이 시장 역동성에 따라 진화할 수 있도록 보장합니다.

4. 결과

저자들은 과거 **0%의 필 레이트(fill rate)**를 보였던 10,000개의 쿼리 데이터셋을 대상으로 오프라인 평가를 수행했습니다.

• 필 레이트 (Fill Rate): InvAwr-RAG 모델은 이 까다로운 데이터셋에서 68%의 필 레이트를 달성했습니다. 이에 비해 특정 리테일 파인튜닝이 없는 베이스라인 GPT-4 모델은 53%의 필 레이트를 기록했습니다.
• 관련성 (NDCG@8): 8개의 컷오프를 기준으로 한 NDCG(Normalized Discounted Cumulative Gain) 측정 시, InvAwr-RAG는 0.6847을 기록하여 GPT-4(0.6458) 및 베이스라인(0)을 능가했습니다.
• 평가 방법: 이러한 지표는 상위 8개의 아이템을 평가한 제3자 인간 평가자에 의해 검증되었습니다.

논문은 이러한 결과가 예비 오프라인 결과임을 명시하며, 필 레이트, 클릭률(CTR), 전환율(Conversion Rate) 및 매출에 미치는 실시간 영향을 측정하기 위한 A/B 테스트가 계획되어 있다고 언급했습니다.

5. 의의 및 주장

본 논문은 InvAwr-RAG를 스폰서 검색을 위한 동적 쿼리 최적화의 새로운 표준으로 자리매김합니다. 저자들은 기존의 IR 및 NLG 방식이 동적인 인벤토리와 동기화되지 못해 광고 인벤토리 낭비와 사용자 경험 저하를 초래하는 데서 발생하는 치명적인 격차를 이 모델이 해결한다고 주장합니다.

• 수익 잠재력: 저자들은 제로 필(zero-fill) 쿼리를 전환할 수 있는 이 모델의 능력이 향후 5년간 최대 10억 달러의 광고 관련 매출 증가를 가져올 것으로 전망합니다.
• 전략적 영향: 약 13%의 이전 미수익 검색에 관련 광고를 표시할 수 있게 함으로써, 시스템은 광고 관련성, 광고주 ROI, 그리고 월마트 디지털 플랫폼의 전반적인 쇼핑 경험을 크게 개선합니다.
• 향 향후 과제: 저자들은 향-후 사용자 의도 이해를 정교화하고, 다양한 제품 카테고리로 적용 범위를 확장하며, 인벤토리 및 사용자 기반이 성장함에 따라 확장성을 개선하는 데 집중할 것이라고 밝혔습니다.