기술 요약: 전자상거래 추천을 위한 캐스케이드 생성 접근법

1. 문제 제기

전통적인 전자상거래 스토어는 수동 머천다이저가 정적 콘텐츠 테마 (배치) 를 정의하고, 검색 시스템이 제품을 가져오며, 랭킹 모델이 항목을 순서대로 배열하는 모듈식 파이프라인에 의존합니다. 이는 집합적 선호도에는 효과적이지만, 이 패러다임은 세 가지 치명적인 한계를 겪고 있습니다:

1. 개인화의 확장성: 콘텐츠의 수동 생성은 비용이 많이 들고 느려서, 일시적인 사용자 상태 (예: 계절적 필요, 실시간 참여도) 에 기반한 심층적인 개인화를 방해합니다.
2. 결합력 부족: 서로 다른 머천다이저에 의한 독립적인 콘텐츠 생성은 종종 단절된 사용자 경험을 초래하며, 페이지 섹션 간 의미론적 연속성이 부족합니다.
3. 경직성: 고정된 의미론적 구조는 다양성과 일관성과 같은 동적 비즈니스 목표나 페이지 수준의 목표에 적응하기 어렵게 만듭니다.

저자들은 이 경직된 파이프라인을 기존 검색 및 랭킹 인프라와의 호환성을 유지하면서 동적으로 개인화된 스토어를 구축하는 캐스케이드 생성 프레임워크로 대체할 것을 제안합니다.

2. 방법론

제안된 아키텍처는 스토어 구축을 4 단계 파이프라인으로 분해하며, 지연 시간과 어휘 제약을 관리하기 위해 "하향식" 항목 생성보다 "상향식" 생성 접근법을 우선시합니다.

4.1 아키텍처 개요

파이프라인은 다음으로 구성됩니다:

1. 페이지 디자인 및 테마 생성: 고수준의 개인화된 배치 테마를 생성합니다.
2. 검색 키워드 생성: 테마를 제품 검색을 위한 구체적인 검색어 또는 분류 노드로 변환합니다.
3. 품질 및 다양성 필터링: 관련성과 정책 준수를 보장합니다.
4. 항목 및 페이지 단위 랭킹: 기존 랭킹 서비스와 통합합니다.

4.2 1 단계: 테마 생성

"페이지 디자인 에이전트"(LLM1) 는 구매 이력 및 선호도를 포함한 원시 사용자 컨텍스트 ($c_u$) 를 활용하여 $m$개의 배치 테마 ($t_{iu}$) 로 구성된 정렬된 배열을 생성합니다.

• 메커니즘: 테마가 명확하고 일관된 쇼핑 의도 (예: "평일 저녁 식사를 위한 맛 구성 요소") 가 되도록 보장하기 위해 제약 디코딩과 구조화된 출력을 사용하는 폐쇄형 대형 언어 모델 (LLM) 을 사용합니다.
• 출력: 후속 단계의 중복성을 줄이기 위해 테마 제목과 파생 신호 (사용자 페르소나, 제품 개념) 를 모두 생성합니다.
• 가드레일: 생성이 실패하거나 비즈니스/정책 제약을 위반하는 경우 결정적 폴백이 사용됩니다.

4.3 2 단계: 검색 키워드 생성

각 생성된 테마는 제품 검색을 위한 검색 호환성 설명자 (키워드) 를 생성하기 위해 두 번째 단계로 입력됩니다.

• 교사 - 학생 증류: 생산 지연 시간과 비용을 해결하기 위해 고품질 감독 데이터를 생성하는 폐쇄형 "교사" LLM(GPT-5) 을 사용합니다. 그런 다음 내부 "학생" 모델을 LoRA 어댑터를 사용하여 미세 조정하여 교사를 모방하도록 합니다.
  • 어블레이션 결과: AI 품질 보증 (AIQA) 필터링 레이블로 미세 조정된 Llama-3.2-3B 학생 모델은 교사와 성능 동등성을 달성하면서도 상당한 추론 비용 이점을 제공했습니다.
• 검색 증강 생성 (RAG): 생성 공간을 제한하고 정밀도를 높이기 위해, 시스템은 생성된 제품 개념에 대한 임베딩 기반 유사성을 사용하여 30 만 개 용어 코퍼스에서 후보 키워드를 검색합니다. 이 정제된 부분 집합은 제약 생성을 위해 학생 모델 (LLM2) 에 입력됩니다.
  • 영향: 전체 코퍼스를 컨텍스트로 전달하는 것에 비해 RAG 는 총 추론 비용을 15~20% 줄입니다.

4.4 3 단계: 품질 및 다양성 필터링

두 가지 메커니즘이 최종 출력이 안전하고 관련성이 있도록 보장합니다:

1. 의미론적 중복 제거: 단일 사용자의 중복 테마를 제거하기 위해 생성된 테마의 임베딩을 비교합니다.
2. 크로스-인코더 관련성 필터링: 미세 조정된 DeBERTa-v3-base 크로스-인코더가 생성된 테마와 검색된 제품 슬레이트 간의 관련성을 검증합니다. 교사 모델이 검증한 실제 데이터 쌍으로 훈련된 이 모델은 실제 레이블과 90% 이상 일치합니다. 이는 필터링을 위해 LLM-as-a-judge 를 사용하는 것에 비해 추론 비용을 99% 이상 줄여 모든 사용자에게 실시간 적용을 가능하게 합니다.

4.5 4 단계: 통합

정렬된 배치 및 키워드의 최종 목록은 저지연 검색을 위해 캐시됩니다. 기존 랭킹 서비스는 생성된 콘텐츠를 검색하고 필요한 경우 재랭킹을 수행한 후 최종 페이지를 제공합니다. 이 설계는 생성 검색을 전통적인 랭킹과 분리하면서도 하이브리드 인프라를 유지합니다.

3. 주요 기여

1. 캐스케이드 생성 프레임워크: 대규모 전자상거래의 제약과 심층 개인화 사이의 균형을 맞추며 스토어 구축을 재정의하는 새로운 2 단계 생성 접근법 (테마 $\to$ 키워드).
2. 확장 가능한 교사 - 학생 파이프라인: 데이터 생성을 위해 폐쇄형 LLM 을 활용하고 생산 추론을 위해 미세 조정된 소형 모델 (Llama/Qwen) 을 활용하는 방법론으로, 훨씬 낮은 지연 시간과 비용으로 거의 동등한 성능을 달성합니다.
3. RAG 제약 생성: 커리된 분류 내에서 키워드 생성을 제한하기 위해 임베딩 기반 검색을 통합하여 할루시네이션과 추론 비용을 효과적으로 줄입니다.
4. AI 기반 품질 보증: 오프라인 분석을 위한 LLM-as-a-judge 와 온라인 필터링을 위한 고효율 미세 조정 크로스-인코더를 결합한 다단계 평가 프레임워크로, 동적 콘텐츠의 안전하고 자동화된 배포를 가능하게 합니다.

4. 실험 결과

오프라인 평가

• 정밀도: GPT-5 교사 모델은 제품 - 테마 정밀도 (P-T@5) 가 0.931로 품질 상한을 설정하여 생산 기준 (0.824) 을 크게 능가했습니다.
• 학생 모델 성능: AIQA 레이블로 미세 조정된 Llama-3.2-3B 모델은 P-T@5 가 0.915로 더 큰 학생 변형 (예: 8B, 32B) 을 능가하거나 동등한 성능을 보이면서도 더 효율적이었습니다.
• AIQA 의 영향: AIQA 큐레이션 레이블로 학생 모델을 훈련시키는 것은 정밀도를 일관되게 향상시켰습니다 (예: Llama-3.1 8B 는 0.905 에서 0.914 로 향상).
• 재현율 밀도: 생성 정책은 기준선보다 낮은 재현율 밀도를 보여주었는데, 이는 시스템이 더 작지만 더 관련성 높은 결과 세트를 가진 더 표적화된 구성 쿼리를 생성하는 트레이드오프를 반영합니다.

온라인 평가 (A/B 테스트)

대형 식품 마켓플레이스에서 수백만 명의 사용자에게 배포되었습니다:

• 장바구니 추가: 이 프레임워크는 페이지 뷰당 장바구니 추가가 통계적으로 유의미하게 +2.7% 증가 ($p=0.0001$) 했으며, 방문당 +1.0% 증가 ($p=0.01$) 했습니다.
• 롱테일 커버리지: 이 시스템은 수동 큐레이션으로 이전에는 제대로 서비스되지 않았던 틈새 선호도 (예: 특정 식이 요구 사항) 에 관련된 캐러셀을 성공적으로 노출시켰습니다.
• 지연 시간: 생성된 테마와 키워드의 공격적인 캐싱으로 인해 LLM 추론이 추가되었음에도 불구하고 엔드 - 투 - 엔드 지연 시간은 변하지 않았습니다.

5. 의의 및 주장

이 논문은 이 프레임워크가 생성형 AI 의 유연성과 산업 규모 전자상거래에 필요한 안정성 사이의 간극을 성공적으로 메웠다고 주장합니다. 문제를 의미론적 계획 (테마) 과 제약 검색 (키워드) 으로 분해함으로써 저자들은 다음을 입증합니다:

• 개인화는 동적일 수 있습니다: 스토어는 수동 개입 없이 실시간으로 사용자 컨텍스트에 적응할 수 있습니다.
• 비용과 지연 시간은 관리 가능합니다: 교사 - 학생 증류와 RAG 를 통해 시스템은 막대한 폐쇄형 모델의 성능에 근접하면서도 생산에 적합합니다.
• 하이브리드 인프라는 유지됩니다: 이 접근법은 기존 랭킹 시스템을 대체할 필요 없이 생성 콘텐츠로 이를 향상시켜 추천 스택의 모듈식 진화를 가능하게 합니다.

저자들은 미세 조정된 모델의 잠재적인 인기 편향, 매우 개인화된 쿼리에 대한 카탈로그 커버리지가 부족할 경우 발생할 수 있는 "캐러셀 붕괴" 위험, 그리고 캐스케이드 단계 간의 오류 전파를 포함한 한계를 인정합니다. 그들은 강화 미세 조정 (RFT) 과 동적 분류 확장을 향후 연구의 주요 영역으로 식별합니다.