RGAlign-Rec: Ranking-Guided Alignment for Latent Query Reasoning in Recommendation Systems

1. 문제 정의 (Problem Definition)

현대 이커머스 챗봇 시스템에서는 사용자의 명시적인 질의 (Zero-Query) 없이 행동 및 맥락 신호를 기반으로 사용자의 의도를 예측하여 선제적 (Proactive) 으로 추천을 제공하는 것이 중요합니다. 그러나 기존 산업용 시스템은 두 가지 근본적인 한계에 직면해 있습니다.

1. 의미적 격차 (Semantic Gap) 및 모달리티 불일치:
   • 기존 딥러닝 추천 모델 (DLRM) 은 주로 사용자 ID 나 의도 ID 와 같은 이산적 (discrete) 식별자에 의존합니다.
   • 반면, 챗봇의 의도는 텍스트 기반이며 세밀한 의미를 갖습니다.
   • Zero-Query 환경에서는 사용자의 잠재적 서비스 문제 (예: 배송 지연, 결제 실패) 를 챗봇 지식 베이스 (KB) 의 텍스트 기반 의도와 정렬하기 어렵습니다.
2. 목적 불일치 (Objective Misalignment):
   • 기존 LLM 정렬 기법 (SFT, DPO 등) 은 인간의 언어적 선호도 (유창성, 유용성) 에 최적화되어 있습니다.
   • 하지만 추천 시스템의 최종 목표는 클릭률 (CTR) 이나 랭킹 지표 (GAUC 등) 향상입니다.
   • 따라서 인간에게 이해 가능한 LLM 의 추론 결과가 반드시 랭킹 모델의 성능 향상으로 이어지지 않는 '목적 불일치' 문제가 발생합니다.

2. 제안 방법론: RGAlign-Rec (Methodology)

저자들은 LLM 기반 의미 추론과 쿼리 강화 (Query-Enhanced) 랭킹 모델을 통합한 RGAlign-Rec 프레임워크를 제안합니다. 이 프레임워크는 랭킹 신호를 피드백으로 활용하여 LLM 의 잠재적 추론을 정제하는 폐루프 (Closed-loop) 정렬 구조를 가집니다.

핵심 구성 요소

1. LLM 기반 사용자 쿼리 추론기 (User Query Reasoner, $\pi$):

   • 기능: 사용자의 이산적 특징 (프로필, 행동 시퀀스, 컨텍스트) 을 자연어 설명으로 변환 (Feature Verbalization) 한 후, LLM 을 통해 잠재적 사용자 쿼리 (Latent Query) 를 생성합니다.
   • 임베딩 전략: 생성된 텍스트의 마지막 토큰 (Last Token) 의 숨은 상태 (Hidden State) 를 추출하여 잠재 쿼리 임베딩 ($e_{LTP}$) 으로 사용합니다. 이는 전체 문맥을 효과적으로 요약하며 랭킹 목적에 최적화된 표현을 제공합니다.

2. 쿼리 강화 추천 모델 (Query-Enhanced Ranking, QE-Rec):

   • 기존 2-타워 (User, Item) 구조에 쿼리 타워 (Query Tower) 를 추가한 3-타워 아키텍처입니다.
   • 구조:
     • User Tower: 이산적 특징과 시퀀스 특징을 계층적으로 인코딩.
     • Intent Tower: ID 임베딩과 의미 임베딩을 결합.
     • Query Tower: LLM 에서 추출한 $e_{LTP}$ 를 랭킹 인식 임베딩으로 변환.
   • 스코어링: 사용자 - 의도 유사성 (협업 신호) 과 쿼리 - 의도 유사성 (의미적 관련성) 을 가중치로 결합하여 점수를 산출합니다.

3. 랭킹 가이드 정렬 (Ranking-Guided Alignment, RGA):

   • LLM 추론기를 랭킹 목표에 정렬하기 위한 3 단계 훈련 파이프라인입니다.
   • Stage 1 (초기 QE-Rec 훈련): 고정된 (Frozen) LLM 추론기를 사용하여 안정적인 랭킹 모델 (Reward Model) 을 훈련합니다.
   • Stage 2 (랭킹 가이드 정렬):
     • 데이터 생성: 여러 LLM (GPT, Gemini 등) 과 Qwen3-4B 를 사용하여 다양한 잠재 쿼리 후보를 생성합니다.
     • Best-of-N 샘플링: 훈련된 QE-Rec 모델을 '리워드 모델'로 사용하여 각 후보의 NDCG 점수를 평가하고, 가장 높은 점수를 받은 쿼리를 정답 ($q_w$), 나머지를 오답 ($q_l$) 으로 선정합니다.
     • 정렬 기법:
       • RG-SFT: 선정된 최적 쿼리를 통해 LLM 을 지도 학습 (Supervised Fine-Tuning) 합니다.
       • RG-DPO (선택적): 최적/비최적 쿼리 쌍을 기반으로 선호도 학습을 수행합니다.
       • RG-CL (Contrastive Learning): LLM 의 마지막 토큰 임베딩과 최적 쿼리의 의미 임베딩 간 거리를 최소화하는 대비 학습을 수행하여, 의미 공간과 랭킹 공간의 기하학적 정렬을 강화합니다.
   • Stage 3 (폐루프 보정): 정렬된 LLM 을 사용하여 다시 랭킹 모델을 재훈련하여 의미적 정렬과 랭킹 성능을 상호 강화합니다.

3. 주요 기여 (Key Contributions)

1. RGAlign-Rec 아키텍처: Zero-Query 환경에서 이산적 특징과 텍스트 기반 의도 간의 의미적 격차를 해소하기 위해 LLM 추론기를 3-타워 추천 프레임워크에 통합했습니다.
2. 폐루프 랭킹 가이드 정렬 (Closed-Loop RGA): 랭킹 모델을 '리워드 모델'로 활용하여 LLM 의 추론을 랭킹 목표에 직접 정렬하는 새로운 패러다임을 제시했습니다. 이는 단순한 언어적 정렬을 넘어 랭킹 성능을 최적화합니다.
3. 산업적 검증: Shopee 의 대규모 이커머스 데이터셋과 온라인 A/B 테스트를 통해 실제 생산 환경에서의 유효성을 입증했습니다.

4. 실험 결과 (Results)

Shopee 의 5 주간의 대규모 데이터 (약 753 만 샘플) 와 온라인 A/B 테스트를 통해 다음과 같은 성과를 달성했습니다.

• 오프라인 성능 (Shopee 데이터셋):

  • GAUC: 0.12% 향상 (오류율 3.52% 감소).
  • Recall@3: 0.56% 향상.
  • NDCG@3: 0.35% 향상.
  • Ablation Study:
    • Last Token Pooling (LTP): BGE 와 같은 외부 임베딩 모델보다 LLM 내부의 마지막 토큰 임베딩이 랭킹 목적에 더 효과적임을 입증했습니다.
    • Best-of-N 전략: LLM 추론기 자체의 생성물을 배제하고 외부 LLM 의 고품질 쿼리를 학습 데이터로 사용하는 전략 (V2) 이 장기적인 일반화 성능을 높였습니다.
    • 정렬 기법: 선호도 기반 (DPO) 보다 표현 수준 (Contrastive Learning) 의 정렬이 반복적인 정제 과정에서 더 강건하고 우수한 성능을 보였습니다.

• 온라인 A/B 테스트:

  • CTR@3: QE-Rec 모델 도입으로 0.98% 향상, RGAlign-Rec 정렬 단계를 추가하여 추가 0.13% 향상 (누적 1.11% 증가).
  • Intent Hit Rate (IHR): 1.43% 향상.
  • CSAT (고객 만족도): 랭킹 정확도는 향상되었으나, 클릭된 의도에 대한 응답 콘텐츠의 질이 CSAT 에는 직접적인 영향을 미치지 않아 소폭 감소 (-0.21%) 하는 경향을 보였습니다. 이는 랭킹 최적화와 응답 품질이 별개의 과제임을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 이커머스 챗봇의 선제적 추천 시스템에서 의미적 추론 (Semantic Reasoning) 과 랭킹 최적화 (Ranking Optimization) 간의 괴리를 해결하는 실용적인 솔루션을 제시합니다.

• 기술적 의의: LLM 을 단순한 특징 추출기가 아닌, 랭킹 신호에 의해 피드백을 받는 '지능적 추론기'로 재정의했습니다. 특히, 랭킹 모델을 리워드로 활용하는 폐루프 정렬 방식은 생성형 AI 와 추천 시스템의 융합에 새로운 방향을 제시합니다.
• 산업적 의의: Shopee 와 같은 대규모 플랫폼에서 실시간으로 적용 가능한 저지연 (1.5s 이내) 아키텍처를 검증했습니다. Zero-Query 환경에서 사용자의 숨겨진 니즈를 정확히 파악하여 클릭률과 서비스 효율성을 동시에 개선할 수 있음을 입증했습니다.

결론적으로, RGAlign-Rec 은 생성형 모델에 랭킹 지능을 주입하여 실제 산업 환경에서 신뢰할 수 있는 의미 추론을 가능하게 하는 확장 가능한 파이프라인을 제공합니다.