기술 요약: ShopX: 에이전틱 쇼핑을 위한 의도-아이템 충족(Intent-to-Item Fulfillment) 기반 모델

1. 문제 정의

본 논문은 AI 네이티브 쇼핑 애플리케이션의 진화 과정에서 발생하는 핵심적인 병목 현상인, 자연어 이해와 아이템 공간 실행 사이의 "인터페이스 손실(interface loss)"을 지적한다. 현재의 에이전틱 쇼핑 시스템은 일반적으로 기존의 검색 및 추천 파이프라인 위에 대규모 언어 모델(LLM)을 래핑하는 방식을 취한다. 이러한 도구 매개(tool-mediated) 패러다임에서 LLM은 풍부한 다회차(multi-turn) 사용자 의도를 외부 검색 및 랭킹 서비스용의 압축된 도구 호출(예: 키워드 쿼리, 필터)로 변환하는 오케스트레이터 역할을 수행한다.

이러한 분리는 미세한 신호들—예를 들어 다회차 선호도, 시나리오 제약 조건, 아이템 간 호환성, 사용자 피드백 등—이 아이템 공간에 도달하기 전에 압축되거나 파편화되거나 원래의 맥락으로부터 분리되는 저대역폭 인터페이스를 생성한다. 결과적으로, 복잡하거나 모호한 요청은 에이전트의 언어 이해와 실제 아이템 공간의 결과물 충족(fulfillment) 사이에 간극을 발생시킨다. 생성형 추천(generative recommendation)(Semantic ID 또는 SID 사용)이 엔드 투 엔드 검색 측면에서 유망함을 보여주었으나, 기존 모델들은 계획(planning), 번들링(bundling), 그라운딩(grounding), 상태 관리(state management)를 포함하는 전체적인 의도-아이템 충족(intent-to-item fulfillment) 스펙트럼보다는 주로 차기 아이템 예측이나 후보 생성에 최적화되어 있다.

2. 방법론: ShopX 프레임워크

ShopX는 의도 이해, 실행 계획, 그리고 유연한 SID 네이티브 아이템 공간 연산을 단일 파운데이션 모델로 통합하는 모델 네이티브 충족(model-native fulfillment) 프레임워크를 제안한다. ShopX는 단순한 대화형 래퍼나 협소한 SID 예측기가 아니라, 중앙의 충족 코어(fulfillment core) 역할을 한다.

2.1. 서빙 하네스 및 액션 프로토콜

ShopX는 모델을 향한 네 가지 뚜렷한 슬롯을 가진 액션 프로토콜을 정의하는 경량 서빙 하네스를 통해 배포된다:

1. Plan (계획): 컨텍스트(프로필, 이력, 제약 조건)를 해석하여 충족 경로(예: 검색, 리랭킹, 번들링, 명확화)를 결정한다.
2. Execute (실행): 카탈로그에 근거한 증거를 사용하여 SID 빔 서치(beam-search) 검색, 시드 확장(seed expansion) 또는 번들 구성과 같은 SID 네이티브 아이템 공간 연산을 수행한다.
3. Fulfill (충족): 자연어와 해결 가능한 SID를 인터리빙(interleaving)하여 아이템 리스트, 비교 또는 요약을 제시함으로써 근거 있는 응답을 생성한다.
4. Update (업데이트): 미래의 턴을 위해 유지될 선호도 요약이나 메모리 업데이트와 같은 상태 관리를 위한 신호를 추출한다.

하네스는 컨텍스트 액세스(프로필, 이력), 카탈로그 그라운딩(메타데이터를 통한 SID 검증), 상태 관리(세션 상태 유지)를 위한 지원 표면을 제공한다.

2.2. Semantic ID (SID) 설계

언어와 아이템 공간을 연결하기 위해, ShopX는 **의미론적 복구 가능성(semantic recoverability)**과 **LLM 운용성(LLM operability)**을 위해 설계된 새로운 SID 아키텍처를 도입한다:

• 멀티모달 표현: 아이템은 Qwen3-VL-Embedding 백본을 사용하여 이미지, 속성, 타이틀을 공동으로 처리하도록 인코딩된다. 이 표현은 글로벌 임베딩(대조 학습용)과 다수의 로컬 임베딩(세밀한 속성용)을 포함한다.
• 하이브리드 글로벌-로컬 토큰화:
  • 글로벌 접두사 ($G_K$): 글로벌 임베딩으로부터 잔차 양자화(RQ-VAE)를 통해 유도된다. 이 토큰들은 LLM 생성을 위한 안정적인 자기회귀(autoregressive) 경로를 제공한다.
  • 로컬 접미사 ($L_M$): 로컬 임베딩으로부터 벡터 양자화(VQ)를 통해 유도된다. 이 토큰들은 단일 글로벌 벡터에서 손실될 수 있는 복구 가능한 의미적 세부 사항(예: 색상, 재질)을 보존한다.
• 검증: 양방향 그라운딩(설명을 SID로 디코딩하고, SID로부터 속성을 복구하는 것)을 테스트하여 SID 버전을 검증하는 경량 프로토콜을 사용한다.

.3. 트레이닝 레시피

트레이닝 파이프라인은 일반 LLM(Qwen3 제품군)을 SID 인식 충족 모델로 변환한다:

1. SID 토큰 정렬 (SID Token Alignment): 모델이 SID를 불투명한 라벨이 아닌 운용 가능한 식별자로 취급하도록 새로운 SID 어휘와 정렬한다(백본은 동결하고 임베딩만 학습).
2. 도메인 지속 사전 학습 (Domain CPT): 일반 능력을 보존하면서(쇼핑 도메인과 일반 리플레이 토큰의 비율을 2:1로 유지) 이커머스 도메인 지식(카탈로그 그라운딩, 의도-아이템 매핑, 선호도 이해)을 주입한다.
3. 지도 미세 조정 (SFT): 일반적인 지시 이행과 쇼핑 특화 작업(SID 검색, 랭킹, 대화)의 균형 잡힌 혼합물을 통해 모델을 ShopX 액션 프로토콜에 적응하도록 학습시킨다.
4. 사후 학습 (OPD–RL 결합 최적화): SID 예측에 특화될수록 일반 능력이 저하되는 "시소 효과(see-saw effect)"를 해결한다. 이 단계에서는 다음을 사용한다:
   • 다중 교사 온폴리시 증류 (MOPD): 전문 교사(일반, SID 예측, 셀프)를 사용하여 특정 작업군에 대한 조밀한 토큰 수준 가이드를 제공한다.
   • 강화 학습 (RL): 랭킹을 위한 NDCG나 텍스트-SID 인터리빙 응답을 위한 카탈로그 근거 판별 점수와 같은 결과 수준의 보상을 적용하여 충족 품질을 최적화한다.

3. 주요 기여

1. 모델 네이티브 충족 패러다임: ShopX는 도구 매개형 오케스트레이션에서 모델이 직접 아이템 공간 연산을 계획하고 실행하는 모델 네이티브 인터페이스로의 전환을 제시하며, 이를 통해 복잡한 다회차 시나리오에서의 인터페이스 손실을 줄인다.
2. 하이브리드 SID 아키텍처: LLM 운용성(안정적인 자기회귀 생성)과 의미론적 복구 가능성(세밀한 속성 유지) 사이의 균형을 맞추는 하이브리드 글로벌-로컬 SID 토큰화 방식을 제안한다.
3. 포괄적인 트레이닝 레시피: SID 정렬, 도메인 CPT, 그리고 일반적인 지시 이행이나 추론 능력을 침해하지 않으면서 SID 네이티브 충격 능력을 성공적으로 통합하는 새로운 파이프라인을 제공한다.
4. 서빙 프레임워크: 모델의 의사 결정과 실행 인프라를 분리하여 컨텍스트 액세스, 카탈고 그라운딩, 상태 관리가 가능하도록 하는 실용적인 서빙 하네스를 제공한다.

4. 실험 결과

본 논문은 익명화된 타오바오(Taobao) 프로덕션 로그(1.2B 아이템 카탈로그)를 사용하여 단일 및 다회차 작업에 대해 도구 매개 베이스라인(InteRecAgent, Chat-REC, RecMind)과 ShopX를 비교 평가한다.

• 프레임워크 수준 성능: ShopX(특히 8B 변체)는 대부분의 지표에서 도구 매개 베이스라인을 능가한다. 주목할 만한 개선은 아이템 정밀도(95.0 vs ~90-94), 랭킹 품질(95.5 vs ~90-94), 제약 조건 그라운딩(76.4 vs ~72-75), 그리고 피드백 적응(71.5 vs ~56-60)에서 나타난다.
• 다회차 능력: 가장 큰 격차는 교차 턴 참조(Cross-turn Reference)(68.3 vs 41.8–47.5)에서 나타나며, 이는 도구 매개 시스템에서 흔히 발생하는 상태 분리 없이 대화 턴 전반에 걸쳐 컨텍스트와 아이템 참조를 유지하는 ShopX의 능력을 입증한다.
• 역량 분석: 진단 결과, ShopX는 강력한 일반 능력(지식, 추론, 코딩)을 유지하면서 쇼핑 의미론, 컨텍스트 증거 추출, 텍스트-SID 인터리빙 충족에서 우수한 성능을 달성함을 확인했다.
• 절제 연구 (Ablation Studies):
  • SID 설계: 하이브리드 $G_2 + L_4$ 구성이 글로벌 전용 SID보다 의미론적 복구 및 아이템 매핑에서 더 우수한 성능을 보인다.
  • 데이터 혼합: CPT에서 2:1의 도메인 대 일반 토큰 비율이 전문화와 일반 능력 보존 사이의 균형을 맞추는 데 최적임이 밝혀졌다.
  • 사후 학습: 결합된 OPD–RL 방식은 순수 SFT 또는 순수 RL 베이스라인보다 효과적으로 전문화-보존 트레이드오프를 완화한다.

5. 의의 및 주장

본 논문은 ShopX가 "오케스트레이터로서의 LLM"에서 "충족 코어로서의 LLM"으로의 전환을 나타낸다고 주장한다. 의도 이해와 아이템 공간 실행을 통합함으로써, ShopX는 현재의 에이전틱 쇼핑 시스템의 근본적인 한계인, 풍부하고 진화하는 사용자 의도를 손실적인 도구 전달 없이 아이템 공간에 직접 그라운딩하지 못하는 문제를 해결한다.

저자들은 ShopX를 단순한 더 나은 추천 시스템이 아니라, 계획과 실행부터 상태 업데이트 및 피드백 적응에 이르기까지 에이전틱 쇼핑 세션의 전체 라이프사이클을 처리할 수 있는 파운데이션 모델로 포지셔닝한다. 이 연구는 적절한 SID 설계와 트레이닝 레시피가 있다면, 파운데이션 모델이 광범한 추론 및 지시 이행 능력을 유지하면서도 거대한 아이템 카탈로그(1.2B 아이템) 위에서 직접 작동할 수 있음을 보여준다. 결과는 모델 네이티브 충족이 컨텍스트 보존이 매우 중요한 복잡하고 모호하거나 다회차적인 요청에서 특히 중요하다는 것을 시사한다.