기술 요약: Pailitao-MMSearch

문제 정의

이커머스 검색의 진화는 단순한 텍스트 기반 쿼리에서 이미지, 자연어, 혼합 의도 지침이 포함된 복잡한 멀티모달 상호작용으로 변화했습니다. 그러나 기존의 프로덕션 시스템은 다음과 같은 결정적인 딜레마에 직면해 있습니다:

1. 단일 모달 전문 모델(Single-modal Specialist Models): 텍스트, 시각, 음성 작업을 위해 독립적으로 배포된 이 모델들은 고립된 표현 공간에서 작동합니다. 이들은 모달리티 간의 상호작용에서 의미가 발생하는 교차 모달 쿼리를 네이티브하게 처리할 수 없으며, 이로 인해 시스템은 레이턴시와 복잡성을 증가시키는 임의적인 퓨전 휴리스틱에 의존해야 합니다.
2. 범용 시각-언어 모델(General-Purpose Vision-Language Models, VLMs): 이미지와 텍스트를 처리할 수는 있지만, 이러한 모델은 핵심적인 이커머스 도메인 지식이 부족합니다. 이들은 미세한 제품 속성(예: 재질 구성, 브랜드 등급)을 이해하지 못하고, 협업 필터링 신호(사용자 선호도, 동시 출현 패턴)가 부족하며, 수십억 개의 아이템으로부터 검색을 위한 구조화된 제품 식별자를 직접 생성할 수 없습니다.

이러한 한계는 이미지 콘텐츠를 위해 텍스트 제약 조건을 무시하거나 진정한 상업적 의도를 포착하지 못하는 것과 같은 사용자 경험 실패를 초래합니다.

방법론

저자들은 Qwen3 아키텍처와 Qwen2-VL 비전 인코더를 기반으로 구축된 네이티브 이커머스 멀티모달 검색 파운데이션 모델인 Pailitao-MMSearch를 제안합니다. 이 접근 방식은 멀티모달 검색을 세 가지 핵심 혁신으로 구성된 엔드 투 엔드 자기회귀적 제품 생성 문제로 재정의합니다:

1. HybSID (Hybrid Semantic ID)

십억 규모의 카탈로그에 대해 미세한 변별력을 유지하면서 생성적 검색을 가능하게 하기 위해, 저자들은 새로운 제품 토큰화 스킴을 도입합니다:

• 이산적 의미 코드(Discrete Semantic Codes): 제품은 잔차 양자화(Residual Quantization, RQ-VAE)를 사용하여 세 개의 이산 토큰($c_1, c_2, c_3$) 시퀀스로 인코딩됩니다. 이는 효율적인 자기회귀 생성을 위한 조립식-정밀(coarse-to-fine) 범주형 그룹화를 제공합니다.
• 연속적 멀티모달 임베딩(Continuous Multimodal Embedding): 양자화 과정에서 손실된 미세한 시각 및 속성 디테일을 복구하기 위해, 각 제품은 연속 임베딩($e$)을 보유합니다.
• 통합 표현(Unified Representation): 특수 토큰 <|emb_token|>이 도입됩니다. 생성 단계에서 모델은 이산 코드를 자기회귀적으로 생성한 후 <|emb_token|>을 생성하며, 이 토𝑘의 은닉 상태는 경량 MLP(HybDecoder)를 통해 연속 임베딩을 재구성합니다. 이를 통해 모델은 단일 프레임워크 내에서 조립식 검색(SID를 통해)과 미세 랭킹(임베딩 유사도를 통해)을 모두 수행할 수 있습니다.

2. 2단계 지속적 사전 학습 (Two-Stage Continual Pre-training, CPT)

도메인 지식을 주입하면서 파괴적 망각을 방지하기 위해, 저자들은 2단계 파이프라인을 채택합니다:

• 1단계 (도메인 지식 주입): 모델은 제품 지식 정렬(HybSID와 제품 제목/속성 간의 매핑) 및 사용자 행동 정렬(다음 상호작용 예측 및 동시 출현 패턴 모델링)을 포함한 이커머스 특화 목적 함수에 대해 학습됩니다. 일반적인 자연어 데이터의 적은 비율이 정규화 도구로서 포함됩니다.
• 2단계 (On-Policy 증류를 통한 능력 보존): 원래의 사전 학습 코퍼스에 접근할 수 없기 때문에, 저자들은 베이스 모델을 교사(teacher)로 사용합니다. 1단계 학생(student) 모델로부터 온폴리시(on-policy) 응답을 샘플링하고, 일반 도메인 프롬프트에 대한 학생의 출력 분포와 교사의 분포 사이의 쿨백-라이블러(KL) 발산을 최소화합니다. 이는 도메인 적응 중에 손실된 지시 이행 및 추론 능력을 회복시킵니 다.

3. 하이브리드 추론 사후 학습 파이프라인 (Hybrid Reasoning Post-Training Pipeline)

최종 모델은 다단계 파이프라인을 통해 다양한 검색 의도에 적응합니다:

• 멀티 태스크 SFT: 실제 사용자 궤적으로부터 난이도별로 계층화된 데이터를 구축합니다.
• 하이브리드 추론: 모델은 단순 쿼리(일반 난이도)에는 직접 생성을 사용하고, 복잡한 의도(어려운 난이도)에는 검색 프로세스를 명시적 단계(속성 식별, 의도 파싱, 추론, 생성)로 분해하는 생각의 사슬(Chain-of-Thought, CoT) 추론을 사용하도록 학습됩니다.
• 강화 학습 (RL): Group Relative Policy Optimization (GRPO)을 사용하여, 모델은 단일 로그 클릭이 아닌, 선별된 그라운드 트루스 제품에 대한 SID 정확도 및 임베딩 유사도에 기반한 **검증 가능한 보상(verifiable rewards)**을 통해 최적화됩니다.
• 멀티 전문가 온폴리시 증류: 최종 모델은 전문화된 RL 전문가 모델, 베이스 LLM, 그리고 SFT 모델의 능력을 하나의 통합된 시스템으로 융합합니다.

주요 기여

1. HybSID 토큰화: 이산적 의미 ID와 연속적 멀티모달 임베딩을 결합한 하이브리드 스킴으로, 단일 언어 모델 내에서 미세한 제품 이해와 엔드 투 엔드 자기회귀적 생성을 가능하게 합니다.
2. 2단계 CPT 전략: 원래의 사전 학습 코퍼스에 접근할 수 없는 상황에서도 온폴리시 증류를 통해 파괴적 망각을 완화하면서 이커머스 도메인 지식(제품 속성 및 사용자 행동)을 주입하는 방법입니다.
3. 하이브리드 추론 파이프라인: 난이도 인지형 CoT 추론, 검증 가능한 보상 기반 RL, 멀티 전문가 지식 융합을 통합하여 단순 및 복잡한 멀티모달 검색 의도를 처리하는 사후 학습 프레임워크입니다.
4. 산업적 배포: 이 모델은 타오바오의 Pailitao 플랫폼에 배포되어 수천만 명의 일일 활성 사용자에게 서비스를 제공하고 있습니다.

결과

논문은 광범한 온라인 A/B 테스트와 오프라인 평가를 보고합니다:

• 온라인 성능: "PeiWoGuang" 플로어(시각적 검색 시나리오)에서, 결합된 생성적 검색 및 랭킹 배포는 기존의 멀티모달 파이프라인에 비해 총 상품 판매액(GMV) 13.61% 증가 및 거래량 8.21% 증가를 달 기록했습니다. 전체 Pailitao 플랫폼 지표 또한 긍정적인 상승(GMV +1.02%, 거래량 +0.53%)을 보였습니다.
• 오프라인 평가:
  • 도메인 이해: 모델은 SID를 캡션 및 속성으로 변환하는 능력과 멀티모달 SID 인식 능력에서 강력한 역량을 입증했습니다 (End-to-end Retrieval@10이 4.43%에 도달).
  • 일반 언어 능력: 2단계 CPT 모델은 지시 이행 능력을 성공적으로 회복했습니다 (Stage 1 대비 IFEval strict-prompt 정확도가 36.78%에서 38.45%로 개선됨). 또한 MMLU-Redux 및 C-Eval과 같은 일반 벤치마크에서 성능을 유지했습니다.
  • 지시 이행: 멀티모달 검색 작업에서 모델은 높은 엄격한 지시 이행(Strict Instruction Following, SIF) 비율(예: 매칭 제품 검색의 경우 55.0%)과 강력한 Recall@10 (0.8544)을 달성했습니다.

의의 및 주장

저자들은 Pailitao-MMSearch가 네이티브 이커머스 멀티모달 검색 파운데이션을 구축함으로써 단일 모달 전문 시스템과 범용 VLM의 근본적인 한계를 해결한다고 주장합니다.

• 네이티브 통합: 외부 검색 모듈이나 도구 호출(tool-calling)에 의존하는 방식과 달리, 이 모델은 전체 제품 카탈로그를 자신의 어휘(vocabulary) 내에 토큰화하여 진정한 엔드 투 엔드 생성을 가능하게 합니다.
• 도메인 네이티브 파운데이션: 논문은 미래의 에이전트형 검색 시스템을 위한 핵심 병목 현상은 오케스트레이션 프레임워크가 아니라, 진정한 이커머스 도메인 이해를 갖춘 파운데이션 모델의 가용성이라고 주장합니다. Pailitao-MMSearch는 이 필수적인 인프라 역할을 합니다.
• 실질적 효과: GMV와 거래량의 상당한 개선은 도메인 지식, 사용자 행동 모델링, 멀티모달 추론을 단일 생성 모델로 통합하는 것이 전통적인 계층형(cascaded) 아키텍처보다 우수한 상업적 결과를 낸다는 것을 입증합니다.

저자들은 매우 복잡하거나 노이즈가 많거나 모호한 멀티모달 입력(예: 오타가 있는 저해상도 이미지)을 처리하는 데 있어 현재의 한계를 인정하며, 멀티모달 추론 능력을 강화하는 것을 향후 반복 작업의 우선순위로 식별했습니다.