TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

기술 요약: TokenMinds

문제 정의

산업용 추천 시스템은 전통적으로 사용자의 관심사를 모델링하기 위해 밀집된 고정 차원의 사용자 임베딩(dense, fixed-dimensional user embeddings)에 의존해 왔습니다. 이러한 방식은 효과적이긴 하지만, 사용자의 전체 관심사 스펙트럼을 단일 벡터로 압축하는 과정에서 발생하는 미세한 신호의 손실과 같은 내재적 제약을 겪습니다. 반대로, 대규모 언어 모델(LLM)을 사용하여 텍스트 기반 사용자 프로필을 생성하는 최신 접근 방식들은 상당한 병목 현상에 직면해 있습니다. 이러한 방식은 종종 심층적인 순차적 행동 역학보다는 주제적 공출현(topical co-occurrences)만을 포착하며, 텍스트 출력을 특정 아이템 속성에 결합하는 데 어려움을 겪고, 비텍스트적 다운스트림 시스템과 통합될 때 모달리티 간극(modality gaps)을 유발합니다. 또한, 시맨틱 ID(Semantic IDs, SIDs)가 생성형 추천을 위한 아이템 토큰화에는 효과적임이 입증되었으나, 이를 사용자 모델링에 적용하는 연구는 여전히 미개척 분야로 남아 있습니다.

방법론

TokenMinds는 PLUM 프레임워크를 아이템 검색에서 사용자 모델링으로 확장함으로써 이러한 격차를 해소하기 위해 설계된 산업 규모의 시스템입니다. 이 시스템은 사전 학습된 LLM에서 채택한 통합 인코더-디코더 구조를 사용하여 두 가지 상호 보완적인 출력을 동시에 생성합니다:

1. 밀집 사용자 임베딩(Dense User Embeddings): 인코더에서 추출되며, 연속적인 벡터에 의존하는 기존 다운스트림 모델과의 호환성을 보장합니다.
2. 이산 SID 기반 사용자 토큰(Discrete SID-Based User Tokens): 디코더에 의해 자기회귀적(autoregressively)으로 생성되며, 의미론적으로 근거가 명확하고 이산적인 사용자 관심사 표현을 제공합니다.

핵심 구성 요소

• 아키텍처: 시스템은 인코더-디코더 설정을 사용합니다. 인코더는 순차적인 사용자 특징(시청 기록, 검색 쿼리)을 처리하여 밀집 임베딩을 생성합니다. 디코더는 크로스 어텐션(cross-attention)을 통해 인코더의 출력에 주목하여 SID 기반 사용자 토큰을 생성합니다. 이러한 이중 출력 설계는 시스템이 기존의 밀집 임베딩 모델과 새로운 토큰 기반 모델 모두를 지원할 수 있게 합니다.
• 입력 토큰화: 사용자 행동은 다음과 같은 시퀀스로 토큰화됩니다:
  • SID 토큰: 잔차 양자화 변분 오토인코더(Residual-Quantized Variational AutoEncoder, RQ-VAE)를 통해 비디오 콘텐츠 특징으로부터 도출된 계층적 이산 코드워드입니다. 다양성을 높이고 암기(memorization)를 완화하기 위해 전체 SID의 접두사-$L$ 부분만 사용합니다.
  • 소프트 토큰(Soft Tokens): 비-SID 특징(예: 시청 시간, 기기 등)은 MLP 투영을 통해 소프트 토큰으로 인코딩됩니다.
  • 컨디션 토큰(Condition Tokens): 콘텐츠 유형을 구분하고 검색 쿼리를 인터리빙(interleaving)하기 위해 <LFV>, <SFV>, <Search>와 같은 시나리오별 토큰이 앞에 붙습니다.
• 학습 목표: 모델은 SID 어휘에 대한 지속적 사전 학습(Continued Pre-Training, CPT)을 거친 후 지도 미세 조정(Supervised Fine-Tuning, SFT)을 통해 학습됩니다. 모델은 단순히 바로 다음 아이템만을 선택하는 대신, 24시간 윈도우 내에서 미래의 타겟 시청 아이템을 무작위로 여러 개 선택하는 **룩어헤드 샘플링(look-ahead sampling)**을 채택합니다. 이는 즉각적인 세션에 대한 과적합을 방지하고 미래의 관심사에 대한 일반화 성능을 향상시킵니 다. 손실 함수는 인게이지먼트 보상 신호에 의해 가중치가 부여된 예측된 SID 접두사의 교차 엔트로피를 최소화합니다.
• 교차 시나리오 모델링: TokenMinds는 롱폼 비디오(LFV)와 숏폼 비디오(SFV) 모델링을 단일 프레임워크 내에서 통합합니다. 시나리오별 컨디션 토큰을 앞에 붙임으로써, 단일 모델이 시간순으로 인터리빙된 시퀀스를 처리할 수 있습니다. 추론 시에는 **멀티 컨텍스트 디코딩(multi-context decoding)**을 통해 단 한 번의 공유 인코더 패스로 시나리오별 사용자 토큰을 생성할 수 있어, 중복된 추론 실행의 필요성을 제거합니다.
• 서빙 인프라: 엄격한 지연 시간 제약 하에 수십억 명의 사용자를 처리하기 위해, 시스템은 표현 생성과 실시간 스코어링을 분리합니다. 사용자 임베딩과 토큰은 백그라운드 서비스를 통해 비동기적으로 생성되어 키-값 저장소에 캐싱됩니다. 실시간 스코어링은 이 사전 계산된 표현들을 호출함으로써, 모델 복잡도와 관계없이 일정한 지연 시간을 보장합니다.

주요 기여

1. 이중 출력 아키텍처: 표준 밀집 연속 임베딩과 이산 SID 기반 사용자 토큰을 공동 생성하는 통합 아키텍처인 TokenMinds를 제안하여, 기존 시스템과의 호환성을 유지하면서 새로운 표현 능력을 도입했습니다.
2. 토큰화된 사용자 표현: 사용자 표현을 위한 SID 기반 이산 토인의 새로운 적용을 제시했습니다. 본 논문은 이러한 토큰을 다운스트림 랭킹 모델에 통합하기 위한 최적의 적응 전략(특히 학습 가능한 임베딩)을 식별하였으며, 토큰과 밀집 임베딩이 상호 보완적인 신호를 포착함을 입증했습니다.
3. 교차 시나리오 모델링: 서로 다른 시나리오(LFV 및 SFV)에 대한 학습과 서빙을 단일 모델로 통합하는 매우 효율적인 패러다임을 제시했습니다. 이 접근 방식은 멀티 컨텍스트 디코딩을 활용하여 별도의 모델 오버헤드 없이 시나리오 인지적 출력을 달s성합니다.
4. 산업 규모 배포: 다양한 YouTube 서비스에서 수십억 명의 전체 사용자 트래픽을 대상으로 한 광범-적 오프라인 실험과 라이브 A/B 테스트를 통해 시스템의 성공적인 검증을 완료했습니다.

결과

• 오프라인 성능: 절제 연구(Ablation studies)를 통해 룩어헤드 샘플링과 조립된(coarse-grained) SID 접두사가 일반화에 결정적임을 확인했습니다. CPT 초기화를 사용하는 것이 랜덤 초기화나 표준 사전 학습 체크포인트를 사용하는 것보다 크게 우수했습니다.
• 온라인 성능: 프로덕션 랭킹 시스템에서의 라이브 A/B 테스트 결과 통계적으로 유의미한 이득을 보였습니다:

  • 핵심 사용자 지표: 최대 +0.11% 개선.

  • 핵심 인게이지먼트 지표: 최대 +0.62% 개선.

  • 상호 보완성: 밀집 임베딩과 이산 토큰을 모두 결합하면 각각을 단독으로 사용할 때보다 증폭된 이득을 얻을 수 있으며, 이는 이중 출력 설계의 타당성을 입증합니다.

• 효율성:
  • 학습: LFV와 SFV를 단일 모델로 통합함으로써 업스트림 학습 컴퓨팅 자원을 50% 절감했습니다.
  • 서빙: 멀티 컨텍스트 디코딩을 통해 별도의 모델을 유지할 때보다 업스트림 서빙 컴퓨팅 자원을 31% 절감했습니다.
  • 저장 공간: 이산 토큰 표현은 밀집 임베딩(4,608 바이트)보다 72% 적은 저장 공간(1,280 바이트)을 요구합니다.
• 확장성: 확장성 연구에 따르면 모델 성능은 약 1,000개의 시청 기록 아이템에서 포화 상태에 도달하며, 더 큰 배치 사이즈는 수렴을 가속화하고 표현 품질을 향상시킵니다.

의의

본 논문은 TokenMinds가 산업 규모에서 SID 기반 사용자 토큰의 실질적인 생존 가능성을 입증했음을 주장합니다. 이는 이산적이고 의미론적 근거가 명확한 사용자 표현이 밀집 임베딩만의 제약을 넘어 사용자 모델링을 확장할 수 있는 유망한 방향임을 보여줍니다. 이러한 토큰을 실제 프로덕션 랭킹 시스템에 성공적으로 통합하고 밀집 임베딩과의 상호 보완적 가치를 입증함으로써, 본 연구는 일반화, 효율성, 호환성의 균형을 맞춘 대규모 추천 시스템의 사용자 이해를 위한 새로운 패러다임을 제시합니다.