Token Factory: Efficiently Integrating Diverse Signals into Large Recommendation Models

기술 요약: 토큰 팩토리 (Token Factory)

문제 정의

트랜스포머(Transformer) 아키텍처 기반의 대규모 추천 모델(LRM)은 차세대 비디오 예측과 같은 산업 규모의 작업에서 상당한 가능성을 보여주었습니다. 그러나 전통적인 시그널(밀집(dense), 희소(sparse) 및 임베딩 피처)을 이러한 모델에 총체적으로 통합하는 데 있어 결정적인 병목 현상이 존재합니다. 기존의 방식들은 이러한 이질적인 시그널을 "텍스트화"하거나 이들을 이산적인 아이템 표현(예: Semantic ID)으로 매핑합니다. 이러한 직접적인 매핑은 다음과 같은 문제를 야기합니다:

• 과도한 프롬프트 길이: 밀집 시그널(예: 시청 완료율, 시청 시간)을 텍스트로 변환하면 프롬프트가 지나치게 길어집니다.
• 리소스 오버헤드: 긴 프롬프트는 훈련 및 추론 과정에서 상당한 메모리 점유율과 높은 계산 비용을 초래합니다.
• 정보 손실 또는 비효율성: 컨텍스트 윈도우(context window) 내에 맞추기 위해 시스템은 종종 오래된 사용자 상호작용을 잘라내며, 이 과정에서 가치 있는 과거 데이터를 버리게 됩니다.

방법론: 토큰 팩토리 (Token Factory)

이러한 한계를 해결하기 위해 저자들은 전통적인 시그널을 **"소프트 토큰(soft tokens)"**으로 변환하는 프레임워크인 토큰 팩토리를 제안합니다. 표준적인 "하드" 토큰(고정된 어휘 사전의 이산적 ID)과 달리, 소프트 토큰은 모델의 임베딩 공간 내에서 직접 생성되는 연속적인 임베딩 표현입니다.

핵심 아키텍처

이 프레임워크는 특정 피처 그룹을 처리하는 특화된 모듈인 **토큰 메이커(Token Makers)**로 구성됩니다:

1. WH 토큰 메이커: 사용자 상호작용 시퀀스(예: 시청 기록)를 처리합니다.
2. 쿼리(Query) 토큰 메이커: 사용자 수준의 피처를 통합합니다.
3. 후보(Candidate) 토큰 메이커: 후보 아이템 수준의 피처를 통합합니다.

변환 과정:

• 입력: 원시 피처(밀집, 희소, 임베딩)를 정규화하거나 임베딩한 후 벡터 $E_{input}$으로 결합합니다.
• 투영(Projection): 학습 가능한 함수 $G$(예: MLP 또는 신경망)가 $E_{input}$을 고정된 개수($N$)의 소프트 토큰($T_{output}$)으로 매핑합니다.
• 통합: 이 소프트 토큰들은 LRM 프롬프트 내에서 텍스트 토큰(예: 비디오 제목)과 자연스럽게 인터리빙(interleaved)됩니다.
• 최적화: 함수 $G$는 LRM과 함께 엔드 투 엔드(end-to-end)로 공동 학습되어, 소프트 토큰이 모델의 의미론적 공간(semantic space)과 일치하도록 합니다.

주요 메커니즘

• 프롬프트 압축성: 임의의 수의 피처를 고정된 적은 수의 소프트 토큰으로 매핑함으로써, 프롬프트 길이의 폭발을 방지합니다.
• 결정론적 길이: 고정된 출력 투영 레이어를 통해 입력 피처의 수와 관계없이 프롬프트 길이를 사전 정의된 예산 내로 제한합니다.
• 시퀀스 압축: 긴 상호작용 이력을 위해, 프레임워크는 MLP 압축(시퀀스 차원 투영) 또는 어텐션 풀링(Attention Pooling)(매 $K$개의 아이템을 하나의 토큰으로 요약)을 사용하여 중요한 정보를 유지하면서 시퀀스 길이를 더욱 줄입니다.
• 캐싱: 사용자 및 쿼리 수준의 피처는 여러 후보 스코어링에 대해 정적(static)이므로, 해당 소프트 토큰을 미리 계산하여 캐싱할 수 있으며, 이는 추론 지연 시간을 크게 줄여줍니다.

주요 기여

1. 전통적 시그널의 경험적 검증: 저자들은 풍부한 전통적 시그널(밀집/희소 피처)을 활용하는 것이 LRM 성능에 매우 중요하다는 것을 입증하였으며, 이는 계산상의 트레이드오프 때문에 이러한 시그널을 제외해 온 기존 최첨단 방식들의 한계를 해결합니다.
2. 새로운 아키텍처 프레임워크: 이질적인 피처를 소프트 토큰으로 효율적으로 매핑하여 추천 모델의 새로운 모달리티 역할을 수행하는 토큰 팩토리의 도입을 제안합니다.
3. 효율성 및 품질 검증: 오프라인 및 온라인 평가를 통해, 이 프레임워크가 효율성을 크게 개선하면서도 동등하거나 더 우수한 랭킹 및 검색 품질을 달encing함을 보여주었습니다.

실험 결과

이 프레임워크는 구글의 프로덕션 규모 대규모 추천 모델인 PLUM에서 랭킹 및 생성적 검색(generative retrieval) 작업에 대해 평가되었습니다.

랭킹 작업 (CTR 예측)

• 설정: 베이스라인(텍스트 기반 Semantic ID + 밀집 시그널의 커스텀 토큰화)과 토큰 팩토리(소프트 토큰)를 비교했습니다.
• 효율성: 토큰 팩토리는 프롬프트 길이를 1,536개 토큰에서 480개 토큰으로 줄였으며(약 70% 감소), 그 결과 훈련 속도가 200% 향상되었습니다.
• 품질: 초기에는 새로운 임베딩 테이블을 학습해야 했기에 토큰 팩토리 모델이 약간 뒤처졌으나, 1.5M 훈련 스텝에서 베이스라인을 따라잡았으며 대등한 성능을 유지했습니다.
• 스케일링: 효율성 이득 덕분에 배치 크기를 200% 늘릴 수 있었으며, 이를 통해 토큰 팩토리 모델은 훈련 초기 단계에서도 베이스라인을 능가할 수 있었습니다.

생성적 검색 작업 (차세대 비디오 예측)

• 설정: 유튜브 홈 화면 추천 작업에서 텍스트 기반 SID와 토큰 팩토리를 비교했습니다.
• 오프라인 성능: Recall@10에서 +2.0%의 개선을 달성했습니다.
• 온라인 성능:
  • 고유 노출(Unique Impressions): 고유 노출이 +16.8% 증가했습니다.
  • 신규 콘텐츠 발견: 1일 신규 영상에 대한 고유 노출이 +67.1% 증가하여, 새로운 콘텐츠를 검색하는 능력이 향려되었음을 나타냈습니다.
  • 사용자 만족도: 만족 시청자(Satisfied Watchers) +0.04%, 만족 시청 시간(Satisfied Watch Time) +0.05%의 긍정적인 성과를 거두어, 탐색(exploration)의 이득이 사용자 경험을 해치지 않음을 확인했습니다.

절제 연구 (Ablation Studies)

• 피처 중요도: 전통적인 밀집/희소 피처를 제거했을 때 성능 저하가 발생하여, 이들의 가치를 확인했습니다.
• 소프트 토큰 vs 텍스트 SID: 컨텍스트 윈도우 제약이 엄격할 때, 소프트 토큰은 고정된 프롬프트 예산 내에 더 많은 아이템(200개 vs 적은 수)을 수용할 수 있었기에 텍스트 기반 SID보다 우수한 성능을 보였습니다.
• 더 긴 이력: 확장된 시청 이력(200개에서 500개로)을 소프트 토큰으로 압축했을 때 AUC가 +0.08% 개선되었으며, 이는 더 긴 컨텍스트 유지의 가치를 입증합니다.

의의

본 논문은 토큰 팩토리가 산업 규모의 추천 시스템에서 발생하는 "프롬프트 길이 폭발" 문제에 대한 통합적인 솔루션을 제공한다고 주장합니다. 이질적인 시그널을 소프트 토큰으로 변환함으로써, LRM은 다음과 같은 작업을 수행할 수 있습니다:

1. 더 풍부한 정보 수용: 계산 오버헤드를 늘리지 않고도 더 긴 이력과 더 많은 피처를 수용할 수 있습니다.
2. 모델 품질 유지 및 향상: 랭킹 및 검색 작업 모두에서 모델 품질을 유지하거나 개선합니다.
3. 효율성 극대화: 훈련 및 서빙에서의 상당한 효율성 이득을 달성하여, 더 큰 배치 크기와 빠른 반복(iteration)을 가능하게 합니다.

이 연구는 소프트 토큰을 단순한 압축 기술이 아니라, 현대적인 트랜스포머 기반 아키텍처에 전통적인 추천 시그널의 전체 스펙트럼을 통합하기 위한 필수적인 진화 단계로 규정합니다.