🤖 AI

TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

TokenMindsは、PLUMフレームワークを拡張し、事前学習済みLLMアーキテクチャを介して、意味論的に裏付けられた離散的なユーザー・トークンと高密度な埋め込みの両方を生成することで、長尺および短尺ビデオの振る舞いを統合し、大規模なYouTubeランキングシステムにおいてコストを削減しつつ相補的な価値を実証することに成功した、産業規模のシステムである。

原著者： Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hon

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hong, Li Wei, Xinyang Yi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある人の映画の好みを理解しようとしているところだと想像してください。かつてのレコメンデーションシステム（YouTubeなどのもの）は、その人の視聴履歴全体を取り込み、それを一つの、小さく高密度な「要約カード」へと押し込もうとしていました。これは、小説一冊の内容を、付箋にたった一行の文章で書き写そうとするようなものです。そこでは、ニュアンスや具体的な詳細、そして物語特有の味わいが失われてしまいます。

他のシステムは、ユーザーについて詳細な段落を書こうとしました。しかし、それらの段落は曖昧で、「この人は猫が好き」といった一般的なトピックを捉えるだけで、実際に何をいつ見たのかという、より具体的で深いパターンまでは捉えきれませんでした。

TokenMindsは、Google DeepMindとYouTubeによって構築された新しいシステムであり、ユーザーに離散的なトークン（特定の意味を持つコードのセット）で構成された「デジタルIDカード」を与え、さらに、従来の「要約カード」（高密度埋め込み）をバックアップとして保持することで、この問題を解決します。

仕組みを、シンプルな比喩を用いて解説します。

1. 「セマンティックID」（魔法の郵便番号）

すべての動画にランダムな番号（例：「ビデオ番号#49201」）を与える代わりに、TokenMindsはすべての動画に**セマンティックID（SID）**を与えます。

比喩： すべての動画に、その内容に基づいた「郵便番号」が付いていると考えてください。「サワードウ・ブレッドの焼き方」に関する動画なら、そのコードはFood-Baking-Bread（食文化-製パン-パン）で始まるかもしれません。「シンクの修理」に関する動画なら、Home-Plumbing（住まい-配管）で始まるかもしれません。
なぜ役立つのか： ユーザーが「サワードー」に関する動画を見たとき、システムは単なるランダムな数字を見るのではなく、コードの「製パン」の部分を認識します。これにより、システムは単なるIDではなく、視聴の背後にある「意味」を理解できるようになります。

2. 「デュアル出力」エンジン（二つの道具箱）

TokenMindsは、スイスアーミーナイフのように機能する特別なAIアーキテクチャ（エンコーダー・デコーダー）を使用しています。これは同時に二つのものを作り出します。

高密度埋め込み（要約カード）： これは、既存のシステムがすでに活用している、連続的な数値ベクトルです。ユーザーの「雰囲気」を素早く捉えたスナップショットのようなものです。
SIDトークン（詳細なコード）： これが新しい部分です。AIは、ユーザーの将来の関心事を示す具体的な「郵便番号」のリストを生成します。これは、AIが「あなたの視聴履歴に基づくと、あなたは次にこれらを求める可能性が高いです：Food-Baking-Bread、Tech-Coding-Python、Sports-Basketball」と言っているようなものです。

メリット： このシステムは、両方の良いところ取りをしています。既存のシステムを満足させつつ（要約カードを使用）、新しい層である精密な意味的理解（トークン）を追加しています。研究では、どちらか一方のみを使用する場合よりも、両方を併用する方が優れた結果になることが示されました。

3. 「非同期」配信（予約注文システム）

これらの詳細なトークンを生成することは、複雑な料理を作る作業のように、負荷の高い作業です。もし顧客がカウンターで待っている間に料理を作ろうとすれば、あまりにも時間がかかりすぎてしまいます。

比喩： TokenMindsは「予約注文」システムを使用しています。ユーザーがただブラウジングしている間に、バックグラウンドで（非同期に）ユーザーの「IDカード」と「トークン」を生成しておきます。ユーザーが実際に「レコメンドを表示」をクリックしたとき、システムは高速なストレージロッカーから、あらかじめ用意されたカードを取り出すだけです。これにより、システムは数十億人のユーザーを扱う際にも速度を落とすことなく、処理を行うことができます。

4. 「ユニバーサル翻訳機」（すべての動画に対応する一つのモデル）

YouTubeには、大きく分けて二種類の異なるタイプの動画があります：長尺動画（20分間のドキュメンタリーなど）と、短尺動画（15秒間のShortsなど）です。通常、これらは視聴方法が異なるため、それぞれ別のモデルが必要になります。

比喩： TokenMksは、ユニバーサル翻訳機のようです。同じ「郵便番号」システムを、長尺動画と短尺動画の両方に使用します。ユーザーが20分の料理番組を見た履歴と、15秒の料理テクニック動画を見た履歴の両方を見て、「ああ、この人は料理が好きなのだな！」と理解することができます。
結果： 二つの異なる高価なモデルを訓練して実行する代わりに、一つのモデルで両方の仕事をこなします。これにより、品質を損なうことなく、計算コストをトレーニングで50%、サービング（提供）で**31%**削減できました。

5. 結果（証明）

チームは、実際のYouTubeのトラフィック（数十億人のユーザー）を用いてテストを行いました。

より優れたレコメンデーション： これらの新しいトークンをランキングシステムに追加したところ、ユーザーのエンゲージメント（関与）や満足度が目に見えて向上することが確認されました。
効率性： 長尺動画と短尺動画のモデルを統合することで、膨大なコンピュータパワーを節約できました。
多様性： システムは同じことを何度も推測するのではなく、人間が友人にさまざまな好みを提案するように、潜在的な関心の多様なリストを生成しました。

要約すると： TokenMindsは、ユーザーが何を求めているかを理解するための、よりスマートで効率的な方法です。それは、一人の複雑な好みを一つの数字に押し込めようとするのではなく、代わりに、ユーザーの関心を記述する一連の意味のある「コード」を提供します。しかも、あらゆる種類のビデオコンテンツを処理できる、コスト効率の高い単一のエンジンで動作しています。

技術要約: TokenMinds

問題提起

従来の産業用レコメンダーシステムは、ユーザーの関心をモデル化するために、高密度で固定次元のユーザー埋め込み（embedding）に依存してきました。これは効果的ではあるものの、ユーザーの全領域にわたる関心を単一のベクトルに圧縮する際に、きめ細かな信号が失われるといった固有の制約を抱えています。対照的に、大規模言語モデル（LLM）を用いてテキストベースのユーザープロファイルを生成する新たなアプローチは、重大なボトルネックに直面しています。それらは、トピックの共起関係は捉えられるものの、深い逐次的な行動ダイナミクスを捉えることが難しく、テキスト出力を特定のアイテム属性に接地（grounding）させることに苦慮し、さらに非テキスト的なダウンストリームシステムと統合する際にモダリティ間のギャップを生じさせます。さらに、Semantic ID（SID）は生成型レコメンデーションにおけるアイテムのトークン化には有効であることが証明されていますが、ユーザーモデリングへの適用については、依然としてほとんど未開拓のままです。

手法

TokenMindsは、PLUMフレームワークをアイテム検索からユーザーモデリングへと拡張することで、これらのギャップを埋めるために設計された産業規模のシステムです。本システムは、事前学習済みLLMから適応した統一的なエンコーダー・デコーダー・アーキテクチャを採用し、以下の2つの補完的な出力を同時に生成します：

高密度ユーザー埋め込み（Dense User Embeddings）: エンコーダーから抽出され、連続ベクトルに依存する既存のダウンストリームモデルとの互換性を確保します。
離散的SIDベースのユーザー・トークン（Discrete SID-Based User Tokens）: デコーダーによって自己回帰的に生成され、意味論的に接地された離散的なユーザーの関心を表します。

コアコンポーネント

アーキテクチャ: システムはエンコーダー・デコーダー構成を使用します。エンコーダーは逐次的なユーザー特徴量（視聴履歴、検索クエリ）を処理して高密度埋め込みを生成します。デコーダーはクロスアテンションを介してエンコーラーの出力に注目し、SIDベースのユーザー・トークンを生成します。このデュアル出力設計により、システムはレガシーな高密度埋め込みモデルと、新しいトークンベースのモデルの両方にサービスを提供できます。
入力トークン化: ユーザー行動は、以下の要素からなるシーケンスへとトークン化されます：
- SIDトークン: 残差量子化変分オートエンコーダー（RQ-VAE）を介してビデオコンテンツの特徴から導出された階層的な離散コードワード。多様性を促進し記憶（memorization）を抑制するため、フルSIDのうちプレフィックス- $L$ のみが使用されます。
- ソフト・トークン（Soft Tokens）: 非SID特徴量（例：視聴時間、デバイス）は、MLP投影を介してソフト・トークンとしてエンコードされます。
- 条件トークン（Condition Tokens）: コンテンツタイプを区別し、検索クエリをインターリーブするために、シナリオ固有のトークン（例：<LFV>, <SFV>, <Search>）が先頭に付与されます。
学習目的: モデルは、SID語彙に対する継続的事前学習（CPT）に続く教師あり微調整（SFT）を通じて学習されます。単なる直後のアイテムだけでなく、24時間のウィンドウ内から複数の将来のターゲット視聴をランダムに選択する**ルックアヘッド・サンプリング（look-ahead sampling）**を採用しています。これにより、即時的なセッションへの過学習を防ぎ、将来の関心への汎化性能を向上させます。損失関数は、エンゲージメント報酬信号によって重み付けされた、予測されたSIDプレフィックスのクロスエントロピーを最小化します。
クロスシナリオ・モデリング: TokenMindsは、長尺動画（LFV）と短尺動画（SFV）のモデリングを単一のフレームワーク内で統合します。シナリオ固有の条件トークンを先頭に付与することで、単一のモデルが時系列にインターリーブされたシーケンスを処理できます。推論時には、マルチコンテキスト・デコーディングにより、単一の共有エンコーダー・パスからシナリオ固有のユーザー・トークンを生成でき、冗長な推論実行を排除します。
サービング・インフラストラクチャ: 厳格なレイテンシ制約の下で数十億人のユーザーを処理するため、表現生成とリアルタイム・スコアリングを分離しています。ユーザー埋め込みとトークンはバックグラウンド・サービスを介して非同期に生成され、キーバリューストアにキャッシュされます。リアルタイム・スコアリングは、これらの事前計算された表現を取得するため、基礎となるモデルの複雑さに依存せず、一定のレイテンシを維持できます。

主な貢献

デュアル出力アーキテクチャ: 標準的な高密度連続埋め込みと、離散的SIDベースのユーザー・トークンを共同で生成する統一アーキテクチャであるTokenMindsを提案し、既存システムとの互換性を維持しつつ、新しい表現能力を導入しました。
トークン化されたユーザー表現: ユーザー表現へのSIDベースの離散トークンの斬新な適用。本論文は、これらのトークンをダウンストリームのランキングモデルに統合するための最適な適応戦略（具体的には学習可能な埋め込み）を特定し、トークンと高密度埋め込みが補完的な信号を捉えることを実証しました。
クロスシナリオ・モデリング: 異なるシナリオ（LFVおよびSFV）の学習とサービングを単一のモデルに集約する、非常に効率的なパラダイム。このアプローチは、マルチコンテキスト・デコーディングを利用して、マルチモデルのオーバーヘッドなしにシナリオを認識した出力を実現します。
産業規模のデプロイメント: 複数のYouTubeサーフェスにおける広範なオフライン実験とライブA/Bテストを通じて、システムの有効性を検証し、全ユーザーのトラフィック（数十億人）に提供することに成功しました。

結果

オフライン性能: アブレーション研究により、ルックアヘッド・サンプリングと粗粒度なSIDプレフィックスが汎化において極めて重要であることが確認されました。CPTによる初期化の使用は、ランダム初期化や標準的な事前学習済みチェックポイントを大幅に上回りました。
オンライン性能: 本番ランキングシステムにおけるライブA/Bテストにおいて、統計的に有意な改善を示しました：
- コアユーザー指標: 最大 +0.11% の改善。
- コアエンゲージメント指標: 最大 +0.62% の改善。
- 補完性: 高密度埋め込みと離散トークンの両方を組み合わせることで、どちらか一方のみを使用する場合よりも増幅された利得が得られ、デュアル出力設計の妥当性が検証されました。
効率性:
- 学習: LFVとSFVを単一のモデルに統合することで、アップストリームの学習計算量を 50% 削減しました。
- サービング: マルチコンテキスト・デコーディングにより、別々のモデルを維持する場合と比較して、アップストリームのサービング計算量を 31% 削減しました。
- ストレージ: 離散トークン表現は、高密度埋め込みと比較して 72% 少ないストレージ（1,280バイト vs 4,608バイト）を必要とします。
スケーラビリティ: スケーリング研究によれば、モデルの性能は約1,000個の視聴履歴アイテムで飽和し、より大きなバッチサイズは収束を加速させ、表現の質を向上させます。

重要性

本論文は、TokenMindsがSIDベースのユーザー・トークンの産業規模での実用的な実現可能性を示していると主張しています。これは、離散的で意味論的に接地されたユーザー表現が、高密度埋め込みのみの制約を超えてユーザーモデリングをスケールさせるための有望な方向性であることを確立しています。これらのトークンを本番のランキングシステムに統合することに成功し、高密度埋め込みとの補完的な価値を示すことで、本研究は、汎化、効率性、および互換性のバランスを取った、大規模レコメンダーシステムにおけるユーザー理解の新しいパラダイムを示唆しています。