🤖 machine learning

Tokens are All You Need: Dual-purpose Semantic IDs for Achieving LLM-Level I/O Efficiency in recommendation systems

本論文は、階層的量子化を用いて高密度な埋め込みを協調的アイデンティティとコンテンツ再構成の両方のための離散トークンへと変換することで、LLMレベルのI/O効率を実現し、メモリのボトルネックを克服するためにプロダクション規模の推薦システムへのデプロイに成功した手法であるDual-purpose Semantic IDsを提案する。

原著者： Baolei Li, Yiping Yuan, Yilin Zheng, Likang Yin, Ling Liu, Fabio Soldo, Romer Rosales, Xinyang Yi, Lichan Hong

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Baolei Li, Yiping Yuan, Yilin Zheng, Likang Yin, Ling Liu, Fabio Soldo, Romer Rosales, Xinyang Yi, Lichan Hong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

究極のレコメンデーションエンジン、つまりあなたが次に何を見たいかを正確に把握するような、巨大な動画プラットフォームを構築しようとしていると想像してみてください。これを実現するためには、システムは二つのことを理解する必要があります。すなわち、「あなたとは何者か（あなたの履歴）」と「動画とは何か（そのコンテンツ）」です。従来、コンピュータはこれらの情報を、「高密度埋め込み（dense embeddings）」と呼ばれる巨大で重い数字のリストとして保存してきました。これらは、あらゆる動画やユーザーに対する、非常に詳細で高解像度な設計図のようなものです。これらの設計図は詳細ではありますが、持ち運ぶには非常に重すぎます。コンピュータが提案を行おうとするたびに、これらの重い設計図をストレージからプロセッサへと運び出さなければならず、それが「メモリの壁」と呼ばれる交通渋滞を引き起こします。これが処理を遅らせ、数十億ものユーザーと動画を扱う際に大きな障害となります。

一方で、スマートなチャットボットの背後にある知能である大規模言語モデル（LLM）は、あるトリックを見出しました。彼らは重い設計図を使う代わりに、文章の中の単語のように、シンプルで離散的な「トークン」を使用します。トークンは軽く、速く、処理が容易です。ここでの大きな疑問は、レコメンデーションシステムにおいて、重くて遅い設計図を、優れた提案を行うために必要な豊かな詳細を失うことなく、これらの軽量なトークンに置き換えることができるのか、という点でした。もしこれが実現できれば、レコメンデーションシステムに、最もスマートなAIチャットボットと同じスピードと効率性を与えることができるかもしれません。

「Tokens are All You Need」と題されたこの論文は、「二重目的のセマンティックID（Dual-purpose Semantic IDs）」を導入することで、この問題に対する巧妙な解決策を提案しています。大手動画共有プラットフォームで働く著者たちは、これらの重い動画の設計図を、高精細な写真を単純なコードに変換するように、短いトークンのシーケンスへと圧縮できると示唆しています。しかし、ここに魔法のトリックがあります。これらのトークンは二役をこなします。第一に、ユーザーのインタラクション（どの動画をクリックしたかなど）からシステムが学習するのを助けるユニークなIDとして機能します。第二に、そしてより重要なことに、コンピュータが必要とする時にはいつでも、元の動画の詳細を大まかな近似値として即座に「デコード（復元）」できるのです。

研究者たちは、数十億の事例を含む実際のプロダクションシステムでこのアイデアをテストしました。彼らは、この「オンザフライ（即時）」の再構成メソッドを用いることで、システムが移動させるデータ量を劇的に削減できることを見出しました。実験において、このアプローチは単にスペースを節約しただけでなく、システムの速度を向上させ、特に新しいユーザーや、システムにまだ十分なデータがないマイナーな動画に対するレコメンデーションの質を向上させました。この論文は、高次元データをトークンとして扱うことで、レコメンデーションシステムが「メモリの壁」から解放され、最も高度なAIモデルと同じくらい効率的になれることを示唆しており、時には、仕事を成し遂げるために本当にトークンさえあれば十分であることを証明しています。

テクニカル・サマリー：Tokens are All You Need: 推奨システムにおけるLLMレベルのI/O効率化のための二目的的セマンティックID

1. 問題提起

大規模な推奨システムは、巨大で高密度な浮動小数点埋め込みテーブルへの依存に起因する、深刻な「メモリの壁（Memory Wall）」というボトルネックに直面している。大規模言語モデル（LLM）は、統一された離散的なトークン空間と計算量主導（compute-bound）の性質により効率的にスケールするが、推奨システムは、トレーニングや推論中に高次元の連続ベクトル（例：ユーザー履歴、コンテンツ埋め込み）を読み込み、保存、結合するために必要なI/Oおよびメモリ帯域幅によって制約を受けている。

この制限は、ユーザーのアクティビティが $10^4$ 以上にスケールするシーケンシャルな処理へと進化するにつれ、特に顕著になる。豊かなコンテンツ信号を密な埋め込み（dense embeddings）を通じて組み込もうとする従来のアプローチは、膨大なデータフットプリントとサービング・レイテンシに苦しむことになる。さらに、「生成型検索（Generative Retrieval）」はカテゴリカルなIDの代わりにセマンティック・トークンを導入したが、既存の手法はこれらのトークンを厳密に識別子としてのみ扱っており、高次元の連続的なコンテンツ特徴量を効率的に再構成するために活用できていない。

2. 手法：二目的的セマンティックID

著者らは、高次元の連続的なコンテンツ埋め込みを、コンパクトな離散トークン列へと変換するフレームワークを提案している。このアプローチは、コンピュータビジョンのデータ圧縮技術（具体的にはVQ-VAEやVQGAN）に着想を得ており、連続的な空間データが、その意味内容を失うことなく離散トークンへと圧縮可能であることを証明している。

コアとなる手法は、生成されたセマンティックID（ $S_i$ ）に対して、以下の2つの役割を同時に持たせるものである。

A. 量子化によるセマンティックID生成

マルチモーダルモデルから派生した高次元のコンテンツ埋め込み（ $e_i \in \mathbb{R}^d$ ）を、階層的量子化（例：残差量子化またはRQ-VAE）を用いて、 $K$ 個の離散トークンのシーケンスへと圧縮する。
$S_i = [t_{i,1}, t_{i,2}, \dots, t_{i,K}]$
これにより、ストレージ要件を $d \times 32$ ビットから $K \times \log_2(V)$ ビットへと削減し、50〜100倍の圧縮率を実現する。

B. 二目的的フレームワーク

本フレームワークは、これらのトークンを推奨モデル内で以下の2つの機能のために利用する：

協調的アイデンティティ（グラフ内学習）: トークン列をカテゴリカルな特徴量として扱う。モデルは各トークン（またはn-gramの組み合わせ）の埋め込みを学習し、ユーザーとアイテムの相互作用パターンを捉える。戦略には以下が含まれる：
- ユニグラム（Unigram）: 独立したトークン埋め込み。
- オーバーラップ・バイグラム（Overlapping Bigram）: ローカルな遷移を捉えるためのスライディングウィンドウ。
- ネストされたN-gram（Nested N-gram）: セマンティックなクラスタリングを強制するための階層的プレフィックス（例：すべての「ジャズ」動画が共通のトップレベル埋め込みを共有する）。
- Sentence Piece Model (SPM): データ分布に基づいた適応的なトークン結合。
  このコンポーネントは、特にコールドスタートやロングテールアイテムに対する記憶（memorization）と汎化（generalization）を担う。
コンテンツ再構成（SiDec）: 密なベクトルの結合に伴うI/Oコストなしに「純粋な」コンテンツ信号を復元するために、システムはセマンティック・デコーダ（ $f_\theta$ ）を採用する。
- プロセス: 離散トークン $S_i$ を静的なコードブック（ $\phi$ ）でルックアップして潜在的な埋め込みを取得し、それらを軽量なデコーダ（MLPまたは浅いTransformer）に通すことで、元の埋め込みの近似値（ $\hat{e}_i$ ）を再構成する。
- 統合: この再構成は、モデルグラフ内で*オンザフライ（on-the-fly）*で行われる。これにより、トレーニングデータ内に密なベクトルを保存したりログに記録したりする必要がなくなる。デコーダは、固定（事前学習済みコードブックを使用）することも、訓練可能（特定のダウンストリームタスクに適合させる）にすることもできる。

3. 主な貢献

斬新な二目的的フレームワーク: 本論文は、標準的なセマンティックID学習とオンザフライのセマンティックIDデコーディング（SiDec）を統合することで、「メモリの壁」に対処するシステムを導入している。これにより、アイテム固有の記憶（離散トークン経由）と、コンテンツを意識した汎化（再構成された連続的セマンティクス経由）のバランスを実現している。
I/O効率のブレイクスルー: 膨大なベクトル保存をオンデマンドの再構成に置き換えることで、データフットプリントとシステムオーバーヘッドを劇的に削減する。これにより、システムの負担を、ディスクバウンドな密ベクトル検索から、計算バウンドなオンザフライの再構成へとシフトさせている。
プロダクション規模での検証: 著者らは、主要な動画共有プラットフォーム（YouTube）を用いた広範な実証結果を示しており、ランキングおよびリトリーバル（検索）モデルの両方における本フレームワークの有効性を証明している。

4. 実験結果

フレームメントは、オフラインベンチマークおよびプロダクションにおけるオンラインA/Bテストを通じて評価された。

オフライン評価（リトリーバルモデル）

表現の忠実度とトレーニングのスループットのトレードオフを分析するために、5つの実験的アームを比較した：

コントロール（Control）: 標準的なIDを使用し、コンテンツ埋め込みなし（最高スループット：16.80 steps/s、最低品質）。
Arm 1 (Raw Dense): 64次元の埋め込みを直接取り込み（品質は向上したが、I/Oボトルネックによりスループットが28.2%低下し、12.07 steps/sとなった）。
Arm 2 & 3 (SiDec): コードブックデコーダ（v0およびv1）を使用。これらのアームは、品質を維持または向上させつつ、スループットを~15.3 steps/s（Controlに近いレベル）まで回復させた。
Arm 4 (SiDec + Scaling): v1コードブックとアーキテクチャのスケーリングを組み合わせることで、最高のグローバル損失（2.681）とHit Rate @100（0.2910）を達成し、Raw Denseアプローチに対して20.4%のスループット加速を実現した。

結論: 離散化（Tokenization）はI/Oボトルネックを打破することに成功し、モデルの深さとリトリーバルの精度の同時スケーリングを可能にする。

オンライン展開

本フレームメントは、マルチタスクランキングおよび基盤となるTransformerリトリーバルモデルに展開された。

ランキングモデル: 既存のセマンティックID特徴量にSiDecコンテンツ再構成ストリームを追加することで、「オンライン満足エンゲージメント（視聴時間とインタラクションの複合指標）」において有意な向上をもたらした。
- ウォッチページ・ランキング: +0.80% の改善。
- ホームページ・ランキング: +0.22% の改善。
リトリーバルモデル: ホームページにおいて +0.13% の改善。
影響: これらの改善は統計的に有意であり、履歴が乏しい新規アカウントやロングテールコンテンツにおいて不釣り合いなほど大きな恩恵をもたらし、効果的に人気バイアス（popularity bias）を緩和した。

5. 意義と主張

本論文は、非常に効率的でコンテンツ豊かな推奨のために「Tokens are All You Need（トークンこそがすべてである）」と主張している。本研究の意義は、その哲学的およびアーキテクチャ的な転換にある：

連続的なI/Oからの脱却: 著者らは、高次元の連続分布は、予測力を保持するためにネイティブな浮動小数点形式で処理される必要はないと主張している。全特徴空間（ユーザーコンテキスト、履歴密度、コンテンツ埋め込みを含む）を統一された離散トークンの語彙へと量子化することで、推奨システムは連続的な浮動小数点I/Oから脱却できる。
LLMのスケーリング則との整合: このアプローチは、推奨システムを、従来の密な埋め込みが抱えるメモリバウンドな制約から、LLMが享受している計算バウンド（compute-bound）なハードウェアのスケーリング則へと適合させるものである。
二目的の有用性: 本フレームメントは、離散トークンが二つの目的を果たせることを示している。すなわち、協調フィルタリングのための構造化されたカテゴリカルな特徴として機能すると同時に、オンザフライのコンテンツ再構成のための圧縮された表現としても機能し、別個の重い埋め込みテーブルの必要性を排除する。

著者らは、このパラダイムが、従来の密なベクトル保存や検索に伴う法外なコストなしに、超ロングなユーザーシーケンスや膨大な特徴空間を扱うための道筋を提供すると結論づけている。