🤖 AI

Token Factory: Efficiently Integrating Diverse Signals into Large Recommendation Models

本論文は、多様な従来の信号をコンパクトな「ソフトトークン」へと変換することで、従来のテキスト化手法によるメモリおよび計算量の制限を克服しつつ、プロダクション規模での性能を向上させる、多様な従来の信号を大規模推薦モデルへ効率的に統合するフレームワークである「Token Factory」を提案している。

原著者： Xilun Chen, Shao-Chuan Wang, Baykal Cakici, Lukasz Heldt, Lichan Hong, Raghu Keshavan, Aniruddh Nath, Li Wei, Xinyang Xi

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xilun Chen, Shao-Chuan Wang, Baykal Cakici, Lukasz Heldt, Lichan Hong, Raghu Keshavan, Aniruddh Nath, Li Wei, Xinyang Xi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に優秀なシェフ（大規模推奨モデル）に、顧客の過去の注文に基づいて完璧な料理を作る方法を教えようとしていると想像してください。

問題点：「紙が多すぎる」という混乱

従来の方法では、シェフには顧客に関するあらゆる詳細が書かれた、膨大な手書きのリストが渡されていました。

「サメの動画を見た」
「2分間視聴した」
「50%まで視聴完了した」
「小型のAndroidスマートフォンで視聴した」
「年齢は32歳である」

もし顧客が200本の動画を視聴していた場合、このリストは数百フィートにも及ぶ巨大な巻物になってしまいます。シェフは、次に何を推奨すべきかを考える前に、この巻物のすべての言葉を読まなければなりません。これには時間がかかり、巻物は重すぎて持ち運ぶこともできず（メモリの問題）、シェフは圧倒されてしまいます。

解決策：「トークン・ファクトリー（トークンの工場）」

この論文の著者たちは、「トークン・ファクトリー」と呼ばれる機械を構築しました。大量の雑多で詳細な情報をシェフに渡す代わりに、このファクトリーは、そのすべての情報を目に見えないハイテクな「魔法のカード」（ソフト・トークンと呼ばれます）へと圧縮します。

仕組みは以下の通りです：

ファクトリー（工場）： 生のデータ（視聴時間、使用デバイス、年齢など）を取り込み、それらを単一の濃密な情報の「カード」へと変換します。
魔法のカード： ページ上の「言葉」とは異なります。これはデータの直接的な数学的表現であり、シェフの脳が完璧に理解できる形式になっています。
結果： 200フィートの巻物の代わりに、シェフは200枚の小さなカードの束を受け取ります。シェフはこの束全体を瞬時に読み取ることができます。

なぜこれが大きな進歩なのか

この論文は、この新しいシステムに3つのスーパーパワーがあると言っています。

1. ポケットにたくさん入る（効率性）
「カード」が非常にコンパクトであるため、シェフは圧倒されることなく、より長い行動履歴を見ることができるようになりました。旧システムでは、リストが長くなりすぎると、容量を確保するために古い注文を捨てなければなりませんでした。トークン・ファクトリーを使えば、全履歴を保持できるのです。

2. 調理が速い（スピード）
シェフは何千もの言葉を読む必要がないため、意思決定が格段に速くなります。論文によると、これにより学習プロセスが200%高速化されました。それは、本を読んでいる状態からバーコードをスキャンする状態へと切り替わったようなものです。

3. 実際に味が良くなる（品質）
「言葉を捨ててしまったら、風味を失ってしまうのではないか？」と思うかもしれません。しかし、論文によれば答えはノーです。実際、より多くの履歴を見ることができ、より効率的に処理できるため、より良い推奨ができるようになります。

テストにおいて、新システムは人々に見せるべきユニークな動画を16.8%多く発見しました。
特に、公開から1日未満の新しい動画を見つける能力が高まりました（67.1%向上）。
利用者の満足度も、以前と同様か、あるいはわずかに向上しています。

「魔法のカード」対「巻物」

この論文では、モデルへの情報の与え方を比較しています。

従来の方法（テキスト化）： 「視聴時間：2.5時間」を「2」、「点」、「5」、「時間」という言葉に変換する方法。これはシェフの記憶の中に4つまたは5つの「スロット」を消費します。
新しい方法（ソフト・トークン）： 「視聴時間：2.5時間」を、全く同じ意味を持ちながら、わずか1つのスロットしか消費しない単一の「魔法のカード」に変換する方法。

結論

トークン・ファクトリーは、推奨システムが大量のテキストに溺れるのを防ぐための賢明なツールです。退屈なデータをコンパクトな「魔法のカード」へと変換することで、AIはあなたの履歴をより多く記憶し、より速く考え、疲れたり混乱したりすることなく、より良く、より新鮮なコンテンツを提案できるようになります。

技術要約: Token Factory

問題提起

Transformerアーキテクチャに基づく大規模レコメンデーションモデル（LRM）は、次動画予測などの産業規模のタスクにおいて大きな有望性を示している。しかし、従来のシグナル（高密度、疎、および埋め込み特徴量）をこれらのモデルに包括的に統合することには、重大なボトルネックが存在する。従来のアプローチでは、これらの異種混合なシグナルを「テキスト化」するか、あるいは離散的なアイテム表現（例：Semantic ID）にマッピングしている。このような直接的なマッピングは、以下の問題を引き起こす：

プロンプト長の過度な増大: 高密度シグナル（例：視聴完了率、視聴時間）をテキストに変換すると、プロンプトが極めて長くなる。
リソースのオーバーヘッド: 長いプロンプトは、学習および推論時におけるメモリフットプリントの大幅な増加と計算コストの高騰を招く。
情報の損失または非効率性: コンテキストウィンドウ内に収めるために、システムはしばしば古いユーザーインタラクションを切り捨て、貴重な履歴データを破棄してしまう。

手法: Token Factory

これらの制限に対処するため、著者らは、従来のシグナルを**「ソフトトークン（soft tokens）」へと変換するフレームワークであるToken Factory**を提案している。固定された語彙からの離散的なIDである標準的な「ハード」トークンとは異なり、ソフトトークンはモデルの埋め込み空間内で直接生成される連続的な埋め込み表現である。

コアアーキテクチャ

本フレームワークは、特定の機能グループを処理するための特化したモジュールとして機能するToken Makerで構成される：

WH Token Maker: ユーザーのインタラクションシーケンス（例：視聴履歴）を処理する。
Query Token Maker: ユーザーレベルの特徴量を統合する。
Candidate Token Maker: 候補アイテムレベルの特徴量を統合する。

変換プロセス:

入力: 生の特徴量（高密度、疎、埋め込み）は正規化または埋め込まれ、 $E_{input}$ というベクトルに結合される。
投影（Projection）: 学習可能な関数 $G$ （例：多層パーセプトロンやニューラルネットワーク）が、 $E_{input}$ を固定された数（ $N$ ）のソフトトークン（ $T_{output}$ ）へとマッピングする。
統合: これらのソフトトークンは、テキストトークン（例：動画タイトル）とシームレスにインターリーブ（交互に配置）され、LRMのプロンプト内に組み込まれる。
最適化: 関数 $G$ はLRMとエンドツーエンドで共同学習され、ソフトトークンがモデルのセマンティック空間と整合するように調整される。

主要なメカニズム

プロンプトのコンパクト性: 任意の数の特徴量を固定された少数のソフトトークンにマッピングすることで、フレームワークはプロンプト長の爆発を防ぐ。
決定論的な長さ: 固定出力投影レイヤーにより、入力特徴量の数に関わらず、プロンプトの長さは定義された予算内に制限される。
シーケンス圧縮: 長いインタラクション履歴に対しては、MLP圧縮（シーケンス次元の投影）またはアテンション・プーリング（ $K$ 個のアイテムを1つのトークンに要約）を採用し、重要な情報を保持しながらシーケンス長をさらに削減する。
キャッシュ: ユーザーおよびクエリレベルの特徴量は複数の候補スコアリング間で静的であるため、対応するソフトトークンを事前計算してキャッシュすることができ、推論レイテンシを大幅に削減できる。

主な貢献

伝統的なシグナルの実証的検証: 著者らは、伝統的なシグナル（高密度/疎な特徴量）を活用することがLRMの性能にとって極めて重要であることを示しており、これは計算上のトレードオフのためにこれらを除外してしまう現在の最先端手法の限界に対処するものである。
新しいアーキテクチャフレームワーク: 異種混合の特徴をソフトトークンへと効率的にマッピングすることを可能にし、レコメンデーションモデルにおける新しいモダリティとして機能するToken Factoryを導入した。
効率性と品質の検証: オフラインおよびオンラインの評価を通じて、本フレームワークはランキングおよびリトリーバル（検索）の品質において同等または優れた品質を達成しつつ、大幅な効率向上を実現できることが示された。

実験結果

本フレームワークは、Googleのプロダクション規模の大型レコメンデーションモデルであるPLUMを用いて、ランキングおよび生成型リトリーバルのタスクにおいて評価された。

生成型リトリーバルタスク（次動画予測）

設定: YouTubeホームページのレコメンデーションタスクにおいて、ベースライン（テキスト形式のSID）とToken Factory（ソフトトークン）を比較した。
オフライン性能: Recall@10において+2.0%の改善を達成した。
オンライン性能:
- ユニークインプレッション数: +16.8%増加。
- 新鮮なコンテンツの発見: 1日以内の新鮮な動画に対するユニークインプレッション数が**+67.1%増加**し、新しいコンテンツをリトリーブする能力の向上を示した。
- ユーザー満足度: 満足視聴者（Satisfied Watchers）で+0.04%、満足視聴時間（Satisfied Watch Time）で+0.05%のプラスの獲得があり、探索の向上がユーザー体験を損なわなかったことを裏付けた。

アブレーション研究

特徴量の重要性: 伝統的な高密度/疎な特徴量を取り除くと性能が低下し、それらの価値が確認された。
ソフトトークン vs テキスト形式SID: コンテキストウィンドウの制約が厳しい場合、ソフトトークンは固定されたプロンプト予算内に、より多くのアイテム（200個 vs より少ない数）を収めることができるため、テキスト形式のSIDよりも優れた性能を示した。
長い履歴: 長い視聴履歴（200から500アイテム）をソフトトークンに圧縮することで、AUCが+0.08%向上し、長いコンテキスト保持の価値が実証された。

重要性

本論文は、Token Factoryが産業規模のレコメンデーションシステムにおける「プロンプト長の爆発」問題に対する統一的な解決策を提供すると主張している。異種混合なシグナルをソフトトークンに変換することで、LRMは以下を可能にする：

計算オーバーヘッドを増やすことなく、より豊かな情報（より長い履歴、より多くの特徴量）を取り込む。
ランキングおよびリトリーバルの両方のタスクにおいて、モデルの品質を維持または向上させる。
学習およびサービングにおける大幅な効率化を実現し、より大きなバッチサイズと高速なイテレーションを可能にする。

本研究は、ソフトトークンを単なる圧縮技術としてではなく、現代のTransformerベースのアーキテクチャに伝統的なレコメンデーションシグナルの全領域を統合するための、必要な進化として位置づけている。