技術要約：LLMにはセマンティックIDのためのエンコーダーも必要である

問題提起

生成型推薦システムは、アイテムをRQ-VAEによって生成された階層的なコードであるセマンティックID（SID）として表現します。これらのコードは、意味的に類似したアイテム間での知識転移を可能にする一方で、大規模言語モデル（LLM）に対して特有の課題を突きつけます。標準的な言語トークンとは異なり、SIDトークンの意味は厳密に文脈依存的です（例：特定のコード「505」は、接頭辞が「1273-505」か「974-505」かによって、全く異なるアイテムクラスターを表します）。

現在のアプローチでは、SIDコードをフラットな語彙トークンとして扱い、接頭辞に関わらず各コードに単一の静的な埋め込みを割り当てています。これにより、LLMは組み合わせ的な接頭辞とコードの関係性を、共有パラメータ内でゼロから学習することを強いられます。数十億規模のアイテムコーパスと、SID分布の疎で階層的な性質（中間レベルでの「砂時計現象」によって悪化）を考慮すると、この学習問題は計算コストが高く、特に希少なアイテムや複雑な接頭辞パターンにおいて、深いレベルの構造的依存関係を捉えることに失敗することがよくあります。

手法：PrefixMem

著者らは、マルチモーダルLLMにおけるビジョンエンコーダーに類似した、軽量で専用のSIDエンコーダーであるPrefixMemを提案しています。PrefixMemは、LLMの内部アテンションメカニズムのみに文脈の推論を頼るのではなく、明示的に接頭辞条件付きの表現をモデルに提供します。

アーキテクチャ

PrefixMemは、ハッシュベースの接頭辞 $n$-gramメモリテーブルとして実装されています。SIDシーケンス $(c_1, \dots, c_L)$ に対して、エンコーダーは各レベル $\ell$ において次のように動作します：

1. ハッシング: 前方の接頭辞 $(c_1, \dots, c_{\ell-1})$ を、複数のハッシュヘッドを用いて複数の $n$-gram次数（長さ1から $\min(\ell, N_{max})$ まで）でハッシュ化します。
2. ルックアップ: これらのハッシュが疎な埋め込みテーブル ($E_{n,h}$) をインデックス参照し、ベクトルを取得します。
3. 集約: 取得されたベクトルをヘッド間で連結し、$n$-gram次数間で合計し、線形層 ($W_{out}$) を通じて投影します。
4. 注入: 得られたベクトル $\mathbf{m}_\ell$ は、現在のトークン $c_\ell$ がLLMトランスフォーマーに入る前に、その入力埋め込みに加算されます。

このメカニズムにより、LLMは同じコードであっても、その履歴となる接頭辞に応じて異なる表現を受け取ることが保証されます。これにより、接頭辞からコードへの遷移統計の保持という負担を、高密度なトランスフォーマーの重みから疎なルックアップテーブルへとオフロード（肩代わり）させることができます。

事前学習戦略

ビジョンエンコーダーと同様に、PrefixMemはLLMに結合する前に独立して事前学習することが可能です。本論文では、3つの事前学習目的を検討しています：

1. 分類 (Classification): 線形ヘッドを用いて、接頭辞の埋め込みから次のコード $c_{\ell+1}$ を予測する。
2. 生成型検索 (Generative Retrieval): ユーザー行動の遷移パターンを捉えるために、生成型SIDモデル（例：TIGER）で学習する。
3. LLM共同学習 (LLM Joint Training): テキスト＋SIDデータを用いて、小さなLLMとエンコーダーを共同で学習し、言語に基づいた表現を注入する。

主な貢献

1. SIDを一つのモダリティとして再定義: 本論文は、SIDが専用のエンコーダーを必要とする明確なモダリティを構成していると主張しており、これは画像や音声エンコーダーがマルチモーダルLLMにおいて非言語モダリティを橋渡しする仕組みと並行しています。
2. PrefixMemの設計: 構造化された接頭辞条件付き表現を提供する、接頭辞 $n$-gramメモリモジュールの導入。これは軽量であり、事前学習が可能で、異なるLLMファミリー間での転移が可能です。
3. 効率性とスケーラビリティ: エンコーダーがSIDの知識をLLMのパラメータから分離します。これにより、PrefixMemを備えたより小さなモデル（例：0.6B）が、それを持たないより大きなモデル（例：4B）を大幅に上回る性能を発揮できます。
   4.ాల 包括的な評価: Pinterestの数十億規模のデータを用いた、複数のLLMファミリー（Qwen, Llama, Gemma）および非LLMアーキテクチャ（TIGER）に対する広範な評価。

実験結果

5レベルのSID（各レベル2048個のコード）を持つPinterestの数十億規模のアイテムカタログを用いて評価した結果、PrefixMemは顕著な改善を示しました：

• レベルごとの精度: 同等の学習計算量において、PrefixMemは最も深いSIDレベル（L4およびL5）の精度を最大46%相対的に向上させました（例：Qwen3 1.7Bにおいて37.6%から54.8%へ）。レベル1〜3はほぼ変化がなく、エンコーダーが深い接頭辞の組み合わせ爆発を標的にしていることが確認されました。
• 検索性能: フルSID検索のリコール（Recall@100）は、最大22%相対的に向上しました。この恩恵はビーム幅に対して単調にスケールしており、エンコーダーが広い探索空間において正しいパスを見つけ出す助けとなっていることを示しています。
• 困難な事例: 改善は、貪欲なデコーディングが失敗する「到達不能な」事例に集中しています。これらの困難なケースにおいて、精度は最大77%相対的に向上しました。
• 希少アイテム: エンコーダーは希少なアイテム（接頭辞頻度の下位25%）において不釣り合いなほど大きな恩恵を受け、精度を115%相対的に向上させました（人気アイテムの向上率は34%）。これは、エンコーダーが密度が高いトランスフォーマーの重みよりも、サンプル効率的に接頭辞パターンを学習できる能力を浮き彫りにしています。
• カタログの妥当性: エンコーダーは幻覚（存在しないSID）を減少させ、L5のヒット率を50.7%から65.1%に向上させました。
• 汎用性: PrefixMemを備えた0.6Bモデルは、それを持たない4Bモデルよりも高いSID予測精度を達成しました。また、エンコーダーはTIGERのような非LLMモデルの性能も向上させ（L5精度を121%向上）、モデルに依存しない特性を示しました。
• アーキテクチャ比較: 4層の因果的トランスフォーマーエンコーダー（336Mパラメータ）は、スパースなハッシュベースのPrefixMemの性能に及びませんでした。これは、SIDのエンコーディングが学習された計算の問題ではなく、本質的にメモリ容量の問題であることを示唆しています。

意義と主張

本論文は、SIDを専用のエンコーダーを必要とする第一級のモダリティとして扱うことが、効率的でスケーラブルな生成型推薦への重要なステップであると主張しています。組み合わせ的なSID階層の負担を外部の事前学習可能なメモリテーブルにオフロードすることで、PrefixMemはLLMがその構造をゼロから発見するのではなく、構造を活用することに集中することを可能にします。

著者らは、このアプローチがLLMベースの推薦をより安価にするための実用的な道筋を提供すると強調しています：

• 計算効率: エンコーダーによる計算オーバーヘッドは極めて小さく（総FLOPsの0.02%未満）、安価に事前学習可能です。
• モデルのスケーリング: より小規模でコスト効率の高いモデルが、以前はより大規模なモデルに限定されていた性能レベルに到達することを可能にします。
• モジュール性: エンコーダーはアーキテクチャに依存せず、異なるLLMファミリーや非LLM生成モデルにも転移可能です。

結論として、マルチモーダルLLMが画像や音声のための専用エンコーダーに依存しているのと同様に、生成型推薦システムも、その階層的かつ文脈依存的な性質を効果的に扱うために、専用のエンコーダーを必要とするのです。