技術概要：UniSID – 生成型広告推薦のためのエンドツーエンド意味 ID 生成

1. 問題定義

生成型推薦（GR）は、推薦を次のトークン予測タスクとして定式化し、大規模なアイテムを離散シーケンスにトークン化するために意味 ID（SIDs）に依存することで、強力なパラダイムとして登場しました。しかし、既存の GR 手法は、主に残差量子化（RQ）に基づく2 段階のカスケード圧縮パラダイムを利用しています。このパイプラインでは、アイテムはまず密な埋め込み（ステージ 1）にエンコードされ、その後、離散的な SID に量子化されます（ステージ 2）。

著者は、この支配的な 2 段階パラダイムに 3 つの固有の限界を特定しています：

1. 目的の不一致：埋め込み学習ステージは意味の豊かさに最適化されるのに対し、SID 生成ステージは離散トークン予測に最適化されます。この分離により、エンドツーエンドの共最適化が妨げられ、最適ではない SID 表現につながります。
2. 意味の劣化：SID は事前学習された埋め込みからのみ生成されるため、このプロセスは生アイテム特徴（例えば、マルチモーダル信号や構造化属性）を直接利用できません。このボトルネックにより、重要な意味情報が失われ、SID の忠実度が低下します。
3. 誤差の蓄積：RQ は残差を近似することで埋め込みを階層的に量子化します。量子化ノイズはレベル間で蓄積し、深い層は前のステージからの残差のみを観測するため、深いレベルでは情報が漸進的に疎になり、SID はよりノイズが多く、信頼性が低くなります。

核心的な研究課題は、この 2 段階のカスケード圧縮パラダイムから脱却する統合されたエンドツーエンド SID 生成フレームワークを設計できるかどうかです。

2. 手法：UniSID

著者は、生広告データから埋め込みと SID を直接共最適化する、生成型広告推薦のための統合フレームワークUniSIDを提案します。このフレームワークは、主に 3 つのコンポーネントで構成されます：

2.1 広告強化入力スキーマ

意味の劣化に対処するため、UniSID は異質な広告信号を線形化し、共有の**マルチモーダル大規模言語モデル（MLLM）**によって処理される統合トークンシーケンスに変換します。入力には以下が含まれます：

• 広告指示プロンプト：モデルに SID と埋め込みの生成を明示的に指示します。
• 非構造化モダリティ：視覚コンテンツ（画像）とテキスト記述（タイトル/説明）。
• 構造化広告属性：業界および階層的カテゴリ情報（例：日用品 → 食器 → 飲料器 → 水筒）であり、生画像/テキストに内在する意味の曖昧さを解消します。
• 学習可能トークン：入力に付加される一連の学習可能なSID トークンと埋め込みトークン。

MLLM はこれらの入力を隠れ状態にエンコードします。SID ヘッドは SID トークンの表現を SID 空間に投影し、埋め込みヘッドは埋め込みトークンの表現をアイテム埋め込み空間に投影します。重要なのは、埋め込みトークンが先行する SID シーケンスに条件付けられることで、生データと粗から細への意味情報の両方を統合できる点です。

2.2 統合された SID と埋め込み生成

残差を階層的に量子化する RQ 手法とは異なり、UniSID はマルチレイヤー SID の各レイヤーを同じ完全な文脈広告から直接予測します。これにより、すべての SID レイヤーが完全な広告情報にアクセスでき、漸進的な情報希薄化が緩和されます。

• モデルは $L$ 個の意味レイヤーのロジットを出力します。
• 離散的な SID トークンは、各レイヤーのロジットに対する argmax 操作によって得られます。
• 最終的な SID は、これらのレイヤーごとのトークンの連結です。

2.3 多粒度対比学習

異なる SID レベル間で意味の一貫性を強制するため、著者は多粒度対比学習戦略を導入します。

• 固定された正例セットの代わりに、この手法は各意味レベル $l$ における広告の関連性に基づいて正例関係を適応的に決定します。
• 正例セット（$P_l$）は、レベル $l$ で同じ意味カテゴリを共有するアイテムで構成されます。
• 損失関数（$\mathcal{L}_{sid}$）は各粒度レベルで独立して最適化され、微細な SID が粗いレベルのノイズを取り込むことなく、階層的一貫性が維持されることを保証します。
• 標準的な対比損失（$\mathcal{L}_{emb}$）もアイテム埋め込みに対して適用されます。

2.4 要約ベースの広告再構成

生データに明示的に存在しない潜在的な高レベル意味を SID が捉えることを促すため、要約ベースの再構成メカニズムが提案されます。

1. 要約生成：凍結された LLM が構造化広告属性を高レベル意味要約（$s^{sum}_i$）に要約し、潜在的な情報（例：ターゲットオーディエンスの意図）を推論します。
2. 再構成：モデルは SID 埋め込みとアイテム埋め込みを連結し、再構成ヘッドを通じて投影し、LLM を使用して次のトークン予測を通じて意味要約を再構成します。
3. 目的：このプロセス（$\mathcal{L}_{rec}$）は補助的な教師信号として機能し、SID に識別性の高い高レベル意味特徴をエンコードさせることを強制します。

2.5 共最適化

全体の訓練目的は、3 つのコンポーネントを組み合わせます：
$$\mathcal{L}_{total} = \mathcal{L}_{sid} + \mathcal{L}_{emb} + \lambda \mathcal{L}_{rec}$$
この統合設計により、SID と埋め込みは互いに強化し合い、2 段階パイプラインの目的の不一致を回避します。

3. 主要な貢献

1. 限界の特定：本論文は、支配的な 2 段階 RQ パラダイムの限界（目的の不一致、意味の劣化、誤差の蓄積）を形式的に特定し、分析します。
2. UniSID フレームワーク：生データから SID と埋め込みを共最適化する新規エンドツーエンドフレームワークであり、広告強化入力スキーマと完全文脈マルチレイヤー予測を利用します。
3. 意味保存メカニズム：レベル固有の意味的一貫性を強制する多粒度対比学習の導入と、潜在的な高レベル意味を捉えるための要約ベースの再構成メカニズムの導入。
4. 実証的検証：産業用広告データセットと公開ベンチマーク全体での包括的な評価。

4. 実験結果

著者は、2 つの産業用広告データセット（Ad-60W、Ad-100W）と公開ベンチマーク（Amazon Beauty）で UniSID を評価しました。

• SID の品質：Ad-60W データセットにおいて、UniSID は最も強力なベースライン（RQ-Kmeans）と比較して、3 つの意味レイヤー全体で V-Measure（クラスタリング品質）が1.86% から 3.09% 改善されました。
• 次広告予測：Ad-100W データセットにおいて、UniSID は Hit Rate（HR@5）を RQ-Kmeans より4.62% 改善しました。
• 埋め込み検索：Ad-60W データセットにおいて、UniSID は最先端のマルチモーダル埋め込み手法（例：VLM2Vec2）を上回り、Recall@1 で45.46% の大幅な改善を達成しました。
• 公開ベンチマーク：Amazon Beauty データセットで TIGER フレームワークに統合された場合、UniSID は最良のベースライン（TIGER-LETTER）に対して Recall@5 を11.83% 改善しました。

アブレーション研究は以下のことを確認しました：

• 共訓練は単一タスク訓練よりも優れており、SID と埋め込み生成間の相互強化が両方を向上させます。
• 多粒度対比損失は、階層的意味構造を保存する点で、標準的な分布マッチング損失（KL、JS）や BCE 損失を上回ります。
• 要約ベースの再構成は、モデルに潜在的な高レベル意味特徴を捉えるよう導くことで、SID の品質を大幅に向上させます。

ケーススタディは、UniSID によって生成された SID が、明示的な属性だけでなく、要約メカニズムから推論される（例：「快適さ」、「ファッション」、「プロフェッショナルなイメージ」）潜在的な高レベル意味も成功裡に再構成できることを示しました。

5. 意義と主張

本論文は、UniSIDが、分離された 2 段階圧縮パラダイムから統合されたエンドツーエンドアプローチへの重要な転換を表すと主張しています。生広告データから直接 SID を誘導することで、この手法は残差量子化に固有の情報損失と誤差蓄積を効果的に緩和します。

著者は、彼らのアプローチが以下の点を実現すると主張しています：

• 複雑で異質な広告環境における生成型推薦のための、より堅牢でスケーラブルなソリューションを提供する。
• 微細な詳細と潜在的な高レベル意味の両方を SID が捉えることを可能にし、ID の品質と下流の推薦パフォーマンスの両方を向上させる。
• 大規模産業データセットと標準的な公開ベンチマークの両方で良好に機能する、強力な汎化能力を示す。

本研究は、UniSID が現在の SID 生成手法の固有の限界を成功裡に克服し、表現学習と生成型推薦の目的を整合させる統合フレームワークを提供することを結論付けています。