MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender

以下は、「MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender」という論文の詳細な技術的サマリーです。

1. 問題定義

本論文は、大規模言語モデル（LLM）を用いてアイテム ID を直接生成する生成型推薦システムにおける重要な矛盾に対処します。これらのシステムは言語モデルの推論能力を活用しますが、その性能は以下の 2 つの要因に極めて敏感です。

1. プロンプトテンプレート: 自然言語指示のバリエーション（例：「次のアイテムを予測」対「別のアイテムを推奨」）が、異なる出力分布をもたらします。
2. アイテムインデックスの種類: アイテムをトークンにエンコードする異なる方法（例：ユーザー行動に基づく協調的 ID 対、テキストメタデータに基づく意味的 ID）は、アイテム知識の異なる側面を捉えます。

核心的な課題: 同じユーザーの相互作用履歴であっても、プロンプトやインデックスの種類を変更すると、トップ-$k$予測が著しく異なります。予備分析により、これらの変動は単なるノイズではなく、補完的な知識を符号化していることが明らかになりました。例えば、異なるインデックス種類間では正しく予測されたアイテムの重複率が 50% 未満であり、異なるプロンプトは固有の文脈的ニュアンスを捉えています。既存の手法は、単一のビューに依存して補完情報を欠くか、インデックスを単純に連結してビュー間の確率的関係をモデル化できないため、最適化されず一貫性のない推薦をもたらしています。

2. 手法：MVIGER

著者らは、これらの多様なビューを体系的に統合するために設計された統一変分フレームワークであるMVIGER（Multi-View Variational Integration of GEnerative Recommender）を提案します。

A. 異種アイテムインデックス生成

MVIGER は、異なる知識源を捉えるために、すべてのアイテムに対して 2 つの異なるタイプのアイテムインデックスを構築します。

• 協調的インデックス（CeID）: ユーザー - アイテム相互作用の埋め込み（LightGCN 使用）から導出されます。
• 意味的インデックス（SeID）: Sentence-T5 によってエンコードされたアイテムメタデータ（タイトル、説明）から導出されます。
• 量子化: 両方の埋め込みは、**残差量子化変分オートエンコーダ（RQ-VAE）**を使用して、階層的な離散トークン系列に変換されます。これにより、LLM はアイテム ID をトークン単位で自己回帰的に生成できます。

B. マルチビュー変分フレームワーク

MVIGER は、特定のプロンプトテンプレートとアイテムインデックス種類の組み合わせを、固有の「ビュー」として扱います。

• 潜在変数: 特定のユーザーに対して特定のビュー（テンプレート＋インデックス）の選択を表すカテゴリカル潜在変数 $z$ が導入されます。
• 確率的定式化: 目標は、ユーザー履歴 $H(u)$ に基づくターゲットアイテム $y^*$ の周辺尤度を最大化することです。
  $$p(y^*|H(u)) = \sum_{z} p_\theta(y^*|z) p_\psi(z|H(u))$$
  ここで、
  • $p_\theta(y^*|z)$: 特定のビューに基づいてアイテムを予測する尤度ネットワーク（生成型推薦機）です。
  • $p_\psi(z|H(u))$: ユーザーの履歴に基づいてビューの関連性を推定する学習可能な関数である事前ネットワークです。

C. 学習手順（変分 EM 風）

モデルは、エビデンス下限（ELBO）を最適化するように学習されます。

1. 事後分布の計算: 最適な変分事後分布 $q^*(z|H(u), y^*)$ は、尤度と事前分布の積として、すべてのビューで正規化された閉形式で導出されます。
2. 分離最適化:
   • 尤度ネットワーク（$\theta$）は、固定された最適な事後分布 $q^*$ の下での期待対数尤度を最大化するように更新されます。
   • 事前ネットワーク（$\psi$）は、学習された事前分布と最適な事後分布との間の KL 発散を最小化するように更新されます。
   • 主要な革新: $q^*$ が閉形式で計算されるため、勾配は $q^*$ を通過せず、2 つのネットワークの安定した分離更新を可能にします。

D. 柔軟な推論

推論時にはターゲットアイテムが未知であるため、事後分布にはアクセスできません。MVIGER は、学習された事前ネットワークを使用して統合を導きます。

1. 単一ビュー選択: 効率的な予測のために、最も確率の高いビュー $z^* = \arg\max_z p_\psi(z|H(u))$ を選択します。
2. マルチビュー集約: 学習された事前分布で重み付けされたすべてのビューにわたる予測を集約します：$p(y|H(u)) = \sum_z p_\theta(y|z) p_\psi(z|H(u))$。これにより、補完的な知識を活用して精度を向上させます。

3. 主要な貢献

1. 新規問題定式化: 本論文は、生成型推薦機におけるプロンプトやインデックスの変動が単なる不安定性の源ではなく、統合されれば性能を大幅に向上させる補完的な知識を符号化していることを実証的に示しています。
2. 統一変分フレームワーク: MVIGER は、多様なテンプレート - インデックスの組み合わせを潜在ビューとして扱う確率モデルを導入します。これは、固定インデックスや単純な連結アプローチの限界を克服するために、ユーザー条件付きの事前分布を学習してこれらのビューを適応的に選択または集約します。
3. 柔軟な推論メカニズム: このフレームワークは、効率性と精度の間のトレードオフをサポートします。学習された事前分布によって制御され、再学習なしで単一ビュー（高速）または複数ビューの集約（高精度）のいずれかを実行する選択が可能です。
4. 最先端の性能: 広範な実験により、MVIGER は複数のデータセットにおいて、既存のベースライン（P5、TIGER、EAGER、および LLM ベースの手法を含む）を上回ることを示しています。

4. 実験結果

• データセット: Amazon Beauty、Amazon Sports、およびYelpで評価されました。
• 性能: MVIGER は、すべてのデータセットで最高 Hit Ratio（H@5、H@10）および NDCG（N@5、N@10）を達成しました。
  • 特筆すべきは、MVIGER がより小さなバックボーン（T5-small）を使用しながらも、Llama-7B に基づく EAGER-LLM などの大規模 LLM ベースのベースラインを上回ったことです。これは、この文脈においてモデルの規模よりも補完的知識の効果的な統合の方が重要であることを証明しています。
• アブレーション研究:
  • インデックス選択: 単一ビューモデル（CeID のみ、または SeID のみ）は、統合された MVIGER よりも著しく性能が劣り、協調的シグナルと意味的シグナルの補完性を確認しました。
  • 集約: MVIGER の学習された事前分布による集約は、「Self-Consistency」（多数決）や「Uniform Prior」（均等重み付け）などの単純なベースラインを上回り、ユーザー固有のビュー重みを学習することの価値を示しました。
• 事前分布分析: 学習された事前分布の可視化により、コールドスタートユーザーは意味的 ID（テキストベース）に依存する傾向があるのに対し、豊富な相互作用履歴を持つユーザーは協調的 ID（行動ベース）に依存することが明らかになりました。これは、モデルが意味のある文脈認識型重み付け戦略を学習していることを確認しています。
• 効率性: 事前ネットワークの推論オーバーヘッドは無視できる程度（ユーザーあたり約 0.01 秒）であり、バッチ処理により効率的なマルチテンプレート推論が可能になります。

5. 意義

• 生成型推薦機における安定性: MVIGER は、プロンプト/インデックス感度によって引き起こされる生成型推薦機の「不安定性」の問題を、バグではなく機能（補完的ビュー）に変えることで解決します。
• 確率的統合: 経験則的な連結や単純なアンサンブル手法を超え、異種情報源を融合するための厳密な確率フレームワーク（変分推論）を提供します。
• スケーラビリティと適応性: このフレームワークは特定のインデックス種類に縛られていません（CeID/SeID または P5 の CID/SemID とともに機能）し、集約するビューの数を選択することで、異なる計算予算に適応できます。
• 将来の方向性: この研究は、「マルチビュー」学習が次世代推薦システムにとって有望な方向であることを浮き彫りにし、将来的な研究が視覚、価格、外部知識などを追加のビューとして含める可能性があることを示唆しています。