技術概要：RRCM – 協調的およびメタメモリに基づくランキング駆動型検索

1. 問題定義

大規模言語モデル（LLM）は、その意味理解と推論能力により、推薦システムにおける有望なパラダイムとして浮上しています。しかし、現在の LLM ベースの推薦システムは、異質な証拠から意思決定に関連するコンテキストを構築する際に、2 つの重要な課題に直面しています。

1. 固定されたコンテキスト構築: 既存の手法は、通常、協調的行動証拠（例：ユーザー間相互作用）やアイテムメタデータを組み込むために静的な戦略に依存しています。これらのアプローチは、事前に定義されたプロンプト、静的な検索パイプライン、または手作りの注入メカニズムを使用します。その結果、特定のインスタンスに対してどの証拠が有益であるか、いつ検索すべきか、またそれを LLM の意思決定プロセスにどのように統合すべきかを明示的に学習することができません。
2. コンテキスト効率のボトルネック: 現実世界の推薦データには、豊富なメタデータと広範な相互作用履歴が含まれています。利用可能なすべての情報を含めると、許容できないほど長いコンテキストウィンドウが生じますが、過度の圧縮やヒューリスティックなフィルタリングは、正確なランキングに不可欠な微細な証拠を破棄するリスクがあります。特にニッチなアイテムや新規アイテムにおいて、LLM が根拠のない証拠なしにプロパティを幻覚（ハルシネーション）させる可能性があります。

核心となる問題は、単により多くのコンテキストを提供することではなく、各推薦意思決定に対して適応的に適切なコンテキストを構築し、精度と計算効率のバランスを取ることです。

2. 手法：RRCM フレームワーク

著者は、推薦を適応的な証拠獲得および推論プロセスとして扱うRRCM（協調的およびメタメモリに基づくランキング駆動型検索）を提案します。

2.1 二重メモリ検索コーパス

RRCM は、自然言語で表現された 2 つの相補的なメモリを含む統合された検索コーパス $\mathcal{M}$ を利用します。

• 協調メモリ: 過去のユーザーからの匿名化された相互作用シーケンス（例：「ユーザー 123 の履歴：[アイテム A, アイテム B, ...]」）を格納します。これにより、類似の好意を持つユーザーがどのように相互作用を継続するかに関する行動証拠が提供されます。
• メタメモリ: 豊富なアイテムメタデータ（例：「映画：インセプション；監督：ノーラン；ジャンル：SF」）を格納します。これにより、根拠のあるアイテムレベルの属性が提供されます。

両方のメモリは、モデルによって生成された自然言語クエリ $q$ に対する単一の柔軟なインターフェース Retrieve(q) を介してアクセスされます。

2.2 交差する推論と検索

RRCM は、方策 $\pi_\theta$ が内部推論と外部メモリアクセスを交互に行う多ターンループとして推論をモデル化します。

1. 初期状態: プロセスは、主にアイテムタイトルからなる軽量なコンテキスト（$S_{init}$）で開始されます。
2. 推論と評価: モデルは現在の状態を分析し、利用可能な証拠が信頼性の高いランキング意思決定に十分かどうかを判断します。
3. 行動決定:
   • 検索行動: 追加の証拠が必要な場合、モデルは協調メモリまたはメタメモリから検索するための自然言語クエリを生成します。検索されたパッセージはコンテキストに追加され、推論が再開されます。
   • 終了行動: コンテキストが十分と判断された場合、モデルは検索を停止し、最終的な推薦文字列を生成します。

この設計により、モデルは外部証拠が意思決定の改善が期待される場合のみ（例えば、ニッチなアイテムの曖昧さを解消するためのメタデータの検索、または行動的に支持された候補を特定するための協調履歴の検索など）、コンテキストを動的に拡張することができます。

2.3 ランキング駆動型方策最適化

最適なタイミング、メモリタイプ、およびクエリ定式化が不明であるため、RRCM は最終的な推薦品質に直接駆動される**強化学習（RL）**を用いて方策を最適化します。

• 生成のグラウンディング: LLM の自然言語出力は、セマンティック埋め込みアプローチ（例：Sentence Transformers）を使用して離散的なアイテム空間にマッピングされ、ランク付けされた候補リストを生成します。
• 報酬の定式化: 報酬関数 $R(\tau)$ は、グラウンディングされた候補リストと真値との比較におけるトップ-$n$ ランキング指標（ヒット率と NDCG）の加重和と、フォーマット妥当性の項の合計です。
• 最適化: 著者は、目的関数を**グループ相対方策最適化（GRPO）**を用いて具体化します。この手法は、個別のクリティックなしにグループ報酬からベースラインを推定し、外部証拠が最終的なトップ-$k$ ランキング品質を向上させる場合のみ選択的に検索を行うように方策を促します。

3. 主要な貢献

1. 統合された異種メモリ検索: 本論文は、LLM ベースの推薦を、異種メモリにわたるランキング駆動型コンテキスト構築問題として定式化します。協調履歴とアイテムメタデータの両方を自然言語で表現し、統合されたインターフェースを介してアクセス可能な二重メモリフレームワークを提案します。
2. RL ベースの適応的検索と推論: RRCM は、いつ検索し、どのメモリをクエリし、どのように証拠を推論するかを学習する方策を導入します。この方策は、結果駆動型のランキング目的関数によって最適化され、手作りの検索ルールや固定された協調フィルタリング（CF）注入メカニズムの必要性を排除します。
3. 選択的証拠獲得: このフレームワークは、必要に応じてのみ協調メモリまたはメタメモリを検索することを学習し、不要なコンテキスト構築を削減して効率を向上させながら、高い推薦性能を維持します。

4. 実験結果

著者は、RRCM を 3 つの公開された E コマースデータセット（Goodreads、MovieLens、Amazon CDs & Vinyl）で評価しました。

• 性能: RRCM は、従来の逐次モデル（SASRec）、教師あり微調整された LLM（BIGRec, D3）、DPO ベースの手法（DMPO, SPRec）、推論指向モデル（REPR, LatentR3）、および検索拡張または CF 注入ベースライン（K-RagRec, BinLLM, CoLLM）を含む強力なベースラインを常に上回りました。
  • Goodreads において、RRCM は最良のベースライン（LatentR3）に対して HR@10 で**16.04%**の改善を達成しました。
  • Amazon CDs & Vinyl において、HR@10 で**15.18%**の改善を示しました。
• アブレーション研究: 主要なコンポーネント（協調メモリ、メタメモリ、または推論）のいずれかを削除すると、すべてのデータセットで性能が低下し、各コンポーネントの相補的価値が確認されました。特定のコンポーネントの重要性はドメインによって異なり（例えば、メタデータは Goodreads において重要であった一方、協調履歴は CDs & Vinyl において不可欠でした）。
• 方策の挙動: 学習プロセスの分析により、方策が時間とともにより選択的になることを学習することが明らかになりました。モデルが収束するにつれて、検索呼び出しの平均回数と応答トークン長が大幅に減少し、十分な場合は内部知識に依存し、必要な場合のみ検索することを学習したことを示しています。
• ロングテール性能: RRCM は、ロングテールアイテムにおいてベースラインに対してより顕著な優位性を示し、LLM が事前知識を持たない曖昧なアイテムや新規アイテムをメタデータ検索によって曖昧さを解消する能力を検証しました。

5. 意義と主張

本論文は、RRCM が静的な固定コンテキスト戦略から適応的でエージェント的なアプローチへの転換を通じて、現在の LLM 推薦システムの根本的な限界に対処すると主張しています。

• 効率対精度: 選択的に検索することを学習することで、RRCM は外部証拠の恩恵を犠牲にすることなく、コンテキスト長のボトルネックを緩和します。「より多くのコンテキスト」が常に良いわけではなく、「適切なコンテキスト」が重要であることを示しています。
• エンドツーエンド学習: 検索や注入に固定されたルールを使用するハイブリッドシステムとは異なり、RRCM は最終的なランキング目的関数のみによって駆動され、検索 - 推論 - 推薦のループ全体をエンドツーエンドで学習します。
• 汎用性: このフレームワークは、異なるドメイン（書籍、映画、音楽）およびバックボーンモデル（Qwen3-1.7B, Llama-3.2-3B）において堅牢であることが示されており、適応的メモリ検索が LLM ベースの推薦を強化するための汎用可能な戦略であることを示唆しています。

著者は、RRCM がより効率的で正確な LLM 推薦のための柔軟なフレームワークを提供すると結論付けていますが、オンライン A/B テストの必要性や、将来的な作業においてより豊富なユーザー特徴や時間的ダイナミクスを含む検索コーパスの拡張の可能性に関する限界にも言及しています。