技術的サマリー：PageLLM

問題定義

全体ページ最適化（WPO）は、関連性、多様性、位置曝露、冗長性のバランスを取った、完全でランク付けされた検索または推薦結果のページを生成することを伴う。大規模言語モデル（LLM）は、ページ生成を条件付きシーケンス生成として扱うことで WPO に対する統一されたアプローチを提供するが、それらのウェブスケール環境への適応は、以下の 3 つの決定的なボトルネックに直面している。

1. 監督データの不足とコスト: 標準的な人間のフィードバックからの強化学習（RLHF）は、ページ全体を比較するために高価な人間の注釈を必要とする。産業規模では、カタログとオーディエンスのサイズの線形成長により、これが禁止的となる。
2. 単一粒度の報酬の限界: 既存の手法は通常、報酬を単一のスカラー（ページレベルまたはアイテムレベルのいずれか）に集約する。ページレベルの報酬はグローバルな一貫性を捉えるが、クリック率に不可欠な微細な位置のシフトを無視する。逆に、アイテムレベルの報酬は個々の配置を最適化するが、ページ全体が多様で冗長でないことを保証できない。
3. 相補的な失敗モード: この論文は、単一粒度の定式化が「鏡像的」な方法で失敗すると主張している。ページレベルのシグナルを除去するとグローバルなリストの一貫性が低下し、アイテムレベルのシグナルを除去すると位置の鮮明さが低下する。どちらのシグナル単独でも、ユーザー満足度を最大化するには不十分である。

手法：PageLLM フレームワーク

PageLLM は、明示的なユーザーフィードバックのみを使用して監督を 2 つの相補的な粒度に分離する、3 段階の報酬ベースの微調整フレームワークを提案する。

1. 暗黙的フィードバックからのデータ構築

人間のラベルの代わりに、このフレームワークはユーザー - アイテム相互作用ログ（例：Amazon レビューコーパス）からトレーニングデータを構築する。

• ゴールデンリスト: 各ユーザーに対して、ポジティブな相互作用（$r_{ui} > 3$）をフィルタリングし、微細な人気度で再ランク付けし、カテゴリの多様性をバランスさせることで、「ゴールデン」ランク付けリストが構築される。
• 選好ペアファミリー: 特定の失敗モードを局所化し、ゴールデンリストに対する対照ペアを作成するために、4 つのネガティブリストファミリーが生成される。
  • 非選好（$\sigma_{np}$）: 低い評価のアイテム（関連性の失敗）。
  • ランク付け（$\sigma_{rk}$）: ゴールデンリスト内のアイテムの隣接スワップ（位置の失敗）。
  • 多様性（$\sigma_{d}$）: 固有のアイテムを均質なアイテムに置換（多様性の失敗）。
  • 冗長性（$\sigma_{rd}$）: 1 つのカテゴリからのアイテムの過剰集中（冗長性の失敗）。

2. 多粒度報酬モデリング

中核的な革新は、同じ選好データ上で訓練されるが異なる目的を持つ 2 つのヘッドを備えた分離された報酬モデルである。

• 粗粒度（ページレベル）報酬（$R_c$）: 生成されたリスト全体を単一の単位としてスコアリングするブラッドレー - テリーモデル。カテゴリの混合や平均的な関連性などのグローバルな手がかりを学習し、ノイズの多いフィードバックに対する安定性を提供する。
• 微粒度（アイテムレベル）報酬（$R_f$）: 個々のアイテムをスコアリングし、それらを平均化するモデル。エンゲージメントに敏感な位置のスワップを検出するように訓練される（例：2 つの隣接するアイテムをスワップすることが全体のスコアにどのように影響するか）。
• 組み合わせ: 最終的な報酬は単純な和（$R = R_c + R_f$）である。著者らは、この加法的アプローチが積よりも優れていると主張しており、独立した勾配を保持し、超加法的な性能向上を可能にするためである。

3. PPO を用いた RLHF 微調整

事前学習された LLM（例：GPT-2）は、3 段階のトレーニングプロセスを経て学習する。

1. メタ情報事前学習: モデルは、メタプロンプトでの評価予測と次のトークン予測を通じて、推薦セマンティクスに適応される。
2. 教師あり微調整（SFT）: モデルはゴールデンリスト上で微調整され、出力スキーマと基準分布を学習する。
3. PPO 最適化: モデルは、結合された多粒度報酬を用いた近接方策最適化（PPO）によってさらに最適化される。SFT 基準方策に対する KL 発散ペナルティにより、モデルが退化的な出力空間に逸脱するのを防ぐ。

主要な貢献

1. フィードバックから報酬へのパイプライン: 人間のラベルなしでページ生成のための RLHF 監督に変換する、ノイズの多い暗黙的フィードバックを処理する 4 つの選好ペアファミリーの形式化。
2. 多粒度報酬アーキテクチャ: ページレベルのブラッドレー - テリーモデルとアイテムレベルの位置スワップモデルを組み合わせる分離された報酬システムの導入と、それらの相補性を実証的に示すこと。
3. スケーラビリティの証拠: 11 のベースラインに対する 7 つの Amazon カテゴリにわたる包括的な評価、1000 万ユーザー規模のオンライン A/B テスト、およびコールドスタートの堅牢性とバックボーンの効率性に関する研究。
4. 展開のモジュール性: 報酬の加法的性質により、粗粒度のページレベルコンポーネントを CPU 側のランキング機能として展開できることを実証し、既存のインフラストラクチャでの段階的なロールアウトを容易にすること。

実験結果

• オフライン性能: 7 つの Amazon カテゴリにおいて、PageLLM は 11 のベースライン（行列因子分解、逐次トランスフォーマー、その他の LLM ベースの推薦システムを含む）を上回った。報酬なしのバリアントと比較して、NDCG@100 で最大46.8% の改善を達成した。この改善は、微妙な選好を持つカテゴリ（高級品、スポーツ、楽器、美容）で最も顕著であった。
• アブレーション研究: ページレベルまたはアイテムレベルの報酬ヘッドのいずれかを除去すると、パフォーマンスが大幅に低下する（NDCG@100 がそれぞれ 17.8% と 15.2% 減少）。これは、これらのシグナルが冗長ではなく相補的であることを確認する。
• オンライン A/B テスト: 1000 万人以上のユニークユーザーを擁する商用 E コマース検索エンジンに展開され、1 週間の期間でGMV が 0.44% 増加し、クリック率（CTR）が 0.14% 増加した。
• 堅牢性: コールドスタートシミュレーション（データ 50% 削減）において、PageLLM は逐次モデル（SASRec）やオートエンコーダー（Multi-VAE）のベースラインよりも劣化が少なかった。
• バックボーンの効率性: GPT-2 と Llama3.2-1B を比較する実験は、このタスクにおいて GPT-2 がパフォーマンスと計算コストの間のパレート最適なバランスを提供することを示唆しており、モデル容量ではなく報酬構造が制限要因であることを示している。

意義と主張

この論文は、LLM ベースの WPO における主要なボトルネックは監督データの欠如ではなく、監督シグナルの粒度であると主張している。報酬をページレベルとアイテムレベルのコンポーネントに分離することで、PageLLM は暗黙的フィードバックのみを使用して、LLM をウェブスケールの WPO 目標と整合させることに成功した。

著者らは、このアプローチが以下の点で重要であると強調している。

• 高価な人間の注釈の必要性を排除する。
• 既存の手法がグローバルなページの一貫性とローカルなアイテムの配置を同時に最適化できない「単一粒度」の失敗モードを解決する。
• 1000 万ユーザー規模の A/B テストの成功と、CPU インフラストラクチャ上でコンポーネントを部分的に展開できる能力によって実証されるように、実運用への展開への実践的な道筋を提供する。

この研究は、暗黙的フィードバックから導かれた多粒度報酬が、LLM を生産レベルの全体ページ最適化にスケーリングするのに十分であることを結論付けており、スコア付けされたアイテムの集まりではなく、統合された生成エンティティとしてページを扱う推薦システムへの新たな道筋を提供している。