論文「Best Policy Learning from Trajectory Preference Feedback」の技術的サマリー

本論文は、強化学習における**「軌道（トラジェクトリ）レベルの選好フィードバック」を用いた「最適方策の特定（Best Policy Identification, BPI）」**問題に焦点を当て、オフラインデータとオンライン探索を効果的に統合する新しいアルゴリズム「PSPL (Posterior Sampling for Preference Learning)」を提案しています。特に、生成モデル（LLM や画像生成モデルなど）の微調整（Fine-tuning）における人間フィードバックからの学習（RLHF）の課題を解決することを目的としています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定と背景

背景

• RLHF の限界: 従来の強化学習からの人間フィードバック（RLHF）は、人間の選好から報酬モデルを学習させる必要があります。しかし、この報酬モデルの誤指定（Misspecification）や報酬ハッキング（Reward Hacking）のリスクがあり、複雑な人間の目的をスカラー値の報酬に単純化することの難しさが課題です。
• PbRL の利点: 選好ベースの強化学習（Preference-based RL, PbRL）は、絶対的な報酬値ではなく、2 つの軌道間の相対的な比較（どちらが良いか）というノイズを含むバイナリ選好を直接利用するため、よりロバストです。
• 実用的な課題: 実際の応用（例：LLM の対話最適化）では、大量のオフライン選好データセット（バイアスや分布外データを含む可能性あり）が存在しますが、それだけでは不十分です。一方、オンラインでの純粋な探索（Pure Exploration）はコストがかかります。
• 目的: 限られたオンライン予算の下で、オフラインの選好データセットとオンラインの探索データを組み合わせて、最終的に最も高い整合性（Alignment）を持つ方策（Best Policy）を特定することを目指します。これは累積後悔の最小化ではなく、最終的な方策の質を最大化する「単純後悔（Simple Regret）」の最小化が重視されます。

問題定義

• 環境: 未知の遷移ダイナミクスと報酬関数を持つエピソード型 MDP。
• データ:
  • オフラインデータ: 評価者（Rater）が生成した軌道ペアの選好データセット $D_0$。評価者の能力（Competence）は限定的（不完全）である可能性があります。
  • オンラインデータ: 学習エージェントが生成した軌道ペアに対する選好フィードバック。
• 評価者モデル: Bradley-Terry モデルに基づき、評価者の「確実性（$\beta$）」と「環境報酬モデルへの知識（$\lambda$）」という 2 つの能力パラメータで定義されます。

---

2. 提案手法：PSPL (Posterior Sampling for Preference Learning)

著者は、オフラインデータから事前分布を形成し、オンライン探索中にベイズ更新を行う**「Top-2 Posterior Sampling」**に基づくアルゴリズム PSPL を提案しました。

核心的なアプローチ

1. インフォームド事前分布（Informed Priors）の構築:

   • オフラインデータ $D_0$ を用いて、報酬パラメータ $\theta$ と遷移パラメータ $\eta$ の事前分布を「インフォームド（情報豊富）」なものに更新します。
   • 評価者の能力パラメータ（$\beta, \lambda$）を考慮し、評価者が誤った選好を行う確率をモデル化して事前分布に組み込みます。これにより、オフラインデータの質（評価者の能力やデータ量）がオンライン学習の初期状態に反映されます。

2. オンライン探索フェーズ:

   • 各エピソードにおいて、現在の事後分布から 2 つのサンプル（$\theta^{(0)}, \eta^{(0)}$ と $\theta^{(1)}, \eta^{(1)}$）を抽出します。
   • それぞれのサンプルに基づいて 2 つの方策 $\pi^{(0)}_k, \pi^{(1)}_k$ を計算し、それぞれから 1 つずつ軌道 $\tau^{(0)}_k, \tau^{(1)}_k$ を生成します。
   • 評価者にこの 2 つの軌道の選好を求め、そのフィードバック $Y_k$ を得て、事後分布を更新します。
   • このプロセスは「Top-2 Thompson Sampling」のアイデアに基づき、探索と利用のバランスを自然に取ります。

3. 最終方策の出力:

   • $K$ エピソード終了後、事後分布の最大事後確率推定（MAP）に基づいて最適方策を出力します。

実用的な近似：Bootstrapped PSPL

• 厳密な事後分布の更新は共役性の欠如により計算困難なため、ベイズブートストラップを用いた近似手法を提案しています。
• オンライン損失、オフライン損失、事前分布損失に対してランダムな重み（ノイズ）を付与し、その損失関数を最小化する MAP 推定値を事後分布からのサンプルとして扱います。これにより、計算的に実行可能なアルゴリズム（Algorithm 2）を実現しています。

---

3. 主要な理論的貢献

1. 初の単純後悔保証:

   • PbRL におけるオフラインデータとオンライン探索を組み合わせた設定において、単純後悔（Simple Regret）の上限 boundを初めて導出しました。
   • 定理 4.4 において、オフラインデータセットのサイズ $N$、評価者の能力（$\lambda, \beta$）、およびオンラインエピソード数 $K$ に依存する後悔 bound を示しています。
   • 重要な知見: 評価者の能力（$\lambda, \beta$）が高いほど、またオフラインデータ量 $N$ が多いほど、単純後悔は指数関数的に減少します。特に評価者が「専門家」に近づくにつれて、ベースライン手法と比較して劇的な改善が得られることが理論的に証明されました。

2. オフラインデータの質の定量化:

   • 単にデータがあるだけでなく、そのデータが生成された評価者の「能力」が学習効率にどう影響するかを理論的に定式化しました。

---

4. 実験結果

評価環境

• 制御タスク: MountainCar, RiverSwim（標準的な MDP ベンチマーク）。
• 画像生成タスク: Pick-a-Pic データセット（テキストから画像を生成する Diffusion モデルの微調整）。

結果

1. ベースラインとの比較:

   • 既存の手法である DPO (Direct Preference Optimization)、IPO (Identity Preference Optimization)、LPbRL、DPS (Dueling Posterior Sampling) と比較しました。
   • MountainCar と RiverSwim において、PSPL は単純後悔（Simple Regret）において DPO や IPO を明確に上回りました（図 1, 3）。特に、オフラインデータを用いたウォームスタート（Warm-start）が有効であることが示されました。
   • 画像生成タスクにおいても、PSPL は DPS よりも高い最終報酬（低い単純後悔）を達成し、生成される画像の質が向上しました（図 4）。

2. パラメータの影響:

   • 評価者の能力 ($\lambda, \beta$): 評価者の能力が高いほど、またデータ量 $N$ が多いほど、後悔は大幅に減少しました（図 2）。
   • ロバスト性: 評価者の能力パラメータ（$\lambda, \beta$）を誤って指定した場合でも、PSPL はベースライン手法よりも優れた性能を維持し、パラメータの誤指定に対して頑健であることが示されました（図 5）。

---

5. 意義と結論

• RLHF への新たな視点: 従来の RLHF が「累積報酬の最大化」や「報酬モデルの学習」に依存するのに対し、本論文は「最終的な方策の特定（BPI）」に焦点を当て、オフラインデータとオンライン探索を統合する枠組みを提供しました。
• 理論と実践の架け橋: 理論的な後悔保証と、実用的なブートストラップ近似アルゴリズムの両方を提供し、計算的に実行可能でありながら理論的に裏付けられた PbRL の手法を確立しました。
• 評価者の能力の重要性: オフラインデータが「誰によって」「どの程度の精度で」生成されたか（評価者の能力）を明示的にモデル化し、それを学習に活用する重要性を強調しました。これは、実際の RLHF プロセスにおいて、人間評価者のばらつきを考慮する上で極めて重要です。

結論として、 本論文は、不完全なオフライン選好データと限られたオンライン探索を組み合わせることで、効率的かつロバストに最適方策を特定する PSPL アルゴリズムを提案し、理論的保証と実証的有効性の両面から PbRL と RLHF の分野に重要な貢献を果たしました。