PAWS: Preference Learning with Advantage-Weighted Segments

技術要約：PAWS (Preference Learning with Advantage-Weighted Segments)

問題提起
嗜好に基づく強化学習（Preference-based Reinforcement Learning; PbRL）は、明示的な報酬関数ではなく、人間による軌跡レベルの比較から方策を学習することを目指している。しかし、既存の手法は根本的な学習時と推論時の分布シフトに悩まされている。通常、PbRL手法はセグメントレベルまたは軌跡レベルの嗜好に基づいてユーティリティ関数（報酬モデルやアドバンテージモデルなど）を学習する。しかし、方策最適化の際、これらのモデルは個々の状態行動ペアに対してクエリ（問い合わせ）を行い、ステップごとの学習信号を計算する。

この不一致は、**時間的なクレジット割り当て問題（temporal credit assignment problem）**を生じさせる。本論文で示されているように、多くの異なるステップごとのアドバンテージ割り当てが、同じセグメントレベルの嗜好ラベルに集約される可能性がある。その結果、ユーティリティモデルはステップレベルにおいて制約が不十分な状態となる。ユーティリティモデルがセグメントで学習されているにもかかわらず、方策最適化者が単一のステップに対してこのモデルをクエリ（推論）する場合、得られる学習信号は曖昧で信頼性が低くなり、特にデータが少ない状況において方策学習を著しく低下させる。

手法：PAWS
著者らは、PAWS (Preference Learning with Advantage-Weighted Segments) を提案し、ユーティリティ学習をセグメントレベルで方策最適化と整合させることで、この分布シフトを解決する。

1. アドバンテージ学習:

   • 報酬関数を学習する代わりに、PAWSはセグメントレベルの嗜好ペア $(\tau^+, \tau^-)$ から直接アドバンテージ関数 $A_\phi$ を学習する。
   • 嗜好の尤度は、セグメント内のアドバンテージの総和に基づくブラッドリー・テリー（Bradley-Terry）形式を用いてモデル化される： $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$。
   • このモデルは、Transformerエンコーダまたは多層パーセプトロン（MLP）を用いて実装できる。

2. セグメントベースの方策最適化:

   • ステップごとのユーティリティを推論するのではなく、PAWSは軌跡セグメント上で直接方策更新を行う。
   • 本手法は、元のデータ分布 $p_D(\tau)$ の近傍（KLダイバージェンスの境界 $\epsilon$）に留まりつつ、期待アドバンテージを最大化する最適なセグメント分布 $p^*(\tau)$ を見つけるための制約付き最適化問題を定式化する。
   • その解として、再重み付けされたセグメント分布が得られる： $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$。
   • その後、方策 $\pi_\theta$ は、セグメントのアドバンテージの指数を重みとする重み付き最大尤度目的関数を最大化することで更新される：
     $$\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$$
   • 決定的なのは、重要度ウェイトがセグメント全体に適用されることであり、これにより方策の更新がセグメントレベルの嗜好情報を尊重することが保証される。

3. 有効サンプルサイズによるハイパーパラメータ制御:

   • （アクションの次元数やデータセットサイズに依存する）KL境界 $\epsilon$ の手動チューニングを避けるため、PAWSは重要度ウェイトから算出される有効サンプルサイズ ($n_{eff}$) を用いてラグランジュ乗数 $\lambda$ を制御するデータ駆動型の戦略を導入している。
   • 著者らは、アドバンテージの高いセグメントの活用と安定性のバランスを取るために、どれだけのセグメントが更新に意味を持って寄与するかを直感的に制御できるよう、$\lambda$ を設定する手法を提案している。

主な貢献

• 分布シフトの分析: 本論文は、セグメントレベルのユーティリティ学習とステップレベルの推論の間の不一致が、既存のPbRL手法における核心的な限界であり、曖昧な時間的クレジット割り当てを引き起こしていることを特定した。
• PAWSアルゴリズム: セグメントのアドバンテージ重み付きセグメントを用いて方策更新を行う、新しいセグメントベースの嗜好学習手法を提案し、軌跡レベルの嗜好情報を保持し、信頼性の低いステップレベルの信号を回避する。
• データ駆動型のハイパーパラメータチューニング: 嗜好重み付きデータの有効サンプルサイズに基づいた、直感的な方策最適化ハイパーパラメータ設定戦略を提供し、手動チューニングへの依存を軽減する。
• 実証的検証: シミュレーション上のロボット操作（Meta-World）およびロコモーション（D4RL）タスクにおいて包括的な評価を行い、確立されたベースラインに対して一貫した改善を示した。

実験結果
著者らは、2つの嗜好予算（50および500ペア）の下で、10のMeta-World操作タスクと4つのD4RLロコモーションタスクに対してPAWSを評価した。

• 性能: PAWS（TransformerおよびMLPの両方のバリアント）は、Behavior Cloning (BC)、P-IQL、CPL、CPL+KL、Preference Transformer、およびIPLを含むベースラインを一貫して上回った。
• 低データ領域: 50件の嗜好設定において、多くのベースラインはBehavior Cloningよりも性能が悪化したが、PAWSは堅牢な性能を維持しており、データが乏しいシナリオにおける効率性の高さが浮き彫りになった。
• アブレーション研究:
  • 更新の粒度: PAWSのセグメントレベルの更新を、（同じ学習済みアドバンテージ関数を用いた）状態行動レベルの更新に置き換えると、大幅な性能低下を招いた。これは、分布シフトが標準的な手法における失敗の主要因であることを裏付けている。
  • セグメント長: セグメント長を長くすると、状態行動ベースの更新では性能劣化が悪化した。一方で、ネイティブにセグメントレベルで動作するPAWSには、負の影響はほとんどなかった。
  • 人間のフィードバック: 10人の非作成者による人間によるラベル付けを用いてテストした際、PAWSは「ボタン押し」および「ドア開け」タスクにおいて最高の成功率を達成し、現実の人間によるノイズに対する堅牢性を証明した。
  • クレジット割り当て: PAWSは、ステップベースの更新と比較して、エキスパートのランキングとの高いスペアマンの順位相関係数を示し、時間的な嗜好構造をより優れた形で保持していることを示した。

意義と主張
本論文は、PAWSの性能向上は、特定のアーキテクチャの選択（MLPとTransformerの両方がステップレベルの対応物よりも優れた性能を示したことから）によるものではなく、主に学習されたユーティリティ関数の学習時と推論時の分布を一致させていることに起因すると主張している。

著者らは、セグメントで学習しながらステップで推論するという、既存手法に固有の「信頼できないステップレベルの学習信号」を回避することにより、PAWSがPbRLにおける時間的クレジット割り当て問題に対する原理的な解決策を提供することを強調している。この手法は、ステップレベルのユーティリティ推定が最もノイジーになる低データ領域において特に効果的である。評価はシミュレーション上のロボットタスクおよび小規模な人間によるデータに限定されているが、著者らは、セグメントレベルの視点が、比較が個々のトークンではなく応答全体に対して行われる大規模生成モデル（RLHFなど）の嗜好微調整にも直接適用可能であると示唆している。

限界
著者らは、PAWSがセグメント内のすべての状態行動ペアに対して一律の重要度ウェイトを割り当てるため、セグメント内に高品質な行動と低品質な行動が混在している場合には最適ではない可能性があることを認めている。また、有効サンプルサイズ ($n_{eff}$) の選択が必要であるが、これはKL境界を直接チューニングするよりも直感的であると述べている。最後に、現在の評価はシミュレーションに限定されており、大規模でノイジーな人間からのフィードバックについてはまだ扱っていない。