A Descriptive and Normative Theory of Human Beliefs in RLHF

技術的要約：RLHFにおける人間の信念に関する記述的および規範的理論

問題提起
人間からのフィードバックによる強化学習（RLHF）は、伝統的に、人間の報酬関数またはエージェントの最適な状態行動価値（$A^*$）の関数として人間の好みをモデル化している。リターンベースやレグレットベースのモデルを含む標準的なアプローチは、ラベル付け者が、実際に起こったこと、あるいは最適なエージェントが達成し得ることに基づいて軌跡を評価すると仮定している。しかし、本研究は、人間のラベル付け者は、訓練されているエージェントの実際の能力についても信念を持っていると断定する。もしラベル付け者が、エージェントが最適ではないにもかかわらず最適であると想定したり、その逆であったりする場合、彼らの好みが、RLHF後のポリシーに壊滅的または不適切な結果をもたらす可能性がある。本論文は、次の2つの核心的な問いを調査している。(1) 人間のラベル付け者のエージェントの能力に対する信念は、記述的に彼らが提供する好みに影響を与えるのか？ (2) 規範的に、結果として得られるポリシーの性能を最大化するために、ラベル付け者が持つべき理想的な信念とは何か？

手法
著者らは信念ベースの好みのモデルを提案し、理論的分析、合成実験、および被験者実験を通じて検証を行っている。

1. 理論的枠組み:

   • 著者らは、エージェント能力への信念を、ラベル付け者が推定する、RLHF後のエージェントのポリシーを表す$Q$関数（$Q^{\pi_{belief}}$）として定義する。
   • 彼らは、新しい好みのモデル（式3）を導入する。ここでは、軌跡$\sigma^+$が$\sigma^-$よりも好まれる確率は、最適なアドバンテージ$A^*$ではなく、アドバンテージ関数$A^{\pi_{belief}}$によって決定される。
   • 規範的理想: 本論文では、規範的理想の信念（$Q^{\pi^*_{belief}}$）を、絶対的な最適性としてではなく、エージェントの制約（例：関数近似の限界、ノイズの多いアクチュエータ）を考慮した上で、達成可能な最善のポストRLHFポリシーに対して最高の期待リターンをもたらす信念として定義する。
   • 理論的境界: 著者らは、ポストRLHFポリシーの性能損失に関する形式的な境界（定理4.3）を、「エージェントとラベル付け者の不一致（$\delta$）」（最適信念とラベル付け者の実際の信念との差の大きさとして定義）の関数として導出している。この境界は、期待リターンがこの不一致の大きさに比例して線形に低下することを示している。

2. 合成実験:

   • 著者らは、エージェントの能力が$\epsilon$-greedyノイズパラメータ（$\epsilon$）によって制限されるGridWorldドメインを用いた実験を行った。
   • ラベル付け者の信念は、合成された好みを生成するために使用される想定ノイズレベル（$\epsilon'$）を変化させることで操作された。
   • 研究では、真のエージェントノイズ（$\epsilon$）と想定されるラベル付け者ノイズ（$\epsilon'$）の行列全体にわたる、訓練されたポリシーの期待リターンを測定した。

3. 人間による被験者研究:

   • ドメイン: 自動運転車のシミュレーション（CARLA）。
   • 介入: 参加者は以下の3つの条件に割り当てられた：(1) コントロール群（プライミングなし）、(2) 安全なプライミング（車が安全かつ有能に走行しているビデオを視聴）、(3) 不安全なプライミング（車がドリフトしたり衝突したりしているビデオを視聴）。
   • タスク: 参加者は、高速だがリスクの高い経路と、低速だが安全な経路のペアに対して、好みを提示した。
   • 分析: 自由記述のフィードバックに関するセンチメント分析（GPT-4を使用）と、リッカート尺度による好みのデータに対する統計テスト（Kruskal-Wallis検定およびDunnの検定）を用いて、プライミングが信念およびその後の好みに影響を与えたかどうかを判断した。

主な貢献

1. 不一致の提示: 本論文は、ラベル付け者の信念とエージェントの実際の能力との間の不一致が、たとえラベル付け者が自身の（誤った）信念に基づいて「合理的」に行動していたとしても、不適切なポリシーにつながる可能性があることを示している。
2. 規範的理論: 著者らは、ラベル付け者の信念の規範的理想を、絶対的な最適性ではなく、エージェントが達成可能な性能の天井に関連するものとして定義し、この理想からの逸脱によって生じるレグレットに関する理論的境界を提供している。
3. 信念の影響に関する実証的検証: ヒューマンスタディは、人間の信念がエージェントの能力に関する信念を著しく変化させ、その後の好みに影響を与えることを確認している。具体的には、エージェントの能力に関する情報（安全 vs 不安全）でプライミングされたことが、統計的に有意に好みを変化させた。
4. 最適性を想定することの非最適性: 合成実験は、エージェントに固有の性能限界（例：高いノイズ）がある場合、エージェントの最適性を想定すること（標準的なレグレットベースのアプローチ）がしばしば非最適であることを示している。

結果

• 理論的: 導出された境界（式4）は、ポストRLHFポリシーの期待リターンが、最適リターンからエージェントとラベル付け者の不一致（$\delta / (1-\gamma)$）に比例する項を引いたものによって下限付けられることを確立している。
• 合成: GridWorld実験において、最も高いポリシーリターンは、ラベル付け者の想定ノイズ（$\epsilon'$）がエージェントの真のノイズ（$\epsilon$）と密接に一致しているときに達成された。エージェントがノイズを含んでいる場合（$\epsilon=0.3$または$0.5$）、エージェントが最適である（$\epsilon'=0$）と想定することは、エージェントが安全に実行できないリスクの高い行動を学習してしまうため、著しく低いリターンをもたらした。
• 人間による研究:
  • 信念: 自由記述の回答に対するセンチメント分析により、「不安全なプライミング」を受けたグループの参加者は、「安全なプライミング」を受けたグループと比較して、車の能力に対する信頼が有意に低いことが示された。
  • 好み: 統計分析により、安全なプライミング群と不安全なプライミング群の間で、好みに有意な差（$p=0.015$）があることが明らかになった。不安全な挙動をプライミングされた参加者は、より安全で低速な軌跡を好む傾向があり、一方で安全な挙動をプライミングされた参加者は、よりリスクの高い高速な軌跡を受け入れる傾向があった。
  • 結論: 人間の好みは静的なものではない。人間の好みは、エージェントの現在の能力に関する信念によって影響を受ける。

意義と主張
本論文は、人間の信念とエージェントの能力との間のミスマッチを減らすことが、RLHFの性能向上に不可欠であると主張している。エージェントが不完全である場合、絶対的な最適性に基づくラベル付け者の合理性という標準的な仮定は不十分であると論じている。著者らは、実務家が、エージェトの実際の能力と一致するようにラベル付け者の信念を積極的に管理すべきであると示唆している。

著者らは、以下の2つの具体的なベストプラクティスを提案している：

1. ラベル付け者への情報提供: データ収集の前に、既知のエージェントの制限（例：データの制約、物理的限界）をラベル付け者に直接伝えること。
2. 間欠的なプライミング: ラベル付け者がエージェントの現在のポリシー（デモンストレーション経由）にさらされ、信念を継続的に更新できるオンラインの好みの収集ループを使用すること。

著者らは、このキャリブレーションが、操作を避けるために「真実的（実際のオンポリシーの挙動を代表していること）」である必要があると強調している。彼らは、導出された理論的境界がテーブル形式の設定に基づいていること、およびヒューマンスタディが概念実証であることを認めつつも、その結果は、安全で効果的なアライメントを確保するために、人間の信念をエージェントの現実と一致させる必要があるという、RLHFのベストプラクティスへの必要な転換を示唆していると結論づけている。