技術的サマリー：群衆の選好から導かれる暗黙的な安全性アライメント

問題定義

強化学習（RL）エージェントは目標達成のために報酬関数に依存しますが、特に暗黙的な安全性制約を含む望ましい行動を完全に捉える報酬を指定することは、極めて困難です。複雑なシナリオでは、設計者はタスク完了に焦点を当て、安全性の考慮事項（安全マージンの維持や攻撃的な行動の回避など）を意図せず省略しがちであり、その結果、危険なエージェントの行動を招きます。

人間フィードバックからの強化学習（RLHF）は、エージェントを人間の選好と整合させるために開発されましたが、既存の多くの手法は、単一の統合されたユーザー価値のセットを前提としています。実際には、選好データは、多様なタスク目標と行動パターンを持つ「群衆」のユーザーから提供されることが多いです。しかし、これらのユーザーは、異なる目標を有しながらも、暗黙的な安全性基準（安全な状態の回避など）を共有することがよくあります。本研究で扱われる核心的な課題は、多様な群衆の選好データからこれらの共有された潜在的な安全性基準を発見し、安全性に無関与なタスク報酬のみが利用可能な下流タスクへ転移させる方法です。

著者は、群衆の選好から学習した報酬モデルと下流タスクの報酬を単純に組み合わせる「単純な」アプローチに限界があることを特定しました。理論的および実証的な分析により、この報酬組み合わせアプローチは以下の 2 つの重要な問題に悩まされていることが明らかになりました：

1. ユーザー固有のバイアス：学習された報酬モデルは、共有された安全性基準だけでなく、ユーザー固有のコンポーネントも捉えます。群衆データセットが不均衡（例えば、ある一人のユーザーがデータの大部分を貢献している）である場合、学習された報酬はその特定のユーザーの目標に偏り、他のタスクでの性能を低下させます。
2. 重み付けへの敏感性：性能は、選好から学習した報酬とタスク報酬との間のトレードオフ重みに極めて敏感であり、手法の調整を困難にします。

手法：安全な群衆選好に基づく強化学習

これらの限界を克服するため、著者は報酬を組み合わせるのではなく、スキルを構成する階層的フレームワークである安全な群衆選好に基づく強化学習を提案します。この手法は主に 3 つの段階から構成されます：

1. 群衆選好からのスキル発見

単一のグローバル報酬を学習する代わりに、このフレームワークは多様なユーザーが好む行動を低レベルのスキルとしてモデル化します。

• 潜在変数推論：特定の選好を決定する真のユーザーコンテキスト $z$ は観測されないため、この手法は変分オートエンコーダ（VAE）を用いて、群衆選好データから潜在変数 $z'$ を推論します。この $z'$ は、背後にあるユーザーコンテキストの代理として機能します。
• 潜在条件付き学習：フレームワークは、潜在条件付き報酬関数 $r_\phi(s, a, z')$ を学習するか、直接潜在条件付き方策 $\pi_\theta(a|s, z')$ を学習します。
  • Safe-VPL：Bradley-Terry モデルを用いた変分選好学習（VPL）アプローチで $z'$ に条件付けられた報酬を学習し、その後、オフライン RL（例：IQL）を用いて低レベル方策を学習します。
  • Safe-CPL：VPL フレームワークに対照的選好学習（CPL）を統合した新規バリアントです。明示的な中間報酬学習段階を経ることなく、直接潜在条件付き方策 $\pi_\theta(a|s, z')$ を学習し、RL 最適化の不安定性を回避します。

2. 高レベル方策の構成

安全性に無関与な報酬 $r_{new}$ を持つ新しい下流タスクに対して、学習された低レベルスキルを構成する高レベル方策 $\pi_h(z'|s)$ を訓練します。

• 行動選択：高レベル方策は潜在変数 $z'$ を出力し、これが特定の低レベルスキル $\pi_l(a|s, z')$ をインデックス付けして最終的な行動を生成します。
• 安全性の継承：すべての低レベルスキルは群衆の選好から学習されるため、本質的に共有された安全性基準（安全でない状態 - 行動ペアの回避など）を符号化しています。エージェントをこれらのスキルの構成に制限することで、下流タスクに明示的な安全性シグナルがなくても安全性が強制されます。
• 正則化：分布外スキルを選択して安全性のない行動につながることを防ぐため、高レベル方策に対して正則化項を適用し、選択された潜在変数を群衆データから学習された事前分布に近づけます。

3. 下流学習

高レベル方策は、低レベルスキル空間によって課される制約に従いながら、下流タスク報酬 $r_{new}$ を最大化するように訓練されます。これは、インタラクションを伴うオンライン設定と、既存データセットのみを使用するオフライン設定の両方で行うことができます。

主要な貢献

1. 問題定式化：本論文は、不均衡な選好における直接報酬組み合わせの限界を特定しつつ、異質な群衆の選好から共有された安全性目標を下流タスクへ転移させる問題を形式化しました。
2. 理論的分析：著者は以下の理論的証明を提供しました：
   • 群衆データから学習された単一の報酬モデルは、安全性ペナルティが十分に大きければ、安全な軌道を安全でない軌道よりも好む（定理 4.2）。
   • しかし、群衆データが不均衡である場合、学習された報酬の順序付けは多数派ユーザーの特定の目標と一致し、性能低下を招く（定理 4.3）。
   • 提案されたスキル構成アプローチは、低レベル方策が条件付き効用に対して最適であれば、安全性を保証する（系 A.6）。
3. アルゴリズム的フレームワーク：スキル発見をタスク最適化から分離し、多様なタスク間で安全性整合行動の再利用を可能にする階層的フレームワーク（Safe-VPL および Safe-CPL）の提案。
4. 実証的検証：6 つの安全 RL 環境（Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel）および概念実証としての大規模言語モデル（LLM）会話タスクにおける広範な実験。

実験結果

この手法は、真の安全性シグナルで訓練されたオラクル手法、タスクのみ（タスク報酬のみを最適化）、安全性のみ選好学習（SOPL）、および報酬組み合わせ（RC）を含む複数のベースラインと比較評価されました。

• 安全性パフォーマンス：提案手法（Safe-VPL および Safe-CPL）は、タスクのみのベースラインと比較して安全性コストを大幅に削減しました。オフライン設定では、平均正規化安全性コストはタスクのみの 1.0 から約 0.02–0.03 に低下し、オラクル手法と同等になりました。
• タスクパフォーマンス：このアプローチは、オラクル手法と同等のタスクパフォーマンスを達成し、特に不均衡な選好設定において、報酬組み合わせ（RC）手法を著しく上回りました。
• 不均衡への頑健性：あるユーザーがデータの大部分を貢献した場合（オラクルのフロンティアから遠ざかる）、RC の性能は急激に低下しましたが、提案されたスキル構成手法は、選好の不均衡に関わらず頑健であり、オラクルの性能に近いままでした。
• LLM 評価：簡略化された言語ベースのバンディット設定において、この手法は有害な応答を回避しつつ強力なタスクパフォーマンスを達成しましたが、タスクのみのエージェントは報酬を最大化するために頻繁に有害な応答を選択しました。

意義と主張

本論文の主な意義は、明示的な安全性報酬やデモンストレーションを必要とすることなく、暗黙的な安全性目標を群衆の選好から発見し、転移できることを実証した点にあると主張されています。

• データの再利用：このアプローチは、特定の下流タスクのために収集されたわけではない場合でも、群衆の選好データをタスク間で再利用可能にし、反復的な人間フィードバック収集のコストを削減する可能性があります。
• 報酬設計の課題の緩和：暗黙的な安全性シグナルを活用することで、不完全または誤指定された人間設計の報酬という一般的な課題に対処します。
• スケーラビリティ：このフレームワークは、群衆の選好が安全性に関する共有された合意を反映していると仮定しています。著者は、現実世界のノイズや敵対的フィードバックがこの仮定に挑戦する可能性を認めていますが、安全性の仕様を形式的に定義することが困難な領域において、安全な行動を学習する堅牢な方法を提供すると主張しています。

著者は、実験が真の報酬から生成された合成注釈付き選好に依存しており、自然な人間フィードバックに基づくものではないこと、およびよりノイズの多い現実世界の人間データに対してこのアプローチを検証するための将来の作業が必要であることを指摘し、控えめな立場を維持しています。