Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback

技術要約：証明可能な多元的アライメント（Provable Pluralistic Alignment）

問題提起

本論文は、人間からのフィードバックに基づく強化学習（RLHF）における**多元的アライメント（pluralistic alignment）**を取り扱う。標準的なRLHFパイプラインは、通常、単一の潜在的な報酬関数を想定し、すべての人間からのフィードバックを一つのデータセットに集約する。しかし、このアプローチは、ユーザー（当事者）が異質で、持続的かつ、潜在的に対立する好みを保持している設定においては機能しない。このようなデータの集約は、「誰がどの好みを持っているか」という情報を破棄し、明示的な設計なしに特定の規範的な集計ルール（例：多数決）を暗黙的に強制してしまう。

核心となる課題は、異質なフィードバックを単一の暗黙的な報酬モデルへと崩壊させることなく、パーティ（当事者）ごとにインデックス付けされたオフライン比較から、いかにして**単一の集合的方策（collective policy）**を学習するかである。この問題は、限られた、あるいは偏ったオフラインのデータ量から生じる統計的不確実性を考慮しつつ、未知のパーティ固有の好みを推定すると同時に、明示的な社会福祉目的関数を満たす方策を選択することを要求する。

手法

著者らは、統計的な好みの学習と規範的な好みの集計を分離する統一的なフレームワークを提案している。このフレームワークは、以下の2つの異なるレジームの下で動作する。

1. 報酬表現可能レジーム（線形低ランクモデル）

• モデル: 各パーティ $m$ は、線形ブラッドリー・テリー・ルーイス（BTL）好みのモデル $R_m(s,a) = \theta_m^\top \phi(s,a) + C_0$ に従う。決定的なのは、報酬パラメータ $\theta_m$ が低ランク構造を共有している点である：$\theta_m = U^* \alpha_m^*$。ここで、$U^*$ は共有された低次元表現であり、$\alpha_m^*$ はパーティ固有の係数である。
• アルゴリズム（悲観的ナッシュ厚生）:
  1. 共同推定: 共有表現 $U$ とパーティ固有の係数 $\alpha_m$ を、すべてのパーティインデックス付きデータセットを用いて最尤推定（MLE）により共同で推定する。
  2. 信頼集合: 推定値の周囲にパーティ固有の信頼集合 $\Theta_B(\hat{\theta}_m)$ を構築し、統計的不確実性を定量化する。
  3. 悲観的最適化: 信頼集合に対して悲観的社会福祉目的関数を最大化することにより、集合的な方策を選択する。ナッシュ厚生の場合、これは以下のように定義される：
     $$\hat{J}(\pi) = \min_{\Theta \in \Theta_B(\hat{\Theta})} \left( \prod_{m=1}^M \mathbb{E}_{s \sim \rho} [R_{\theta_m}(s, \pi(s))] \right)^{1/M}$$
  4. このアプローチは、功利主義的（算術平均）および平等主義的（最大最小）な目的関数にも拡張可能である。
• 拡張: 本フレームワークは、軌跡ベースの占有測量を用いることで、コンテキストカルバンディットからマルコフ決定過程（MDP）へと一般化される。

2. 一般的なペアワイズ選好レジーム（非スカラー報酬）

• モデル: 好みがスカラー報酬表現を持たない場合や、確率的、非推移的、あるいは循環的な場合がある。これらは、ペアワーズ比較確率を通じて直接モデル化される。
• アルゴリズム（悲観的フォン・ノイマン勝者）
  1. 集計: パーティ固有のペアワーズ選好行列を推定し、それらを（等重みを用いて）集計することで、集団レベルの行列を形成する。
  2. 信頼境界: 集計された選好行列に対して、要素ごとの下限信頼境界を構築する。
  3. ゲーム理論的最適化: 集計された選好行列の下限信頼境界を用いて、ゼロサム行列ゲームを解くことにより、**悲観的フォン・ノイマン勝者（pessimistic von Neumann winner）**を算出する。これにより、競合する戦略に対して、最悪ケースの集団選好マージンを最大化するランダム化された方策が得られる。

主な貢献

1. エンドツーエンドのフレームワーク: 異質な報酬の学習という統計的タスクと、それらを集計するという規範的タスクを明示的に分離し、パーティごとにインデックス付けされたオフライン比較からの集合的な方策学習を定式化した。
2. 異質な報酬に関する有限サンプル理論: 共有低ランク線形モデルの下で、以下の項目に関する非漸近的境界を提示した：
   • 報酬推定: パーティ固有の報酬の推定誤差は $O\left(\sqrt{\frac{1}{n}\left(r^2 + dr^2 \log\frac{d}{M} + \log\frac{M}{\delta}\right)}\right)$ でスケールし、共同学習が独立した学習と比較してサンプル複雑性を低減するために共有構造をいかに活用するかを示している。
   • 方策の劣求性: ナッシュ、功利主義、および平等主義の各目的関数における、結果として得られる集合的な方策の劣求性に関する境界を確立し、推定の不確実性が非線形な厚生関数を通じてどのように伝播するかを示した。
3. 一般的なペアワーズ選好の保証: スカラー報酬が存在しない設定において、悲観的フォン・ノイマン勝者を構築し、有限サンプルの性能保証を導出した。これにより、循環的または非推移的な選好がある場合でも、その方策が近似的な勝者であることを保証する。
4. 効率性の保証: 学習された方策が（報酬レジームにおいて）近似的にパレート効率的であり、（一般レジームにおいて）近似的に事後的に効率的であることを示し、あるパーティが他者に害を与えることなく、大幅に改善されることがないことを保証する。

結果

• 理論的境界: 学習された方策の劣求性は、共有表現の次元 $r$、パーティ数 $M$、およびオフラインデータの被覆率（濃縮係数による）に依存することを確立した。これらの境界は、$r^2 \ll \min\{M, d\}$ の場合、単一パーティのRLHFの境界よりも改善される。
• 数値的例示: コンテキストカルバンディット設定におけるシミュレーションにより、以下が示された：
  • 共同低ランク推定手法は、ナッシュ、功利主義、および平等主義の劣求性の観点において、独立推定および集約（pooling）ベースラインを大幅に上回る性能を示す。
  • 集約ベースラインは、当事者間に相反する好みがある場合に、妥協的な方策（例：中間地点の選択）を特定することに失敗するが、提案手法は不一致の構造を正常に学習できる。
  • 一般的なペアワーズ選好手法は、サンプルサイズが増加するにつれて最適なフォン・ノイマン勝者に収束する一方、集約ベースラインは消滅しない誤差のギャップを保持する。

意義と主張

本論文は、異質な人間からのフィードバックを、明示的なマルチパーティRLHF問題として定式化した最初期の理論的研究の一つとして位置づけている。主要な主張は、以下の組み合わせに対して最初の有限サンプル保証を提供したことである：

1. 共有低ランクのパーティ固有報酬学習。
2. 悲観的な非線形社会福祉最適化。
3. オフライン方策選択。

著者らは、本フレームワークによって、選好の集計がデータの集約の結果として暗黙的に決まるのではなく、明示的かつ統計的に分析可能な設計上の選択肢になることを主張している。パーティのアイデンティティを保持し、統計的不一を集計ルールを通じて伝播させることで、本手法は、限られた、異質で、かつ潜在的に循環的なフィードバックから、明示的な集合的厚生の保証を持つ単一の方策を学習するという、多元的アライメントの中心的な課題に対処している。

本論文は限界についても認めており、観測された持続的なパーティ・アイデンティティと非戦略的なフィードバックを仮定していることを指摘している。また、戦略的なインセンティブ、能動的なデータ収集、およびスケーラブルな最適化については、その後の研究によって探索されていることを明確にした上で、本研究がこれらの方向性への基礎となる統計的フレームワークを築いたものであると主張している。