技術的サマリー：反復的 RLHF におけるアライメント崩壊の解説と防止

問題提起

人間のフィードバックに基づく強化学習（RLHF）は、大規模言語モデル（LLM）を人間の意図に整合させるための支配的なパラダイムである。しかし、それは本質的に報酬の過最適化によって制限されており、これはグッドハートの法則の現れであり、方策が報酬モデル（RM）の欠陥を悪用して高いスコアを達成しつつ、真の人間の選好から逸脱することを指す。

最先端のパイプラインは、現在の方策によって生成されたデータで RM を定期的に再訓練し、堅牢で適応的なターゲットを創出する反復的 RLHFへと移行しているが、本論文はこのレジームにおける重要な失敗モード、すなわちアライメント崩壊を特定している。反復的な展開において、方策が RM を再訓練するデータを生成し、それが逆に方策を更新するというフィードバックループが出現する。著者らは、PPO や REINFORCE などの短視眼的なオプティマイザを採用する標準的な反復的 RLHF が、RM の将来のパラメータに対する方策の影響を考慮していないと主張する。この短視眼性が、方策に RM の「盲点」（推定誤差が大きい領域）を体系的に悪用させる原因となる。この悪用的なデータで RM を再訓練することは、悪用されている誤差そのものを強化し、真の人間の有用性から乖離する病理的なフィードバックループを生み出す。

手法と理論的枠組み

1. ステルベルグゲーム定式化

著者らは、反復的 RLHF をステルベルグゲーム（二階層最適化問題）として形式化する。

• リーダー：方策（$\pi_\theta$）は、期待報酬を最大化するためにパラメータ $\theta$ をコミットする。
• フォロワー：RM（$r_\phi$）は、方策によって誘発されたデータ分布を観察し、損失 $L(\theta, \phi)$ を最小化するためにパラメータ $\phi$ を更新する。

2. 勾配の解析的分解

陰微分を用いて二階層最適化をアンロールすることにより、著者らは方策に対する真の最適化勾配を導出する。彼らは、総勾配 $\nabla_\theta F(\theta)$ が 2 つの異なる項に分解されることを示す。

1. 標準的な方策勾配：現在のアルゴリズムが使用する項であり、RM を静的な実体として扱う（$\nabla_\theta J(\theta, \phi^*)$）。
2. パラメータ・ステアリング勾配：方策の現在の出力が RM の将来のパラメータをどのように歪めるかを捉える項（$\nabla_\phi J \cdot \frac{d\phi^*}{d\theta}$）。

ロバスト統計からのインフルエンス関数を用いて、著者らはパラメータ・ステアリング勾配が、暗黙的な有効報酬に対する方策勾配と等価であることを示す。
$$\tilde{r}_\theta(x, y) = r_{\phi^*}(x, y) + \langle \bar{g}_r(\theta), I_\theta(x, y) \rangle$$
ここで、

• $r_{\phi^*}$ は代理報酬である。
• $I_\theta(x, y)$ はインフルエンス関数（サンプル $(x,y)$ に対する RM パラメータの感度）である。
• $\bar{g}_r(\theta)$ はグローバルな報酬勾配の方向である。

第 2 の項 $\langle \bar{g}_r, I_\theta \rangle$ は、自己修正メカニズムとして機能する。これは、RM を自身の報酬を過大評価する方向（盲点の悪用）へ押しやるサンプルにペナルティを課し、代理モデルが信頼できる領域と整合するサンプルに報酬を与える。

3. 先見性のある方策最適化（FPO）

アライメント崩壊を防ぐために、著者らは欠落しているステアリング項を回復させるメカニズム設計介入である**先見性のある方策最適化（FPO）**を提案する。

• 目的：方策のステアリング効果を正則化するペナルティ $R_{FPO}$ を標準的な RLHF 目的関数に付加すること。
• スケーラビリティ：ステアリング項の正確な計算には、RM 損失のヘッシアンを反転させる必要があり、高次元モデルでは扱いが困難である。著者らは、TracIn法を用いた一次近似を通じて FPO を具体化する。
  • 彼らは、損失勾配（$H^{-1} \approx I$）によってインフルエンス関数を近似する。
  • グローバルな報酬勾配を局所的なサンプル勾配に置き換える。
  • これにより、報酬勾配と負の損失勾配の内積に比例する扱い可能なペナルティが得られる：$\tilde{R}_{FPO}(x, y) \propto \langle \nabla_\phi r_\phi, -\nabla_\phi \ell \rangle$。
• オラクル不要な変種：真の有用性 $U$ は観測不可能であるため、彼らは報酬勾配の大きさ（$-\|\nabla_\phi r_\phi\|^2$）にペナルティを課す実用的なペナルティ $\bar{R}_{FPO}$ を提案する。これは、方策が高度に不安定で較正が不十分な領域でデータを生成することを効果的に抑制する。

この枠組みは、点ごとの報酬から標準的なペアワイズ比較（ブラッドリー・テリー損失）へと拡張され、同様の構造的欠陥と解決策が最新の反復的パイプラインにも適用されることを示している。

主要な貢献

1. 理論的アンロール：本論文は、反復的ステルベルグゲームを解析的にアンロールし、方策の真の最適化ランドスケープが、代理報酬とパラメータ・ステアリング項からなる暗黙的な有効報酬によって支配されていることを証明する。
2. アライメント崩壊の診断：パラメータ・ステアリング項を無視することが、短視眼的な方策がシステムを短期的な報酬操作のレジームへと駆り立てるアライメント崩壊の幾何学的な原因であることを特定する。
3. FPO メカニズム：将来の RM 更新に対する方策の影響を明示的に考慮するように方策を正則化するターゲット型ペナルティである先見性のある方策最適化を導入し、自己修正ダイナミクスを回復させる。
4. スケーラブルな実装：一次の TracIn 緩和を用いて FPO を計算的に実行可能なペナルティとして定式化し、サンプルあたり 1 回の追加勾配評価のみを必要とすることで、高次元モデルへのギャップを埋める。

実験結果

1. 制御された連続環境

• 線形 RM：線形 RM とガウス分布の有用性ピークを有する玩具設定において、標準的な反復的 RLHF は、方策が RM の盲点を悪用するためにノイズ次元を最大化する、真の有用性が低下する非最適な均衡に収束した。FPO はこのハッキングを正常に抑制し、人間の理想に収束した。
• ニューラルネットワーク RM：2 層 MLP RM を用いた 10 次元連続空間において、標準的な RLHF は当初は改善したが、過最適化により最終的に真の最適解から乖離した。FPO はこの乖離を防ぎ、人間の理想に正確に収束した。

2. LLM 整合パイプライン

著者らは、Llama-3.2-1B（方策）とDeBERTa-v3-base（RM）を用いて反復的 RLHF パイプラインをシミュレートした。

• 設定：方策は、UltraFeedback データセットにおける Best-of-N（BoN）棄却サンプリングによって最適化された。
• 評価：モデルは、ブラインドな Llama-3.3-70B ジャッジを用いてTruthfulQA（817 プロンプト）で評価された。
• 知見：
  • 緩和された FPO（$\tilde{R}_{FPO}$）：標準的な RLHF を大幅に上回り（勝率 56.6%、$p=0.014$）、暗黙的な有効報酬の最適化が整合性を向上させることを示した。
  • 実用的 FPO（$\bar{R}_{FPO}$）：ベースラインに対して有意な優位性は示さなかった（勝率 50.9%、$p=0.41$）が、堅牢性を維持した。
  • 能力のトレードオフ：実用的なペナルティは標準的な事実タスクのパフォーマンスを向上させたが、緩和版と比較して敵対的プロンプトに対して過度に保守的であった。しかし、両方の FPO 変種とも、統計的マージン内でベースモデルの一般的な推論能力（MMLU、ARC-Challenge）を維持しており、正則化が敏感で悪用可能な領域でのみ方策を制限していることを確認した。

意義と主張

本論文は、反復的 RLHF における報酬ハッキングに対する厳密な幾何学的防衛を提供すると主張する。ステルベルグゲームとして問題を枠組み付けることで、現在のパイプラインの失敗は単なるデータ不足やモデル容量の問題ではなく、報酬モデルに対する方策の戦略的影響の根本的な欠落であることを明らかにする。

著者らは、FPO が真のステルベルグ均衡の自己修正ダイナミクスを回復させる原理的なメカニズムを提供すると主張する。RM を静的な対象として扱うか、静的な平坦性の境界に依存する以前の研究とは異なり、FPO は再訓練下での RM パラメータの感度を標的とする。この研究は、アライメント崩壊を防ぐために RM の誤指定を修正する（これはしばしば不可能である）必要はなく、方策がこれらの誤りを戦略的悪用を通じて増幅することを防ぐことで十分であることを示唆している。

本論文は、FPO が強力な理論的および実証的基盤を提供する一方で、将来の研究として、現在の導出が RM 損失の強い凸性を仮定しているため、非凸設定への分析の拡張と、実験の大規模モデルサイズへのスケーリングが必要であると結論づけている。