技術要約：RLHFにおける報酬の不確実性に関する統一的視点

問題提起

現在、人間からのフィードバックを用いた強化学習（RLHF）は、**報酬ハッキング（reward hacking）**によってボトルネックに直面している。これは、ポリシーが真の品質向上を実現することなく、プロキシ報酬モデル（RM）の誤差を悪用してスコアを最大化してしまう現象である。これはグッドハートの法則の一種であり、シコファンシー（追従性）、長さバイアス、その他の表面的なアーティファクトとして現れる。

標準的な緩和策は悲観主義（pessimism）、すなわちRMが不確実な領域において報酬をペナルティ化することである。しかし、標準的なスカラー値のRMには、原理的な不確実性の概念が存在しない。先行研究では、複数のRMのアンサンブルを訓練し、平均集約（Mean aggregation）、最悪ケース最適化（Worst-Case Optimization; WCO）、**不確実性加重最適化（Uncertainty-Weighted Optimization; UWO）**といったヒューリスティックを用いてそれらの出力を集約することでこの問題に対処している。これらの手法は経験的な利点を提供するものの、それらの関係性、暗黙の仮定、あるいはハイパーパラメータのチューニングに関する理論的な指針が乏しく、場当たり的なルールとして提示されている。

手法

著者らは、決定論的なスカラーRMを分布的報酬モデル $p(r | x, y)$ に置き換えることを提案している。この分布は、ディープアンサンブルやベイズ的最終層構成などのソースから得られる。本論文では、二つの異なる理論的レンズを通じて、報酬の不確実性を扱うための統一されたフレームワークを導出し、両者は同じ閉形式の有効報酬構造をもたらす。

1. ベイズ推論（楽観的ブランチ）:
   ポリシー最適化を「最適性」の観測下での推論と捉え、著者らは報酬の不確士性について周辺化を行う。これにより、楽観的な有効報酬が得られる：
   $$\tilde{r}_{opt}(x, y) = \beta \log \mathbb{E}_{p(r|x,y)}[e^{r/\beta}]$$
   イェンセンの不等式により、これは有効報酬を膨張させる（$\tilde{r}_{opt} \geq \mu$）。

2. KL分布ロバスト最適化（悲観的ブランチ）:
   報酬ハッキングを軽減するため、著者らは問題を、信じている事後分布 $p$ からのKLダイバージェンス・コストを制約条件として、期待報酬を最小化するようにアドバーサリ（敵対者）が報酬分布 $Q$ を選択するアドバーサリアル・ゲームとして定式化する。これにより、悲観的な有効報酬が得られる：
   $$\tilde{r}_{rob}(x, y) = -\beta \log \mathbb{E}_{p(r|x,y)}[e^{-r/\beta}]$$
   これは報酬分布のエントロピー・リスク尺度である。イェンセンの不等式により、不確実性は有効報酬を減少させる（$\tilde{r}_{rob} \leq \mu$）。

統一的な表現

核心となる理論的貢献は、不確実性下における有効報酬の閉形式の表現である：
$$\tilde{r}(x, y) = \pm \beta \log \mathbb{E}_{p}[e^{\pm r/\beta}]$$
符号は、目的が楽観的（ベイズ的）か悲観的（ロバスト）かに依存する。

累積量展開とガウス分布の場合

著者らは、報酬分布 $p(r|x,y)$ の累積量展開を用いて有効報酬を分析している：
$$\tilde{r}_{opt/rob} = \mu \pm \frac{\sigma^2}{2\beta} + \frac{\kappa_3}{6\beta^2} \pm \frac{\kappa_4}{24\beta^3} + \dots$$
報酬分布がガウス分布（$p(r|x,y) = \mathcal{N}(\mu, \sigma^2)$）である特定のケースでは、高次の累積量はすべて消失し、以下の精密な閉形式となる：
$$\tilde{r}_{rob} = \mu - \frac{\sigma^2}{2\beta}$$
極めて重要な点は、分散項の係数が、別途調整可能なハイパーパラメータではなく、RLHFの目的関数に既に存在するKL正則化パラメータ $\beta$ によって決定されることである。

主な貢献

1. 統一的なレンズ: 本論文は、報酬の不確実性を伴うRLHFの目的関数が、ベイズ推論またはKL-DROのいずれかから導かれる単一の閉形式の有効報酬を持つことを示している。
2. 既存のヒューリスティックの統合: 既存の集約ルールが、悲観的ブランチ $\tilde{r}_{rob}$ の特定の極限または切り捨てであることを示している：
   • 平均集約: $\beta \to \infty$ （リスク中立）の極限として現れる。
   • 最悪ケース最適化 (WCO): $\beta \to 0$ （無制約のアドバーサリ）の極限として現れる。
   • 不確実性加重最適化 (UWO): 系列のガウス近似による切り捨てとして現れ、そこでのペナルティ係数 $\lambda$ は暗黙的に $1/(2\beta)$ に設定されている。
3. 実装への指針: 論文は既存の手法の暗黙の仮定を明確にしている：
   • 平均は、不確実性が重要ではないと仮定している。
   • WCOは、最悪の分布（制約のないアドバーサリ）を想定している。
   • UWOは、報酬分布が近似的にガウス分布であることを想定している。
   • 本論文は、ガウス事後分布に対する原理的なデフォルトとして $\tilde{r} = \mu - \sigma^2/(2\beta)$ を提案しており、これにより別途チューニングが必要な分散ペナルティのハイパーパラメータを排除している。

結果と推定

論文では、$K$ 個の報酬モデル（例：アンサンブル）の有限サンプルから $\tilde{r}_{rob}$ を推定する方法について論じている：

• 直接対数MGF推定量: $\hat{\tilde{r}} = -\beta \log (\frac{1}{K} \sum e^{-r_i/\beta})$。これは一貫性があるが、有限の $K$ に対してはバイアスがあり、$\beta$ が小さい場合には外れ値に敏感である。
• ガウス近似による推定量: $\hat{\tilde{r}} = \hat{\mu} - \hat{\sigma}^2/(2\beta)$。著者らはこれをデフォルトとして推奨しており、典型的なアンサンブルサイズ（$K \in \{3, \dots, 10\}$）では高次の累積量の推定が困難であるため、ガウス近似がロバストであることを指摘している。

意義と主張

本論文は、ヒューリスティックな集約ルールを超え、RLHFにおける報酬の不確実性に理論的基礎を提供することを主張している。その意義は以下の通りである：

• 仮定の明確化: 既存の手法（Mean, WCO, UWO）を、報酬分布の形状およびアドバーサリのKL予算に関する具体的な仮定へと明示的にマッピングしている。
• パラメータ効率: ガウス仮定の下では、分散ペナルティは本質的にKL係数 $\beta$ と結びついていることを確立し、追加の自由なハイパーパラメータを不要にしている。
• 分野の接続: RLHFの悲観主義を、分布的強化学習やオフラインRLの悲観主義と結びつけ、対数MGF / エントロピー・リスクの定式化が、これらの領域における類似の原理から生じることを示している。

著者らは、本フレームワークが分布的RM（アンサンブルやベイズ的ヘッドが必要）と適切な較正を前提としているものの、高次の累積量や分位点ベースの悲観主義（例：CVaR）を通じて、ガウス仮定を超えて拡張するためのレシピを提供すると結論付けている。