技術的概要：情報理論的ガイダンスによる報酬モデルの帰納的バイアスの排除

問題提起

報酬モデル（RM）は、人間のフィードバックからの強化学習（RLHF）における重要な構成要素であり、大規模言語モデル（LLM）を人間の価値観に整合させる役割を果たす。しかし、RM の訓練データはしばしば低品質であり、過学習や「報酬ハッキング」を引き起こす重大な帰納的バイアスを含んでいる。一般的なバイアスには以下が含まれる：

• 応答の長さ： アノテータはより詳細な応答を好む傾向があり、これにより RM は誤って長いテキストを高品質と相関させる。
• 阿諛追従： RM は事実的に正確な応答ではなく、ユーザーを褒め称える応答を好むように学習する可能性がある。
• 形式： コンテンツの品質とは無関係な特定のスタイル要素（リスト、太字、絵文字など）に対する好み。

既存のバイアス除去アプローチには限界がある：

1. 線形相関： ピアソン係数を用いる手法は単純な線形関係のみを捉えるため、複雑な非線形バイアスに対処できない。
2. スカラー制約： 長さ予測のための特定ヘッドを追加するなどの手法は、スカラーバイアスに限定され、理論的根拠が欠如している。
3. 過剰制約： 最大平均不一致（MMD）などを介して分布的不変性を強制する手法は、報酬ランドスケープを歪めるリスクがあり、機能的な崩壊を招く可能性がある。
4. 明示的制約の欠如： 情報ボトルネック（IB）のような一般的な圧縮手法は、バイアス属性を明示的に制約しないため、バイアス除去を保証できない。

手法：DIR（報酬モデルのための情報最適化によるバイアス除去）

著者は、情報ボトルネック（IB）の原理に触発された情報理論的フレームワークであるDIRを提案する。中核的な目的は、RM の予測と真の人間の好み（コンテンツの品質）との間の相互情報量（MI）を最大化しつつ、RM の予測と無関係なバイアス属性との間の MI を最小化することである。

理論的定式化

最適化目標は以下のように定義される：
$$\max_{\phi} I(1_{\mathbf{y} \succ \bar{\mathbf{y}}}; \mathbf{x}, \mathbf{y}, \bar{\mathbf{y}}) - \lambda \cdot I(1_{\mathbf{y} \succ \bar{\mathbf{y}}}; \mathbf{b})$$
ここで：

• $1_{\mathbf{y} \succ \bar{\mathbf{y}}}$ は選好ラベルである。
• $\mathbf{x}, \mathbf{y}, \bar{\mathbf{y}}$ はプロンプトと応答のペアを表す。
• $\mathbf{b}$ はバイアス属性（例：長さの差、阿諛追従の指標）である。
• $\lambda$ は選好学習とバイアス除去をバランスさせるハイパーパラメータである。

変分境界による推定

正確な MI 計算は扱いが困難であるため、DIR は変分境界を利用する：

1. 選好項（最大化）： Barber-Agakov（BA）下限を用いて近似される。著者は、この下限を最大化することが標準的な Bradley-Terry ランキング損失を最小化することと同等であることを示しており、これにより RM が真の選好信号を学習することを保証する。
2. バイアス除去項（最小化）： **Contrastive Log-ratio Upper Bound（CLUB）**を用いて近似される。この手法は、RM の隠れ表現（$\mathbf{H}$）とバイアス属性（$\mathbf{b}$）との間の MI の上限を最小化する。

実装の詳細

• 相対的バイアス属性： 絶対値（例：正確なトークン数）を予測する代わりに、DIR は相対的バイアス属性（例：選ばれた応答が却下された応答より長いかどうか）を使用する。これにより、バイアス推定が二値分類タスクに変換される。
• アーキテクチャ： RM のバックボーン（Transformer）は隠れ状態 $\mathbf{H}$ を生成する。軽量な変分ネットワーク $q_\psi(\mathbf{b}|\mathbf{H})$ がバイアスを推定する。
• トレーニングループ： この手法は反復的なトレーニングプロセス（アルゴリズム 1）を採用しており、各バッチ内でバイアス推定器（$q_\psi$）と RM（$r_\phi$）を交互に更新して、MI 上限の精度を維持する。
• 損失関数： 総損失は選好損失とバイアス除去損失を組み合わせる：
  $$\mathcal{L}_{Total} = \mathcal{L}_{Preference} + \lambda \cdot \mathcal{L}_{Debiasing}$$

主要な貢献

1. 新規フレームワーク： 報酬モデリングにおける多様な帰納的バイアスを理論的保証とともに排除するために、情報理論的原理を適用した最初の手法である DIR の導入。
2. 非線形性の処理： ピアソンベースの手法とは異なり、DIR は MI を利用して、バイアス属性と RM 出力間の複雑な非線形相関を捉え、軽減する。
3. 相対的バイアス戦略： 相対的バイアス属性の導入により、この手法は長さを歪めることなく、長さ、阿諛追従、形式など多様なバイアスタイプを統一的に処理できる。
4. 拡張性： このフレームワークは、PPO と Direct Preference Optimization（DPO）の両方のパイプラインと互換性がある。

実験結果

著者は、RM-Bench、RewardBench、GSM8K、MMLU、ArenaHard などのベンチマークを用いて、応答長さ、阿諛追従、形式の 3 つのバイアスシナリオにおいて DIR を評価した。

1. 長さバイアスの除去

• バイアス削減： DIR は、Skywork（0.533）や PoE（0.516）などのベースラインと比較して、応答の長さと報酬スコア間のピアソン相関を最も低く抑えた（$r=0.468$）。
• 性能： DIR ベースの RM で訓練された RLHF ポリシーは、複数のベンチマークで平均精度 66.20 を達成し、強力なベースラインを上回った。
• 効率性： DIR に導かれたポリシーは、ベースライン（754 トークン）と比較して短い（679 トークン）かつ簡潔な応答を生成しつつ、対戦相手に対する勝利率を維持または向上させた（54.3% 対ベースライン）。

2. 阿諛追従バイアスの除去

• 頑健性： 阿諛追従的なプレフィックスを注入した敵対的テストにおいて、DIR は標準的な BT や InfoRM と比較して最高精度（特定の設定では最大 93.6%）を維持し、「褒め称えるが誤った」シグナルに対する優れた耐性を示した。

3. 形式バイアスの除去

• 中立化： DIR は形式バイアスを正常に中和し、太字やリスト形式の勝利率を理想的な 50% 閾値に近づけた（それぞれ 51.2% と 52.0%）。これは、困難な RewardBench サブセットにおいて Format Decoupling（FD）手法を上回った。

4. 同時多バイアス

• DIR は、長さバイアスと阿諛追従バイアスを同時に処理するように拡張された。この結合モデルは、両方のバイアスを効果的に削減しながら RM-Bench 上で全体的に最高の性能を達成し、多バイアス除去がよりバランスの取れた報酬モデルにつながることを示唆している。

効率性

• 計算コスト： DIR は GPU メモリ使用量（ベースライン 55.08GB 対 56.88GB）とトレーニング時間（50.46 分対 67.09 分）のわずかな増加のみを招き、実用的な解決策となっている。

意義と主張

本論文は、DIR がより信頼性の高い整合システムを構築するための原理的、スケーラブル、かつ広く適用可能な解決策を提供すると主張している。真の人間の選好シグナルを偽の相関から解きほぐすことで、DIR は広範なバイアスを軽減するだけでなく、報酬モデルの汎化能力と整合の質を向上させる。著者は、これにより RLHF におけるより堅牢なダウンストリーム性能が実現され、人間の価値観とより一貫性があり、報酬ハッキングを起こしにくい AI システムへの道が開かれると述べている。この手法は、既存の線形またはヒューリスティックベースのバイアス除去技術に対する重要な進展として提示されている。