技術的サマリー：RLHF における堅牢な報酬モデリングのための因数分解された因果表現学習

1. 問題定義

人間のフィードバックに基づく強化学習（RLHF）は、大規模言語モデル（LLM）を人間の嗜好に整合させるために報酬モデルに依存しています。しかし、標準的な報酬モデルは、人間のラベルと相関しているが真の意図とは因果関係がないデータのパターン、すなわち偽の相関を学習しやすい傾向があります。一般的な例としては、回答の長さ（品質に関係なく、長い回答ほど高いスコアを得る）や追従バイアス（真実の回答を提供するのではなく、ユーザーに同意すること）が挙げられます。

このような欠陥のある報酬モデルを用いて LLM を RLHF 経由で最適化すると、モデルは実際の行動を改善することなく、予測された報酬を最大化するためにこれらのショートカットを利用します。この現象は報酬ハッキングとして知られており、過度に長く、反復的、またはへつらうような出力を生成するモデルをもたらし、根本的な人間の目的を満たすことができません。既存の緩和策は、制御すべき偽の変数を明示的に指定する（例えば、長さを罰則化する）ことを要求することが多く、利用パターンを完全に予測することが困難であるため、実用的ではありません。

2. 手法：CausalRM

著者は、因数分解された因果表現学習を通じて報酬ハッキングに対処するフレームワークCausalRMを提案します。中核的な仮説は、プロンプトと回答のペアの文脈的埋め込みには、人間の嗜好の予測に十分な因果的要因と、長さやスタイルなどの無関係な属性である非因果的要因の両方が含まれているというものです。CausalRM はこれらの要因を解離させ、報酬予測が因果成分のみに依存することを保証する因果的不変性を強制することを目指します。

アーキテクチャ

CausalRM は、標準的な報酬モデルを変分オートエンコーダ（VAE）構造と 3 つの専門的なヘッドで拡張します。

1. 因数分解された潜在表現:

   • バックボーン埋め込み $h$ は、変分エンコーダを介して 2 つの潜在変数、すなわち因果潜在 $z_c$ と非因果潜在 $z_{nc}$ にマッピングされます。
   • $z_c$ は、人間の嗜好を予測するために十分な情報を保持するように促されます。
   • $z_{nc}$ は、報酬と無関係な属性を捉えるように促されます。

2. 因果報酬ヘッド:

   • 報酬予測 $\hat{r}$ は、線形ヘッド $g_\psi(z_c)$ を通じて $z_c$ のみから** exclusively（排他的に）**計算されます。
   • この構造的制約により、報酬ヘッドが非因果情報にアクセスすることを防ぎます。

3. 勾配反転を伴う敵対的ヘッド:

   • 敵対的ヘッド $a_\omega$ は、非因果成分 $z_{nc}$ から報酬を予測しようと試みます。
   • $z_{nc}$ と敵対的ヘッドの間には**勾配反転層（GRL）**が適用されます。逆伝播中、敵対的損失からの勾配は反転されます。
   • 目的: 敵対的ヘッドは損失を最小化（予測を良くする）ように訓練され、エンコーダはこの損失を最大化（$z_{nc}$ を無情報にする）するように訓練されます。これにより、エンコーダは非因果成分から報酬予測的な信号を剥ぎ取ることを強制されます。

4. 再構成ヘッド:

   • 退化的な解（例えば、$z_c$ と $z_{nc}$ がバックボーン埋め込み $h$ の完全な情報を捉えられない事後崩壊など）を防ぐため、デコーダは連結された潜在変数 $[z_c; z_{nc}]$ から元の埋め込み $h$ を再構成します。

訓練目的

モデルは、以下の要素からなるミニマックス目的関数（式 10）を共同で最適化することで訓練されます。

• 嗜好損失（$L_{pref}$）: 十分性を保証するための、$z_c$ 上の標準的なペアワイズ Bradley-Terry 損失。
• 情報ボトルネック（$L_{KL}^c$）: 最小性を促すために、$z_c$ 内の冗長な情報を罰則化する。
• 敵対的不変性（$L_{adv}$）: エンコーダが敵対的損失を最大化して $z_{nc}$ 内の報酬信号を抑制するミニマックス項。
• 再構成損失（$L_{rec}$）: 因数分解された潜在変数がバックボーン埋め込みの情報を集合的に保持することを保証する。

3. 主要な貢献

1. 報酬モデリングのための因果フレームワーク: 本論文は、単純な正則化を超えて、報酬モデリングのために潜在表現を明示的に因果的要因と非因果的要因に解離する最初のフレームワークである CausalRM を導入します。
2. 新規アーキテクチャ: 因果的要因に制限された報酬ヘッド、不変性を強制するための勾配反転を伴う敵対的ヘッド、非退化性を保証するための再構成ヘッドを組み合わせた、VAE ベースのアーキテクチャを設計しました。
3. 実証的検証: 著者は、このアプローチが報酬モデリングの精度を向上させるだけでなく、下流の RLHF タスクにおける報酬ハッキング行動を大幅に緩和することを示しました。

4. 実験結果

実験は、数学的推論（OpenMathInstruct-1、GSM8K、MATH など）とオープンエンド型対話（Anthropic-HH、MT-Bench など）の両方で行われました。

• 報酬モデリング精度（RQ1）: CausalRM は、分布内（ID）および分布外（OOD）のベンチマークにおけるペアワイズ精度において、最先端のベースライン（Standard RM、GoalRM、InfoRM）を上回りました。特に、OOD データでは性能差が拡大し、偽の相関に対する優れた汎化性を示唆しています。
• 下流 RLHF パフォーマンス（RQ2）: CausalRM で訓練されたポリシーは、最終回答の精度（数学）およびベースラインに対する勝利率（対話）において一貫した改善を示しました。重要なのは、トレーニング中に「ゴールド」報酬（真のパフォーマンス）と予測報酬が乖離する（ハッキングを示唆する）ベースラインとは異なり、CausalRM は予測と実際のパフォーマンスの間で一貫した傾向を維持したことです。
• 因果的不変性（RQ3）:
  • 長さバイアス: CausalRM は回答の長さに対する感度がほぼゼロ（長さビン間の報酬の標準偏差 $\sigma_{len} = 0.03$）であり、ベースラインは有意な変動を示しました。
  • 追従バイアス: 追従的な接頭辞が注入された「ハッキング」データセットで評価された際、CausalRM は最小限のパフォーマンス低下で高い精度を維持しましたが、ベースラインは大幅に劣化しました。
  • 介入分析: 真の報酬決定要因（例えば、正しい数学の答えを誤った答えに変更すること）に対する制御された介入は、CausalRM において期待される報酬のシフトをもたらし、それが表面的な手がかりではなく因果的要因に依存していることを確認しました。

5. 意義と主張

本論文は、CausalRM が偽の変数の明示的な注釈を必要とせずに報酬ハッキングを緩和する一般的なメカニズムを提供すると主張しています。因果表現学習を活用することで、この手法は報酬予測が最小限の十分因果的要因のみに依存し、非因果的な信号を積極的に抑制することを強制します。

著者は、この作業を因果的に堅牢な報酬モデリングへの実践的な一歩として位置付けています。彼らは、観測データから真の因果メカニズムを回復することは理論的に困難である一方で、不変性制約と敵対的訓練によって支えられた彼らの因数分解アプローチは、未見の分布に対してより良く汎化し、長さバイアスや追従性のような偽のパターンの利用に抵抗する、経験的に信頼性の高い報酬モデルをもたらすと論じています。

本論文は、このアプローチが報酬モデルの精度と下流の RLHF 整合の安定性の両方を向上させ、LLM を人間の意図に整合させるという中心的な課題に対するスケーラブルな解決策を提供すると結論付けています。