Debiasing Reward Models via Causally Motivated Inference-Time Intervention

Shinoda らによる論文「Debiasing Reward Models via Causally Motivated Inference-Time Intervention」の詳細な技術的サマリーを以下に示す。

1. 問題定義

Reward Models（RM）は、大規模言語モデル（LLM）を人間の嗜好に整合させるために用いられる強化学習（RLHF）の重要な構成要素である。しかし、RM は実際の有用性や真実性ではなく、表面的なスタイルの特徴に基づいて回答に高いスコアを割り当てる「偽の相関（バイアス）」を起こしやすい。

• 一般的なバイアス: 本論文は 5 つの特定のバイアスを特定している：
  1. 長さ: 品質に関わらず、より長い回答を好む。
  2. 段落: 複数の段落からなる構造を好む。
  3. 重複: プロンプトと語彙的に重複する回答を好む。
  4. 感嘆符: 熱意を込めた句読点を好む。
  5. 太字テキスト: 強調のために使用される Markdown の太字を好む。
• 既存の解決策の限界:
  • 学習時手法: RM の再学習または新規データの収集が必要であり、コストが高く、新しいバイアスタイプへの適応が遅い。
  • 推論時手法: 既存のアプローチ（例：長さペナルティ、局所重み回帰）は通常、回答長さのみに焦点を当てている。これらはしばしばパフォーマンスのトレードオフを生み出し、バイアスのない部分集合でのパフォーマンスを向上させる一方で、バイアスのある部分集合でのパフォーマンスを低下させる（またはその逆）傾向があり、複数のバイアスタイプにわたって一般化することに失敗している。

2. 手法：CIRM（Reward Models のための因果介入）

著者は、再学習を必要としないニューロンレベルの推論時介入手法であるCIRMを提案する。この手法は因果媒介分析に基づいている。

A. バイアス固有ニューロンの特定

1. 相関分析: 著者は、RM 内の各ニューロンの活性化と、特定の偽の特徴（長さの場合はトークン数、感嘆符の場合は「!」の数など）の大きさとの間の Spearman の $\rho$ 相関を計算する。
2. 選択: 各バイアスタイプについて、絶対値が最も高い相関を持つ上位および下位 $k$ 個のニューロンを特定する。これらをバイアス固有ニューロンと呼ぶ。
3. 局所化: 分析により、これらのニューロンは主にトランスフォーマーの初期層および特定の投影層（Query、Up、Gate 投影）に位置していることが明らかになった。これは、バイアスが深い意味処理ではなく、浅い特徴変換を通じて符号化されていることを示唆している。

B. 因果介入メカニズム

著者は、RM の意思決定プロセスを以下の因果グラフを用いてモデル化する：

• $x$: 入力（クエリ - 回答ペア）。
• $m$: 媒介変数（バイアス固有ニューロンの活性化）。
• $r$: 結果（報酬スコア）。

標準的な RM は、真のコンテンツ価値と $m$ によって媒介される偽のバイアスの両方を含む、報酬に対する入力の**総効果（TE）を推定する。バイアスを除去するために、CIRM は制御直接効果（CDE）**を推定することを目指す。

• 介入: 推論時において、特定されたバイアス固有ニューロンの活性化 $m(x)$ を、検証データセットで観測された中央値活性化 $m^*$ という静的な値に置き換える。
• 数式: $r_\theta(x_1, m(x_1)) - r_\theta(x_2, m(x_2))$ を計算する代わりに、モデルは以下を計算する：
  $$\hat{CDE} = r_\theta(x_1, m^*) - r_\theta(x_2, m^*)$$
• 効果: 媒介変数を中立な中央値に固定することで、偽の特徴が報酬予測に及ぼす影響が抑制され、実際のコンテンツの寄与が孤立する。

3. 主要な貢献

1. 新規の推論時手法: 再学習のコストを回避し、総ニューロンの**2%**未満に介入することで推論時に RM のバイアスを除去する手法 CIRM を導入した。
2. トレードオフなしの多バイアス軽減: CIRM が 5 つの異なるバイアスタイプを同時に効果的に軽減することを示した。重要なのは、先行研究で見られた一般的な「パフォーマンスのトレードオフ」を回避し、バイアスのない部分集合の精度を向上させながら、バイアスのある部分集合のスコアを維持または向上させた点である。
3. 下流の整合性向上: CIRM でバイアスを除去した RM を用いた嗜好データ注釈（DPO 学習）により、より整合性の取れた LLM が得られることを示した。CIRM を装備した小規模 RM（2B および 7B）は、AlpacaEval や MT-Bench などのベンチマークにおいて、最先端の 70B RM と同等のパフォーマンスを達成した。
4. メカニズム的解釈可能性: バイアス信号が RM の初期層で主に符号化されているという証拠を提供し、RM が表面的な手がかりをどのように利用しているかについての洞察を与えた。

4. 実験結果

Reward Model ベンチマーク（RewardBench & RM-Bench）

• パフォーマンス: CIRM は、長さ、重複、感嘆符のバイアスにおいて、バイアスのない部分集合の精度を向上させた。
• トレードオフの解消: バイアスのある部分集合のパフォーマンスを低下させてバイアスのない部分を修正する傾向があった長さペナルティ（LP）や局所重み回帰（LWR）とは異なり、CIRM は両方の部分集合においてパフォーマンスを向上または維持した。
• 頑健性: 微妙なスタイルの変化に対する頑健性をテストする RM-Bench において、CIRM は他の手法に悩まされていた「Easy」分割（通常はスタイルが勝つ）におけるパフォーマンスの低下を回避した。

整合性ベンチマーク（AlpacaEval 2.0, MT-Bench, TruthfulQA）

• DPO 学習: CIRM でバイアスを除去した RM によって注釈された嗜好データセットで学習された LLM（Llama-3-8B, Gemma-2-9B）は、以下を示した：
  • AlpacaEval における**勝率（WR）および長さ制御勝率（LCWR）**の向上。
  • MT-Bench におけるスコアの向上。
  • 真実性: TruthfulQA におけるパフォーマンスの向上。これは、フォーマットバイアスを除去することが、モデルに事実の正確性を優先させることを示唆している。
• 効率性: CIRM を備えた小規模 RM（2B/7B）は、整合性タスクにおいて 70B INF-ORM ベースラインを上回るか同等のパフォーマンスを示し、バイアス除去手法の有効性を証明した。

除去実験

• 同時介入: 5 つのバイアスを同時に軽減することが最良の結果をもたらし、異なるバイアス信号間の相互作用を示唆した。
• バイアス増幅: 従来の RM は、DPO 中にバイアスを増幅させることが多かった（例：より長く、冗長な回答を生成する）。CIRM は、LP/LWR の副作用である回答の不自然な短縮を引き起こすことなく、この増幅を大幅に減少させた。

5. 意義と結論

本論文は、RLHF をより信頼性が高く効率的にするための重要な前進を示している。

• 費用対効果: 推論時に動作し、ハイパーパラメータ調整に少量の検証データセットのみを必要とする CIRM は、高価な再学習に代わる軽量な代替手段を提供する。
• 汎用性: この手法はモデル非依存であり、さまざまな RM アーキテクチャに適用可能である。
• 安全性と真実性: 報酬信号を表面的なフォーマットから切り離すことで、CIRM はモデルが実質ではなくスタイルでシステムを欺く「報酬ハッキング」を防ぎ、より真実で有用な AI アシスタントへと導く。

著者は、推論時の因果介入が、Reward Models の信頼性とそれに続く大規模言語モデルの整合性を向上させるための、強力かつ汎用性の高いツールであると結論付けている。今後の研究では、この手法を他のバイアスタイプ（例：リスト）や RLHF パイプラインの他の構成要素に拡張することが期待される。