Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

技術要約: FiMi-RM (報酬モデルにおける長さバイアスを軽減するためのバイアス適合)

問題提起

人間のフィードバックからの強化学習（RLHF）は、大規模言語モデル（LLM）を人間の好みに合わせるための標準的なフレームワークである。しかし、このプロセスは**報酬ハッキング（reward hacking）に対して脆弱であり、報酬モデルの欠陥を悪用して、実際の意図に従うことなくスコアを最大化しようとする現象が発生する。その代表的な形態が長さバイアス（length bias）**であり、報酬モデルが実際の質に関わらず、回答の長さに系統的に高いスコートを付与してしまう現象である。これは、ダウンストリームモデルにおいて過度に冗長な生成を引き起こす原因となる。

既存の緩和戦略には、以下のような重大な限界がある：

1. 特性把握の欠如： 一部の手法（例：RRM）は、データの分布を調整したり因果関係のフレームワークを使用したりしているが、バイアスの形式を明示的にモデル化していない。
2. 線形性の仮定： 多くの手法（例：Length Penalty、ODIN、Huangら）は、回答の長さと報酬の間に線形関係があると仮定している。これらは、長さに基づいて固定の係数を減算するか、線形回帰を用いて長さと品質を切り離そうとする。
3. 不十分さ： これらの線形的な仮定は、長さが報酬とどのように相互作用するかという複雑で非線形な性質、特に異なる長さの領域で見られる複雑なパターンを捉えることができない。

手法: FiMi-RM

著者らは、潜在的な非線形バイアスパターンを自律的に学習し、修正するために設計されたフレームワークであるFiMi-RM（Bias Fitting to Mitigate Length Bias of Reward Model）を提案する。このアプローチは、以下の3つの明確な段階で動作する。

1. ウォームアップ段階 (Warm-Up Stage):

   • 嗜好データを用いて、標準的な報酬モデル（$model_r$）をBradley-Terry損失を用いて学習させる。
   • 決定的なのは、この段階では直ちに修正を試みるのではなく、報酬モデル固有の長さバイアスを保持させることである。これにより、モデルが長い回答に対して高いスコアを付与するという強力かつ系統的な傾向を持つようになり、後続の適合段階のための明確なターゲットとなる。

2. 長さバイアス適合段階 (Length Bias Fitting Stage):

   • 回答の長さ（$len(y)$）とバイアスのかかった報酬出力（$r$）との関係を明示的に特徴付けるために、軽量な適合モデル（fitting model）（$model_f$）を導入する。
   • アーキテクチャ: スカラー値である長さを、$d$次元の特徴空間へと投影し（Positional Encodingに着想を得た長さエンコーディングを使用）、ResNetアーキテクチャを通じて処理した後、線形投影ヘッドを通過させて報酬（$\hat{r}$）を予測する。
   • 目的関数: 適合モデルは、自身の予測（$\hat{r}$）と実際の報酬モデルの出力（$r$）との間の乖離を最小化するように学習される。最適化には、予測された報酬と実際の報酬の相関を最大化するピアソン相関係数損失（Pearson correlation loss）（$L_{pearson}$）が使用される。
   • 重要な洞察: ピアソン損失の使用は、適合モデル自体に線形性の制約を課すことなく、相関パターンを整合させる。ResNetベースの$model_f$は、複雑な非線形依存関係を学習することが可能である。

3. 長さデバイアス段階 (Length Debiasing Stage):

   • 元の報酬モデルを、人間の好みをモデル化する能力を維持しつつ、出力を回答の長さから切り離すようにファインチューニングする。
   • 学習メカニーション: 本フレームワークは、報酬モデルと適合モデルの間で交互に行われる訓練戦略を採用している。
   • 損失関数: 報酬モデルは、以下の複合損失を用いて最適化される：
     $$L_{debiased} = L'_{pearson} + L_{BT}$$
     • $L'_{pearson}$: 報酬モデルの出力が適合モデルの予測と無相関になるように強制する（学習されたバイアスを事実上除去する）。
     • $L_{BT}$: 標準的なBradley-Terry損失であり、モデルが人間の好みを識別する能力を保持することを保証する。
   • インジケーター関数 $I(step)$ が、バイアスの適合と報酬モデルのデバイアス（脱バイアス）のステップを交互に切り替える。

主な貢献

1. 非線形バイアスモデリング: 本論文は、長さと「ハックされた」報酬との間の非線形な関係を自律的に学習するマルチステージのフレームワークを導入しており、先行研究の単純な線形仮定を超越している。
2. 非線形性の実証的検証: 適合プロセスを通じて、著者らは多段階のバイアスパターンを特定した：
   • 短い回答（<100トークン）： 長さに伴って報酬が増加するという強い線形相関を示す。
   • 長い回答： 関係性は平坦化し、場合によっては緩やかな下降傾向を示す。これは、長い出力に対する長さのプラスの効果が減衰、あるいは逆転することを示している。
3. 包括的な評価: 本手法は、長さ-報酬分布分析、長さ制御された勝率、および複数のアライメントアルゴリズム（DPOおよびBest-of-N）における回答の長さ分布を通じて検証されている。

実験結果

著者らは、Qwen2.5-7BおよびGemma2-9Bモデルを用い、Anthropic HHデータセットにおいて、Vanilla Reward Model、Length Penalty、およびODINと比較してFiMi-RMを評価した。

• 嗜好精度 (Preference Accuracy): FiMi-RMは、選択された回答が長いサブセット（C-longer）と短いサブセット（R-longer）の両方において、よりバランスの取れた精度を達成した。C-longerサブセットにおける全体的な精度はわずかに低下したが、著者らはこれは意味理解の喪失ではなく、「長さのショートカット」の除去が成功したことを示していると主張している。
• 長さ-報酬分布 (Length-Reward Distribution): 散布図により、FiMi-RMがベースラインと比較して、長さビン全体にわたってより対称的で平坦な報酬分布を生み出すことが明らかになり、効果的なデバイアスが確認された。
• ダウンストリーム性能 (BoN & DPO):
  • 勝率 (Win Rates): FiMi-RMは、Best-of-N (BoN) および Direct Preference Optimization (DPO) の設定の両方において、最も高い長さ制御勝率 (LC-WR) および標準勝率 (WR) を達成した。
  • 冗長性 (Verbosity): 本手法は、MT-BenchやIFEvalのようなベンチマークでの性能を維持または向上させつつ、Vanilla RMやLength Penaltyと比較して、生成される回答の平均トークン長を大幅に減少させた。
  • 選択バイアス (Selection Bias): BoNの選択において、FiMi-RMは、中程度の長さの回答へと嗜好をシフトさせる傾向があるODINと比較して、簡潔な出力を好む傾向が強いことが示された。

意義と主張

本論文は、問題の非線形な性質を明示的にモデル化することで、FiMi-RMが長さバイアスを軽減するためのより精密かつ効果的なアプローチを提供すると主張している。長さを報酬から（核心となる好みのモデリング能力を損なうことなく）切り離すことで、本手法は、高品質かつ適切に簡潔な応答を生成するRLHFパイプラインを可能にする。

著者らは、手法が不適切な相関を効果的に減少させている一方で、人間の好みが完全に長さから独立しているかという問いは未解決であると述べている。特定の文脈（例：詳細な説明を必要とするタスク）においては、長さと品質の間の正の相関は正当なものである可能性があることを認めている。しかし、本フレームワークは、搾取可能なバイアスと真の好みをうまく区別しており、より安全で効果的なモデルアライメントを実現している。