技術的サマリー：合理性の操作による RLHF における認知バイアスの軽減

問題定義

人間のフィードバックからの強化学習（RLHF）は、人間の注釈者が潜在的な意図を忠実に反映する選好を表明するという前提に依存している。しかし、人間の判断は頻繁に認知バイアス（例：連合誤謬、アンカリングバイアス、サンクコストの誤謬）の影響を受けるため、この前提は欠陥がある。標準的な RLHF パイプラインでは、これらの体系的な逸脱は均一な確率的ノイズとして扱われる。学習プロセスは通常、固定された合理性パラメータ $\beta$ によって潜在的な報酬の差と観測されたペアワイズ選好との一貫性を支配するボルツマン合理性定式を用いて人間の選好をモデル化する。

$\beta$ をグローバルな定数として扱うことは、すべての文脈にわたって注釈者の信頼性が均一であると暗黙的に仮定している。その結果、トレーニングデータに体系的な認知バイアスが含まれている場合、学習された報酬モデルはこれらのバイアスを埋め込み、下流の大規模言語モデル（LLM）が非合理的な行動を再現、あるいは増幅させる原因となる。ここで扱われる核心的な問題は、合理性からの逸脱がランダムではなく、文脈依存かつ体系的である不完全な人間のフィードバックに対して、RLHF をどのように頑健にするかである。

手法

著者らは、合理性が固定されたものではなく、文脈および注釈に依存するものとして扱うフレームワークを提案する。グローバルな $\beta$ の代わりに、彼らは認知バイアスの推定可能性に基づいて報酬学習中の各選好ペアの重みを調整する、動的でインスタンス依存の合理性パラメータ $\beta_{new}$ を導入する。

1. 動的合理性パラメータ（$\beta_{new}$）

この手法は、特定の比較における推定バイアス確率（$D_f$）の関数として固定された $\beta$ を置き換える：
$$\beta_{new} = \text{logistic}(k \cdot (\theta - D_f))$$
ここで：

• $D_f \in [0, 1]$ は、観測されたフィードバックが認知バイアスの影響を受けていると推定される確率である。
• $\theta$ は、フィードバックの重み付け低下が開始される閾値を決定するパラメータである。
• $k$ は遷移の急峻さを制御する。

$D_f$ が低い（バイアスの可能性が低い）場合、$\beta_{new}$ は 1 に近づき、選好に高い重みを置く。$D_f$ が増加すると、$\beta_{new}$ は 0 に向かって減少し、潜在的にバイアスされた判断が報酬モデルに与える影響を実質的に低減する。

2. バイアス検出（$D_f$ 推定）

$D_f$ を推定するために、著者らは「LLM-as-judge」アプローチを採用する。市販の LLM（例：ChatGPT 5.2 Thinking または Mistral-7B-Instruct）が、バイアスの可能性を予測するために各トレーニング例（プロンプト、候補回答、および選択された選好）を評価する。

• ペアワイズ評価: ジャッジは、2 つの候補回答のうちどちらがよりバイアスされているかを特定する。
• 較正: 軽量な較正ステップが、最小限のホールドアウト検証セットを用いて、異なるバイアスタイプ間での系統的な方向性誤りを補正する。
• 粒度: 重要なのは、$D_f$ がシナリオ自体ではなく、特定のシナリオ内の「選択された回答」に対して定義される点である。これにより、注釈者がバイアスを回避することに成功したバイアスを誘発するシナリオからの有益な信号（例：統計的に訓練された注釈者が連合誤謬を正しく拒絶する場合など）をシステムが保持することが可能になる。

3. トレーニングパイプライン

• 報酬モデル: 各ペアの重みが $\beta_{new}$ に条件付けられた損失関数を用いて、Mistral-7B から初期化された報酬モデルをトレーニングする。
• 方策最適化: 凍結されたバイアス認識型報酬モデルを用いて、グループ相對方策最適化（GRPO）により下流の方策をファインチューニングする。
• データセット: この手法は、認知バイアスを引き起こすように設計された 2 つのデータセットで検証される。BRU データセット（205 問、8 種類のバイアス）とCogBias データセット（30,000 ケース、30 種類のバイアス）である。現実的な RLHF の失敗モードをシミュレートするため、バイアスされた回答が真の回答よりも優先されるケースを調整可能な割合（例：3:1 の比率）で含むようにトレーニングデータが構築される。

主要な貢献

1. 文脈依存の合理性: 本論文は、RLHF における固定された合理性パラメータという標準的な仮定に挑戦し、代わりに $\beta$ は特定のフィードバックインスタンスの信頼性に基づいて変動すべきであると提案する。
2. 動的な重み付け低下メカニズム: 著者らは、LLM ベースのバイアス検出器を用いて $\beta$ を動的に調整するメカニズムを導入し、バイアスされた比較の重みを低下させつつ、同じ文脈内のバイアスのない判断からの有益な信号を保持することを可能にする。
3. 不完全な検出に対する頑健性: この手法は、バイアス検出器（LLM-as-judge）が不完全またはノイズを含んでいても、検出器の精度が一定の閾値（約 57-60%）を超えていれば有効であることを示している。

実験結果

著者らは、固定された $\beta$ 値（0.1, 0.5, 0.9, 1.0）およびランダムな $\beta$ 割り当てを用いたベースラインと比較して、動的な $\beta$ 手法を BRU および CogBias データセットで評価した。

• バイアス伝播の削減: CogBias データセットにおいて、バイアス除去モデルは真の回答に対する精度が**67.6%に達し、ファインチューニングされていないベースモデル（42.4%）および同じバイアスデータでトレーニングされたベースライン（精度が約 1.7% に崩壊）に対して大幅な改善を示した。BRU データセットでは、バイアスデータ 3:1 でトレーニングされたにもかかわらず、バイアス除去モデルはベースモデルに対して精度を8.3%**向上させた。
• バイアスされたフィードバックに対する頑健性: この手法は、ベースラインで観察された「バイアスされた選好への崩壊」を成功裡に防止した。トレーニングデータにバイアス対真の選好の比率が 5:1 含まれていても、動的 $\beta$ モデルは固定 $\beta$ ベースラインよりも有意に高い精度を維持した。
• 一般性能の保持: TruthfulQAデータセットでの評価は、一般性能の有意な低下（-0.5% の有意差のない変化）を示さず、介入が全体的な能力を犠牲にすることなくバイアスを選択的に軽減することを示している。
• アーキテクチャ間および転移性: このアプローチは、異なるモデルアーキテクチャ（Mistral-7B および Qwen3-8B）全体で統計的に有意な改善をもたらした。さらに、小規模な BRU データセットでファインチューニングされたモデルは、アンカリングバイアスの軽減能力を大規模な CogBias データセットへ転移することに成功し、真の回答に対する精度を 37.7% から 44.3% に向上させた。

意義と主張

本論文は、RLHF における効果的なアライメントは、理想的で完全に合理的な人間のフィードバックを取得することよりも、そのフィードバックに内在する歪みをモデル化することに依存すると論じている。選好データを文脈依存かつ体系的にバイアスされたものとして再定義することで、著者らは報酬モデルがバイアスに崩壊することなく不完全なフィードバックを活用するようにトレーニングできることを示している。

著者らは、この研究がアライメント研究の成長しつつある方向性、すなわち均一な合理性の仮定から、認知バイアスを検出、モデル化、適応させる手法へと移行する方向性に貢献していると主張する。彼らは、$\beta$ を固定定数ではなくフィードバックの忠実度の信号として扱うことで、LLM が人間のヒューリスティックを継承するのではなく、熟慮的な推論を近似できるようになると提唱している。論文は、この手法の成功が部分的にはバイアス検出器の精度に依存するものの、不完全なジャッジであっても介入は頑健であり、人間の不一致に対する頑健性は認知の完璧なモデルを必要としないことを示唆して結論づけている。