論文「Mitigating Reward Hacking in RLHF via Advantage Sign Robustness」の技術的サマリー

本論文は、人間のフィードバックからの強化学習（RLHF）において発生する「報酬ハッキング（Reward Hacking）」の問題を、**「優位性（Advantage）の符号の堅牢性」という観点から解決する新しい手法「SignCert-PO（Sign-Certified Policy Optimization）」**を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義：報酬ハッキングと代理報酬モデルの限界

RLHF のパイプラインでは、人間の選好データを学習させた**報酬モデル（Reward Model: RM）**が、真の人間の選好を代理する指標として用いられます。しかし、RM は不完全な代理指標であるため、方策（Policy）が RM の局所的な誤差や不正確な領域を「ハック」して、RM からのスコアは上昇するものの、真の品質は停滞または低下する現象（報酬ハッキング）が起きます。

特に、RM の学習データが限定的な場合や、方策が RM の学習分布から乖離した場合にこの問題が顕著になります。

既存の対策には以下のようなものがありますが、それぞれ課題があります：

• アンテホック（事前）手法: アンサンブル RM や不確実性推定を用いるが、複数のモデルの学習・推論が必要で計算コストが高い。
• ポストホック（事後）手法: 既存の RM 訓練データへのアクセスが必要なもの（AdvPO など）が多く、サードパーティ製の RM を使う実用的なパイプラインでは適用が困難。

2. 提案手法：SignCert-PO

著者らは、報酬ハッキングの核心は「RM が各回答の優位性（Advantage）の**符号（正か負か）**を誤って予測すること」にあると仮定しました。つまり、本来減らすべき悪い回答に対して RM が誤って正の符号を与え、方策がその確率を上げてしまうことが問題です。

2.1 核心理論：認証された符号保存半径（Certified Sign-Preservation Radius）

RM のパラメータ空間における敵対的摂動（Adversarial Perturbation）を考慮し、**「ある回答の優位性の符号が反転するまでに、RM のパラメータをどれだけ変化させる必要があるか」**を定量化する指標として、**認証された符号保存半径（$\Delta_j$）**を定義しました。

• $\Delta_j$ が大きい: 符号が安定しており、RM のわずかな変化で符号が反転しない（信頼性が高い）。
• $\Delta_j$ が小さい: 符号が不安定であり、RM のわずかな変化で符号が反転する可能性が高い（信頼性が低い、ハッキングのリスクがある）。

2.2 計算の効率化：ヘッドパラメータの摂動

全 RM パラメータの摂動を考慮すると計算コストが膨大になるため、提案手法ではRM の最後層の線形ヘッド（Linear Head）パラメータのみを摂動対象とします。これにより、以下の閉形式（Closed-form）で $\Delta_j$ を効率的に計算できます。

$$\Delta_j = \frac{|A_j(w)|}{\|h_\psi(x, y^{(j)}) - \bar{h}\|_2}$$

ここで、$A_j(w)$ は回答 $j$ の優位性、$h_\psi$ は特徴量、$\bar{h}$ はグループ内の平均特徴量です。分母の「特徴量からの偏差」が大きい（外れ値的な回答）場合や、分子の優位性が小さい場合は $\Delta_j$ が小さくなり、不確実性が高いと判定されます。

2.3 重み付けされた方策勾配（SignCert-PO）

得られた $\Delta_j$ を用いて、標準的な方策勾配更新における各回答の寄与を再重み付けします。

• 符号が堅牢な回答（$\Delta_j$ が大きい）：通常の勾配を維持。
• 符号が不安定な回答（$\Delta_j$ が小さい）：勾配の重みを減らす（またはゼロに近づける）。

具体的には、最悪ケースの優位性 $\tilde{A}_j$ を以下のように計算し、これを勾配に適用します。
$$\tilde{A}_j = \rho^*_j \cdot A_j, \quad \text{where } \rho^*_j = 1 - \frac{\epsilon}{\Delta_j}$$
ここで $\epsilon$ は閾値であり、バッチ内の $\Delta_j$ の分布に基づいて適応的に設定されます。

3. 主要な貢献

1. 軽量なポストホック手法の提案:
   追加の RM 学習や訓練データへのアクセスを一切必要とせず、既存の RM パラメータとオンポリシーの回答のみで動作します。これにより、サードパーティ製 RM を使用する実用的な RLHF パイプラインに容易に統合可能です。
2. 回答ごとの堅牢性評価:
   従来のグローバルな不確実性ペナルティ（すべての回答に均一にペナルティを課す）とは異なり、回答ごとの信頼性を評価し、不安定な回答のみを選択的に抑制します。これにより、探索性を損なわずにハッキングを防ぎます。
3. 理論的保証:
   ランダム化スムージング（Randomized Smoothing）の枠組みに基づき、RM パラメータの摂動に対して符号が保存される範囲を数学的に証明（認証）しています。

4. 実験結果

TL;DR 要約タスクと AlpacaFarm ベンチマークにおいて、Pythia および Qwen2.5 モデルシリーズを用いて評価を行いました。

• 比較対象: Dr.GRPO（ベースライン）、UWO（アンサンブル RM）、BSPO、AdvPO など。
• 評価指標: 「ゴールド RM（真の選好に近い大規模モデル）」による勝率（Win Rate）。
• 結果:
  • SignCert-PO は、ほぼすべての設定で最高のゴールド RM 勝率を達成しました。
  • 特に、RM の学習データが少ない（Proxy RM の精度が低い）状況において、他の手法を大きく上回る性能を発揮しました。
  • 報酬ハッキングの抑制: 標準的な Dr.GRPO は代理報酬は上昇するがゴールド報酬が低下する（ハッキング）のに対し、SignCert-PO はゴールド報酬を維持・向上させつつ、KL 発散（参考方策からの乖離）を適切に制御しました。
  • 計算コスト: 追加の計算は RM の最終層特徴量からの係数計算のみであり、Dr.GRPO とほぼ同等の推論・学習時間を維持しています。

5. 意義と結論

本論文は、RLHF における報酬ハッキング対策として、**「RM の予測がどの程度信頼できるか（符号がどの程度堅牢か）」**を回答ごとに定量化し、それを方策更新の重み付けに直接活用する画期的なアプローチを示しました。

• 実用性: 追加のデータ収集や大規模なアンサンブル学習なしに、既存の RLHF パイプラインに組み込めるため、産業応用へのハードルが低いです。
• 理論的深さ: 不確実性を単なるスコアの揺らぎとしてではなく、「方策更新の方向性を決定する符号の安定性」として捉え直すことで、より本質的な対策を可能にしました。

今後の課題としては、線形ヘッドの仮定を超えた一般の RM への拡張や、より tight な結合された敵対的定式化の検討が挙げられますが、SignCert-PO は RLHF の信頼性向上において重要な一歩を踏み出したと言えます。