技術要約：スタッケルベルク・ゲームの観点からの（推論時）アライメントのための報酬シェイピング

1. 問題提起

現在の大規模言語モデル（LLM）のアライメント・パイプラインは、通常、ユーザーの嗜好データから報酬モデル（$r_U$）を学習し、それを用いてLLMのポリシーを最適化するプロセスを含んでいる。この最適化は、ベースモデル（$\rho_{base}$）に近い状態を維持して流暢さと言語能力を保つために、カルバック・ライブラー（KL）ダイバージェンス正則化によって制約されている。

著者らは、この標準的なパイプラインにおける根本的な限界を指摘している。すなわち、学習された報酬 $r_U$ を直接最適化することは、KL制約下ではユーザーの効用を最大化する上でサブオプティマル（劣最適）であるということである。ベースモデルが強いバイアス（例：政治的傾向）を持ち、それがユーザーの嗜好と相反する場合、たとえ報酬モデルがその嗜好を正しく識別していたとしても、KL制約によってポリシーを好ましい分布へと十分にシフトさせることが妨げられてしまう。

逆に、単に報酬を増幅させて強制的にシフトさせようとすると、**報酬ハッキング（reward hacking）**のリスクが生じる。これは、モデルがKL制約の意図に反しながらも、報酬信号を最大化するために、支離滅裂または退化した出力を生成してしまう現象である。解決すべき核心的な問題は、KL正則化の下での報酬ハッキングのリスクと、ユーザー効用の最大化とのバランスを取るために、アライメントに使用される報酬モデルをいかに最適に設計（シェイピング）するかという点にある。

2. 手法：スタッケルベルク・ゲームの定式化

著者らは、報酬設計の問題を、二人のプレイヤーによる逐次ゲームであるスタッケルベルク・ゲームとして定式化している。

• リーダー（報酬モデル提供者）： LLMの応答を予測した上で、ユーザーの期待効用（真の効用関数 $r_U$ に基づく）を最大化するように報酬モデル $r$ を選択する。リーダーは必ずしも $r_U$ を直接使用する必要はなく、境界 $B$ に制限された任意の報酬関数 $r: \mathcal{X} \times \mathcal{Y} \to \mathbb{R}$ を選択できる。
• フォロワー（LLM）： 報酬モデル $r$ を観測し、ベースとなるポリシーからのKLダイバージェンスを差し引いた期待報酬を最大化するように、自身のポリシー $\rho_r$ を最適化する。
  $$\rho_r(\cdot|x) = \arg\max_{\rho} \left( \mathbb{E}_{y \sim \rho}[r(x, y)] - \beta \cdot D_{KL}(\rho(\cdot|x) \parallel \rho_{base}(\cdot|x)) \right)$$

理論的特性

著者らは、最適な報酬モデル $r^*$ の閉形式による特性を導出している：

1. 閾値構造： 最適な報酬モデルは**閾値報酬（threshold reward）**となる。与えられたプロンプト $x$ に対して、応答は、その真の効用 $r_U(x, y)$ が特定の閾値 $m^*(x)$ を上回るか下回るかに基づいて分割される。
   • もし $r_U(x, y) > m^*(x)$ であれば、報酬は上限 $B$ に設定される。
   • もし $r_U(x, y) < m^*(x)$ であれば、報酬は $0$ に設定される。
   • もし $r_U(x, y) = m^*(x)$ であれば、報酬は $[0, B]$ の範囲内となる。
2. 自己整合条件： 最適な閾値 $m^*(x)$ は、結果として得られるポリシーの期待効用が閾値自体と等しくなるという条件を満たす：
   $$m^*(x) = \mathbb{E}_{y \sim \rho_{r^*}(\cdot|x)} [r_U(x, y)]$$
3. 計算： 正確な期待値の計算は困難であるため、著者らはベースとなるポリシーからのモンテカルロ・サンプリングを用いて閾値を計算することを提案している。彼らは、最適な閾値に対応する一意の根を持つヘルパー関数 $F_x(m)$ を定義している。この根は、二分法アルゴリズムを通じて効率的に求めることができる。

実装上の実装：ソフト・スレッショルディング（SRS）

解析的にはハードな閾値が最適であるが、それは不連続であり、小さな摂動に対して敏感である。そこで著者らは、シグモイド関数を用いた**ソフト・スレッショルディング（SRS）**というバリアントを導入している：
$$r_{\hat{m}^*, \alpha}(x, y) = B \cdot \sigma(\alpha \cdot (r_U(x, y) - \hat{m}^*(x)))$$
ここで、$\hat{m}^*(x)$ は推定された閾値であり、$\alpha$ は遷移の鋭さを制御する。これにより、アライメント効果なし（$\alpha=0$）の状態から解析的な最適解（$\alpha \to \infty$）の状態までを補間することが可能になる。

推論時アライメントへの統合

このフレームワークは、既存の推論時アライメント手法（具体的には制御デコーディング（Controlled Decoding: CD）および報酬ガイド付き探索としてのアライメント（Alignment as Reward-Guided Search: ARGS））に統合される：

1. オフライン・フェーズ： データセットのプロンプトに対して、ベースモデルから $M$ 個の応答をサンプリングする。これらのサンプルに対して $r_U$ を計算する。二分法を用いて閾値 $\hat{m}^*(x)$ を推定する。シェイプされた報酬データセットを生成するために、SRS変換を適用する。このシェイプされたデータを用いてQ値推定器を訓練する。
2. 推論フェーズ： 学習されたQ値推定器（シェイプされた報酬の下での期待値を捉えたもの）を使用して、デコーディング中にベースモデルのトークン確率を再重み付けする。

3. 主な貢献

1. 標準的なパイプラインの劣最適性： 嗜好から学習された報酬モデルを直接使用することは、特にベースモデルのバイアスがユーザーの嗜好と衝突する場合、KL正則化された目的関数の下ではサブオプティマルであることを示した。
2. スタッケルベルク・ゲームの定式化： 報酬モデルの最適化をスタッケルベルク・ゲームとして定式化し、最適な報酬モデルが閾値構造に従うことを示す閉形式の解を導出した。
3. 効率的な近似： ベースとなるポリシーからのモンテカルロ・サンプリングを用いて最適な閾値を近似するアルゴリズムを開発し、最小限のオーバーヘッドで既存の手法への統合を可能にした。
4. 実証的検証： 提案するSRS手法が、推論時の設定において、一貫して平均報酬を向上させ、ベースラインに対して高い勝敗タイ（win-tie）率を達成することを示した。

4. 実験結果

本手法は、Qwen3-8BおよびLlama3-8Bをバックボーンとして、HH-RLHFおよびSHPデータセットを用いて評価された。

• 報酬の最大化： SRSを統合した手法（SRS-CDおよびSRS-ARGS）は、バニラなベースラインやヒューリスティックな報酬シェイピング手法（Minmax、Meanstd）と比較して、すべての評価設定において一貫して最高の平均報酬を達成した。
• 品質指標： 本手法はベースラインと同等の多様性と一貫性を維持しており、言語品質の低下がないことを示している。
• GPT-4による評価： 直接対決において、SRS手法はすべてのベースライン（Vanilla、Minmax、Meanstd）に対し、**66%を超える平均勝敗タイ率（Win-Tie rate）**を達成した。これは、改善が報酬ハッキングによってもたらされたものではないことを示唆している。
• 堅牢性：
  • 汎化性能： SRSは、ある分布（SHP）で訓練され、分布外（OOD）のプロンプト（HH-RLHFおよびHarmfulQA）で評価された場合でも優れた性能を示した。
  • アブレーション研究： SRSの特定の閾値構造は、単純な報酬キャッピングや平均ベースの閾値設定を上回る性能を示し、ゲーム理論的定式化から導出された自己整合的な閾値の重要性を裏付けた。
• オーバーヘッド： SRS-CDの場合、報酬シェイピングはオフラインで行われるため、推論時のオーバーヘッドはゼロである。SRS-ARGSの場合、オーバーヘッドは無視できる程度である（128トークンの応答あたり約0.03秒）。

5. 意義と主張

本論文は、報酬シェイピングは単なるヒューリスティックではなく、体系的に解くことができる最適化問題であると主張している。アライメントプロセスをゲーム理論的な観点から捉えることで、LLMを誘導するために使用される報酬モデルは、必ずしもユーザーの効用の直接的なプロキシ（代理指標）である必要はなく、むしろそうあるべきではないことを示している。むしろ、ベースモデルによる制約（KLダイバージェンス）を考慮して「シェイプ」されるべきである。

その意義は、報酬ハッキングを引き起こすことなく、ベースモデルのバイアスに対抗するための原理的なフレームワークを提供したことにある。著者らは、自身の手法が軽量であり、既存の推論時アライメント手法にシームレスに統合でき、固定されたモデルを多様なユーザーの嗜好に適応させるための堅牢なソリューションを提供することを強調している。

著者らが指摘する限界事項：

• 本フレームワークは、ユーザーの嗜好が人間の価値観と一致しているという、良識あるユーザーを前提としている。もし報酬モデルが悪意のある嗜好を反映している場合、結果として得られるポリシーはアライメントから外れる可能性がある。
• 本手法は、報酬モデルの利用可能性と、ベースとなるポリシーからのモンテカルロ・サンプリングに依存している。
• 現在の実証的な焦点は推論時のアライメントであるが、著者らはこれを将来の課題として、訓練時のアルゴリズム（例：GRPO）へ拡張できる可能性についても言及している。