技術的概要：テスト時で制御可能な報酬モデルのためのベイズ的選好学習

問題定義

報酬モデル（RM）は、人間のフィードバックからの強化学習（RLHF）を通じて言語モデルを人間の選好に整合させる上で中心的な役割を果たす。従来の分類器型 RM は、固定されたデータセットを用いてブラッドリー・テリー（BT）モデルのパラメータを静的に推定するように訓練される。一度訓練されると、これらのモデルは適応性を欠き、再訓練なしには未見の選好分布や動的なトレードオフ（例えば、有用性と安全性のバランス）に対応できない。さらに、標準的な分類器型 RM は「過最適化」に陥りやすく、選好確率が 1 に収束することで、人間の選好の真の複雑さを捉えられない局所最適解に陥る傾向がある。「LLM-as-a-Judge」アプローチは柔軟性を提供するが、多くの場合、高い計算コストを伴うプロプライエタリなモデルに依存する。本論文は、テスト時に適応可能であり、過最適化を回避する効率的な分類器ベースの RM への必要性に取り組む。

手法：変分コンテキスト内報酬モデリング（ICRM）

著者らは、潜在選好確率に対する償却変分推論として報酬モデリングを扱うベイズ的枠組みである**変分コンテキスト内報酬モデリング（ICRM）**を提案する。

中核的な定式化

1. 潜在変数の定義: モデルは、プロンプト $x$ と一連のコンテキスト内デモンストレーション $C$ が与えられたとき、選択された応答 $y_w$ が却下された応答 $y_l$ よりも選好される確率を表す潜在確率変数 $z \in [0, 1]$ を導入する。
2. ベータ事前分布と事後分布:
   • BT モデルは $N=2$（1 組）に特化され、選好結果の尤度は $z$ でパラメータ化されたベルヌーイ分布に従う。
   • $z$ に対してベータ事前分布 $p(z) = \text{Beta}(\alpha_0, \beta_0)$ が置かれる。著者らは通常、無情報な出発点を表すために一様事前分布 $(\alpha_0, \beta_0) = (1, 1)$ を使用する。
   • 近似事後分布 $q_\theta(z | x, y_w, y_l, C)$ は、2 次元の投影ヘッドを持つニューラルネットワークによってパラメータ化され、有用性スコア $u_\theta$ と信頼度（証拠）スコア $s_\theta$ を出力する。
   • 事後分布は $\text{Beta}(\alpha_q, \beta_q)$ として再パラメータ化される。ここで：
     • $\mu = \sigma(u_w - u_l)$ は事後平均（選好確率）を表す。
     • $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ は集中度（信頼度）を表す。
     • $\alpha_q = \mu\tau$ および $\beta_q = (1-\mu)\tau$ である。

学習目的

モデルは、エビデンス下限（ELBO）を最大化すること、すなわち負の ELBO 損失を最小化することによって訓練される：
$$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$$

• 再構成項: 最初の項は、事後分布が観測された選好をどの程度よく説明するかを測定する。ベータ分布の場合、これは digamma 関数 $\psi$ を含む閉形式となる。これを最小化することは、選択された応答に対して $\mu$ を 1 へと押し上げる。
• 正則化項: 2 番目の項は、学習された事後分布と固定された事前分布との間の KL 発散である。ハイパーパラメータ $\lambda(N)$ は、コンテキスト内デモンストレーションの数 $N$ の単調減少関数である。
  • $N$ が小さい場合、$\lambda(N)$ は大きく、事後分布が事前分布に近づくように強制され（高い不確実性）、
  • $N$ が増加するにつれて $\lambda(N)$ は減少し、再構成項が支配的となり、モデルは自信に満ちたデータ駆動型の事後分布を形成する。

理論的保証

著者らは、KL 正則化された目的関数が、標準的な BT モデルで一般的に発生する「過最適化」の失敗モードを防ぐことを証明している。

• 補題 3.1: 選好確率 $\mu \to 1$ になると、損失の有用性スコアに関する勾配は、$\epsilon = 1-\mu$ に対して比例する因子 $1/\epsilon$ によって罰せられ、制御不能な最大化を防ぐ。
• 定理 3.2: 損失関数の大域的最小解は、定義域の内部（$0 < \mu^* < 1$ および $0 < \tau^* < \infty$）に存在することが保証され、モデルが境界解に収束しないことを保証する。

主要な貢献

1. 体系的な変分選好学習: ICRM は、RM が数ショットのコンテキスト内サンプルからテスト時の選好を推論することを可能にする。KL 正則化された目的関数は、選好平均の過度な最大化を抑制しつつ、大域的内点最適解を保証する。
2. 単一および多目的制御可能性: 変分的設計により、方向性制御（特定の選好方向への適応）と較正された制御（選好シフトの程度を符号化）の両方が可能となる。これは多目的設定に拡張され、コンテキスト内デモンストレーションを混合することで、競合する目的間のトレードオフ（例えば、安全性対有用性）をナビゲートすることを可能にする。
3. 検証可能な報酬のパラメータ化: この枠組みは、検証可能な報酬を用いた強化学習（RLVR）に適用される。モデルは有用性と信頼度スコアを解釈し、方向性を持ちかつコンテキストの信頼性に較正された報酬信号を生成する。これは数学推論タスクにおいて、標準的な検証器や BT モデルを上回る性能を発揮する。

実験結果

著者らは、Qwen3-4B および Llama-3.2-3B をバックボーンとして使用し、標準的な分類器型 RM（BTRM、ArmoRM、GRM）や生成型ジャッジ（LLM-as-a-Judge、GRAM-r2）などのベースラインに対して ICRM を評価した。

• 較正された制御可能性: 道徳的ジレンマの選好ペアにおいて、ICRM はコンテキスト内デモンストレーションの構成によって指定された選好シフトの程度に従う能力を示した。デモンストレーションの数（$N$）が 8 から 64 に増加するにつれて、期待較正誤差（ECE）は 0.099 から 0.076 に減少し、LLM-as-a-Judge ベースラインを上回った。
• 方向性制御可能性: SafeRLHF や HHH-Alignment などのベンチマークにおいて、ICRM は「逆転した」選好ラベル（有害な応答が選択されたものとしてラベル付けされている場合）に高い精度（最大 89%）で適応したが、静的なベースラインは適応に失敗した。
• RM-Bench パフォーマンス: コンテキスト内デモンストレーションの数を増やすと、RM-Bench の精度が大幅に向上した。$N=64$ の場合、ICRM は平均精度 70.8% を達成し、$N=1$ の 60.5% から向上し、LLM-as-a-Judge ベースライン（70.3%）を上回った。
• 多目的トレードオフ: RM-Bench の安全性ドメインにおいて、ICRM は「応答すべき」と「拒否すべき」の行動間の滑らかなパレートフロンティアを生成した。これらのフロンティアのハイパボリューム（HV）は $N$ とともに増加し、ICRM が静的な RM が欠く到達可能なトレードオフ領域を拡張できる能力を有していることを示した。
• RLVR 応用: INTELLECT-MATH データセットを使用した数学推論タスクにおいて、ICRM 報酬で訓練された方策は MATH-500 で 53.8% の精度を達成し、ゴールド検証器（50.4%）や標準的な BT 報酬モデル（51.4%）で訓練された方策を上回った。

意義と主張

本論文は、ICRM が訓練後に未見の選好基準に適応可能な報酬モデルへの、理論的に裏付けられかつ実用的に効果的な道筋を提供すると主張している。選好をコンテキスト内デモンストレーションに条件付けられたベータ事後分布を持つ潜在確率として扱うことで、ICRM はベイズ的正則化とコンテキスト内制御可能性を統合する。

著者らは、このアプローチが以下の点で重要であると強調している：

• プロプライエタリな生成型ジャッジの計算オーバーヘッドなしに、従来の分類器型 RM の静的な性質を解決する。
• KL 正則化を通じて報酬の過最適化を緩和するための体系的なメカニズムを提供する。
• 固定された動作点ではなく、選好空間の継続的なナビゲーションを可能にする、動的なテスト時制御による多目的整合を可能にする。

この研究は、将来の報酬モデリングが固定されたデータセットを超えて、動的でデモンストレーション駆動型の整合へと移行し得ることを示唆しているが、著者らはコンテキスト長の制約や、モデルを有害な行動へ誘導することへの対策の必要性に関する限界にも言及している。