技術要約: AdaJudge

問題提起

報酬モデル（Reward Modeling）は、大規模言語モデル（LLM）を人間の好みに適合させるために極めて重要であるが、現在のアーキテクチャは2つの根本的な構造的限界に直面している：

1. 静的な帰納バイアス（Static Inductive Bias）: 主要な報酬モデルは、シーケンス表現をスカラー値に凝縮するために、固定されたプーリング戦略（例：ラストトークン・プーリングや平均プーリング）に依存している。これは、タスク依存的な選好信号の性質との間にミスマッチを生じさせる。例えば、推論タスクでは局所的な終端の手がかり（ラストトークン・プーリングが有利）が必要となる一方で、安全性や一貫性のタスクでは、全体的かつ分散的な証拠（平均プーリングが有利）が必要となる。単一の静的な戦略はトレードオフを強いることになり、特定のドメインで必要とされる証拠の空間的分布を捉えきれないことが多い。
2. 表現のミスマッチ（Representational Mismatch）: バックボーンとなるLLMは次トークン予測（生成タスク）に最適化されているが、報酬モデリングには微細なペアワイズ比較（二者択一の識別）が必要である。その結果、バックボーンの生の隠れ状態には、さらなる適応なしには、論理的な不整合や軽微な制約違反といった微妙な選好の手がかりを区別するために必要な特徴が欠けている可能性がある。

既存の解決策は、データのスケールアップやモデルサイズの拡大に依存するか、あるいは複数のモデルによる計算コストの高いアンサンブルを用いて適応性を実現しようとするが、単一モデルの報酬ヘッドが持つ根本的なアーキテクチャの硬直性は解決されていない。

手法: AdaJudge

著者らは、トークンレベルまたはプロセスレベルの教師あり学習を必要とせずに、表現の適応と集約を同時に行うために設計された、統一された2段階フレームワークである AdaJudge（Adaptive Multi-Perspective Judging）を提案する。

ステージ I: 適応的表現洗練（Adaptive Representation Refinement）

表現のミスマッチに対処するため、AdaJudgeはバックボーンLLMの後に適用される軽量な反復洗練モジュールを導入する。

• メカニズム: このモジュールは、$K$ 個の連続するTransformerブロックで構成される。
• 深度ゲーティング（Depth-Gating）: バックボーンの特徴量の平均プーリングから導出されたグローバルなシーケンスレベルのコンテキストベクトルが、ゲーティングネットワークを通過して混合係数 $\alpha$ を生成する。
• 洗練（Refinement）: 最終的な洗練された表現 $\tilde{H}$ は、すべての中間隠れ状態（$H^{(1)}$ から $H^{(K)}$）の凸結合である。これにより、モデルは入力サンプルの複雑さに応じて、浅い手がかりを強調するか、より深い推論の痕跡を蓄積するかを動的に選択できる。

ステージ II: マルチパースペクティブ集約（Multi-Perspective Aggregation）

静的な帰納バイアスに対処するため、AdaJudgeは固定されたリードアウトを ドメイン認識型ゲート付き混合プーリング（Domain-Aware Gated Mixture-of-Pooling） ヘッドに置き換える。

• 並列エキスパート: 洗練された表現 $\tilde{H}$ は、3つの並列なプーリングエキスパートを通じて処理される：
  1. ラストトークン・プーリング ($z_L$): 結論に敏感な信号を捉える。
  2. 平均プーリング ($z_M$): 全体的なスタイルおよび一貫性の属性を捉える。
  3. アテンション・プーリング ($z_A$): シーケンス内の任意の場所にある疎な異常を検出する。
• プロンプト条件付きルーティング: プロンプトトークンの平均プーリングから導出された別のプロンプト表現 ($z_P$) を用いる。ルーティングネットワークは、連結されたベクトル $[z_L; z_M; z_A; z_P]$ を受け取り、ソフトマックス関数を介して混合重み $\pi$ を出力する。
• 動的スコアリング: 最終的な報酬スコア $r(x, y)$ は、3つの視点（$s_L, s_M, s_A$）からのスコアを、$\pi$ によって重み付けされたゲート付き混合として算出される。これにより、モデルは特定のプロンプトによって要求される証拠の空間的分布に最も適合する集約戦略を適応的に選択できる。

最適化

モデルは Focal Bradley–Terry目的関数 を用いて訓練される。この損失関数には、困難なサンプルを強調するためのフォーカル項と、ルーティング分布が単一の視点に崩壊するのを防ぎ、モデルが多様な集約戦略を維持できるようにするためのエントロピー正則化項が含まれている。

主な貢献

1. 構造的ミスマッチの特定: 本論文は、生成に特化したバックボーンは微細な識別特徴を欠いていること、および固定されたプーリングは多粒度な選好の証拠を捉えることができないことを形式的に特定した。
2. 統一フレームワーク: 外部の教師あり学習なしに、表現の洗練（深度ゲーテッドブロックによる）と証拠の集約（ドメイン認識型ルーティングによる）を統合したAdaJudgeを導入した。
3. 実証的な優位性: 多様なドメインおよびモデルスケールにおいて、強力な既成の報酬モデルおよび制御されたベースライン（同一バックボーン、異なるヘッド）に対して、一貫した性能向上を示した。

実験結果

実験は、HelpSteer3データセットで訓練されたPhi-3.5-mini-instruct、Qwen3-4B、およびQwen3-8Bをベースモデルとして、RM-Bench および JudgeBench で実施された。

• 性能向上: AdaJudgeは従来のプーリングベースラインを大幅に上回った。特に、AdaJudgeを装備したQwen3-8Bモデル（RM-Benchで全体として71.1）は、はるかに大規模な27BパラメータのSkywork-Reward-Gemma-2モデル（70.5）を凌駕しており、高いパラメータ効率を実証した。
• トレードオフの解消: 静的なベースラインは、相反する性能プロファイルを示した（例：ラストトークン・プーリングは安全性には優れていたが数学では失敗し、平均プーリングはその逆であった）。AdaJudgeは、「パレート改善」を達成し、数学（80.4）、安全性（87.5）、および困難なサブセットにおける堅牢性（43.0）において同時に性能を最大化した。
• アブレーション研究:
  • 洗練ステージを除去すると、推論集約型のタスク（数学およびコード）において大幅な低下が見られ、表現空間を適応させる必要性が確認された。
  • 静的なシングルビュー・ベースライン（ラストトークン、平均、アテンション）は、特にベンチマークの「Hard」サブセットにおいて、適応的な混合モデルよりも一貫して劣っていた。
• 内部メカニズム分析:
  • アライメント: 反復的な洗練は、スコアリングの方向と真の選好差との間のコサイン類似度を、特に平均およびアテンション・プーリングのビューにおいて向上させた。
  • ルーティングの挙動: ゲーティングメカニズムは、ドメインごとに異なる集約パターンを学習した（例：コード/数学ではアテンション・プーリングの重みを高く、安全性では平均プーリングの重みを高くする）。これは、ドメイン固有の証拠分布に適応するモデルの能力を裏付けている。

意義

本論文は、固定された集約戦略の硬直性が、報酬モデリングにおける主要なボトルネックであると主張している。表現の洗練を集約から切り離すことで、AdaJudgeは、動的でインスタンス適応的なアーキテクチャが静的な帰納バイアスの限界を克服できることを示している。本研究は、将来の報酬モデリングが、単にデータやモデルのサイズをスケールアップすることを超えて、内部表現と集約戦略を評価タスクの特定の空間的・論理的要求に一致させるアーキテクチャの柔軟性に焦点を当てるべきであることを示唆している。

限界

著者らは以下の限界を認めている：

• スケーラビリティ: 検証は現在、最大8Bパラメータのモデルに限定されており、極大規模モデル（70B以上）における有効性は未探索である。
• レイテンシ: 軽量ではあるものの、反復的な洗練とルーティングネットワークは、標準的な固定プーリング・ベースラインと比較して、追加のパラメータと推論レイテンシを導入する。
• エキスパート・ライブラリ: 現在の実装は3つのプーリングエキスパートの固定セットを使用している。フレームワークは拡張可能であるが、最適なエキスパートのセットや、自動的なエキスパート発見の可能性については未解決の課題である。
• モダリティ: 評価は現在、テキストのみの選好モデリングに限定されており、マルチモーダル入力への拡張の可能性がある。