技術的サマリー：Back to Blackwell：多目的選好微調整における非推移性のループを閉じる

1. 問題定義

本論文は、大規模言語モデル（LLM）における選好微調整（PFT）の根本的な課題、すなわち非推移的（循環的）な選好に取り組む。非推移性とは、LLM 判定者が選択肢 $A \succ B$ および $B \succ C$ とランク付けするが、$A \succ C$ とランク付けできない現象を指す。この現象は主に以下の 2 つの要因から生じる：

1. 単一の目的に沿った一貫性のないランク付け。
2. 複数の目的を単一の指標にスカラー化することにより、個々の目的が一貫していても矛盾が生じうる。

標準的な PFT パイプラインは、報酬モデルを通じて全順序を学習することに依存している。しかし、非推移的な選好の下では、明確に定義された最適方策（コンドルセ勝者）が存在しないため、標準的な PFT の核心的な仮定が崩壊する。先行研究は、(a) 集約された判断を複数の目的に分割するか、(b) 最悪の比較対象に対する堅牢な方策を見つけるために PFT をゼロサムゲームとして定式化するかのいずれかによってこれを緩和しようとしたが、これらを組み合わせることは技術的に困難である。具体的には、目的を多目的設定に分割することはミニマックス定理を無効化し、自己対戦（self-play）などの標準的なゲーム解決メカニズムの失敗を招く。

2. 手法

2.1 解決概念：最大エントロピー・ブラックウェル勝者（MaxEntBW）

著者らは、**最大エントロピー・ブラックウェル勝者（MaxEntBW）**と呼ばれる新しいゲーム理論的解決概念を提案する。ミニマックス勝者（ミニマックス定理がない多目的設定では定義が不明確）とは異なり、MaxEntBW は、複数の一貫性のない全体的な選好が存在する場合でも、明確に定義される。

形式的には、MaxEntBW はゲーム値 $V(\pi)$ を最大化する方策 $\pi^*$ であり、以下のように定義される：
$$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$$
ここで：

• $P(\pi \succ \pi' \mid x)$ は、$m(x)$ 個の目的にわたるペアごとの勝利確率のベクトルである。
• $w(x)$ は、敵対者が目的に付与する重みを表す。
• $\pi'$ は敵対者の比較方策である。
• $\beta D_{KL}(\pi' \parallel \pi_{ref})$ は、敵対者が参照方策 $\pi_{ref}$ に近づくよう制約する KL 正則化項である。

この定式化は、ミニマックス定理が成り立つことを必要とせず、局所的近傍内における最悪の目的重み付けおよび比較方策に対して方策が堅牢であることを保証する。

2.2 アルゴリズム：PROSPER

大規模な MaxEntBW を計算するために、著者らはPROSPER（PReference Optimization with a Single Player over Entire Rubrics）を導出した。このアルゴリズムは、学習者、敵対的目的重み、敵対的方策という複雑な 3 人ゲームを、以下の 3 つの主要なステップを通じて扱いやすい単一プレイヤー最適化問題に還元する：

1. 閉形式の敵対的方策：学習者 $\pi$ と重み $w$ を固定することで、敵対者方策 $\pi'$ に関する内側の最小化は、エントロピー正則化（Ziebart ら，2008 に着想を得る）を介して閉形式解を許容する。これにより、敵対的トレーニングループの必要性が排除される。
2. プロンプトごとの最小化：目的重み $w$ に関する最適化は凹関数であることが示される。したがって、任意のプロンプトに対する最適な $w$ は単体（simplex）の頂点（すなわち、単一の最悪ケースの目的を選択する）となる。これにより、アルゴリズムは単に目的をプロンプトごとに最小化すればよく、$w$ の最適化を不要とする。
3. 回帰に基づく最適化：残りの目的は $\pi$ に関して凹関数である。大規模モデルに対してオンライン鏡像降下を直接実行することは不可能であるため、PROSPER は回帰に基づく再定式化を使用する。最悪ケースの目的と参照方策から導出された推定勾配 $g(z)$ を用いて勾配を推定し、平方損失回帰問題を解くことで方策パラメータ $\theta$ を更新する：
   $$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$$

3. 主要な貢献

1. MaxEntBW の定義：本論文は、ブラックウェル勝者を多目的設定に一般化し、ミニマックス定理に依存することなく非推移的選好の下でも明確に定義される解決概念である「最大エントロピー・ブラックウェル勝者」を導入する。
2. PROSPER アルゴリズム：著者らは、MaxEntBW を計算するための証明可能な効率的な回帰ベースのアルゴリズムを導出した。この手法は、逆強化学習の知見と最近の選好最適化技術を融合させ、内側ループの最適化を排除して問題を単純な回帰に還元する。
3. 実証的検証：本論文は、多目的 LLM 判定者フィードバックが実際には実質的に非推移的であることを実証する。また、PROSPER が多目的フィードバックからの LLM（3B および 7B スケール）の微調整において、特に指示遂行および汎用チャットベンチマークにおいて、ベースラインを上回ることを示す。

4. 実験結果

著者らは、LLM 判定者がプロンプト固有のルブリックに対して回答を評価するWILDCHECKLISTSデータセットを用いて PROSPER を評価した。

• 非推移性の分析：実験により、ルブリックを個別項目（多目的）に分割することは非推移性を減少させるが、排除するものではないことが確認された。プロンプトの相当な割合は依然として循環を示し、コンドルセ勝者を欠いている。
• ベンチマーク性能：
  • 指示遂行およびチャット：AlpacaEval 2.0およびArena-Hardにおいて、PROSPER（7B）は RLCF（Checklist Feedback からの強化学習）ベースラインおよびアブレーション変種（PROSPER-JC および PROSPER-VB）を含むすべてのベースラインの中で最高スコアを達成した。
  • 汎用能力：ドメイン外ベンチマーク（IFEval, MMLU, ARC, HellaSwag, TruthfulQA）において、PROSPER はベースモデルおよび RLCF と同等の性能を維持し、敵対的なトレーニングが一般的な推論能力や知識能力を劣化させていないことを示している。
• アブレーション研究：
  • PROSPER-JC（単一目的/集約スコア）：完全な PROSPER よりも性能が劣り、複数の目的を明示的に扱う必要性を浮き彫りにした。
  • PROSPER-VB（固定競争相手）：完全な PROSPER よりも性能が劣り、敵対的に選択された競争相手方策の価値を実証した。

5. 意義と主張

本論文は、PROSPER が本質的に一貫性のない複雑な多基準の人間（または AI）の選好と LLM を整合させるための堅牢な枠組みを提供すると主張する。スカラー化や多目的設定で失敗する標準的なゲーム理論的仮定から離れることで、著者らは以下の点において「第一原理」的な解決策を提供する：

• 非推移性の処理：存在しないかもしれない全順序を強制することなく、選好の循環的な性質に直接対処する。
• スケーラビリティ：問題を単一プレイヤー回帰に還元することで敵対的トレーニングの計算コストを回避し、効率を達成する。
• 実用性：集約スコアではなく、詳細な多目的ルブリックフィードバックを活用することが、現実世界のチャットおよび指示遂行シナリオにおいて質的に強力な方策につながることを実証する。

著者らは、この分野におけるさらなる研究を促進するため、3B および 7B パラメータスケールでトレーニングされたモデルチェックポイントを公開する。