技術的サマリー：ペアを超えて：あなたの言語モデルは秘密的に選好グラフを最適化している

1. 問題定義

大規模言語モデル（LLM）の現在のアライメント手法、特に直接選好最適化（DPO）は、主にペアワイズ選好比較に依存しています。DPO は明示的な報酬モデリングを排除することで、人間のフィードバックからの強化学習（RLHF）に対する安定した代替手段を提供しますが、実用的なデータ収集 regimes に適用される際には根本的なボトルネックに直面します。

多くの現実世界のシナリオ（推論、プログラム合成など）では、トレーニングデータがプロンプトごとの複数のロールアウトから構成され、人間の判断、実行ベースの検証、またはヒューリスティックによってランク付けされます。標準的な DPO は、これらのマルチサンプルランキングを独立したペアワイズ比較（$O(K^2)$ 個のインスタンス）に分解することで処理します。この還元主義的アプローチは、以下の 3 つの決定的な限界をもたらします：

1. 推移性の喪失：ランク付けされたリストに内在するグローバルな推移的構造（例：$A \succ B$ かつ $B \succ C$ ならば、標準的な DPO は明示的に $A \succ C$ を強制しない）を破棄します。
2. 冗長/矛盾する監督：孤立したペアを個別の制約として扱うため、サンプルが同順位の場合やランキングが部分的な場合に、ノイズを導入する可能性があります。
3. 部分順序との非互換性：多くの評価シグナル（数学やコードの正しさなど）は、同等クラスまたは部分順序を生成し、既存のリストワイズ手法（PRO、LiPO など）が要求する厳密な全順序リストとして忠実に表現できません。

2. 手法：グラフ直接選好最適化（GraphDPO）

著者は、選好モデリングを孤立したペアまたは厳密なリストから有向非巡回選好グラフ（DAG）へ移行させる、DPO の原理的な一般化であるGraphDPOを提案します。

2.1 選好グラフ表現

与えられたプロンプト $x$ と $K$ 個の候補応答の集合 $\{y_1, \dots, y_K\}$ に対して、GraphDPO は DAG $G_x = (V, E)$ を構築します：

• ノード：サンプリングされた応答を表します。
• エッジ：優越関係をエンコードします。応答 $y_i$ が $y_j$ よりも好まれる場合（$y_i \succ_x y_j$）、エッジ $i \to j$ が存在します。
• 同等クラス：複数の応答が同じ選好レベルを共有する離散シグナル（正解/不正解など）を処理するために、この手法は応答を同等クラス $C_1 \succ C_2 \succ \dots \succ C_G$ にグループ化します。エッジは異なるクラス間でのみ許可され、クラス内エッジはマスクされます。これにより、同順位サンプルを恣意的に順序付けることによる偽の勾配を防ぎます。

2.2 グラフ構造化目的関数

GraphDPO は、支配する近傍上で定義された尤度を最適化します。各応答 $y_i$ に対して、モデルは支配するすべての応答（$N^-(i)$）よりも高いスコアを割り当てるようにトレーニングされます。

• 局所損失：Plackett–Luce（PL）に着想を得た定式化を使用し、ノード $i$ の損失は以下の通りです：
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  ここで、$\tilde{s}_i$ は参照ポリシーに対する中心化された対数比スコアです。
• グローバル集約：総損失はこれらの局所項を集約します。この定式化はグローバルな推移性を強制します：$y_i$ が $y_j$ を支配する場合、目的関数は $s_i > s_j$ を促進し、推移的関係は共有近傍を通じて自然に伝播します。
• 計算量：完全なグラフを活用しているにもかかわらず、この手法は同等クラス（層状 DAG）構築下でプロンプトあたり線形計算量 $O(K)$ を維持し、ペアワイズ比較の $O(K^2)$ 列挙やリストワイズ手法の順列正規化を回避します。

2.3 真値アンカリング

検証済みの解決策（オラクル応答）が利用可能な場合、GraphDPO はそれらをグラフ内の支配ノードとして統合します。

• アンカリング損失：オラクル応答がすべての生成された応答を支配することを促す別個の項です。
• アニーリングスケジュール：初期トレーニングを安定させつつ後で柔軟性を維持するために、アンカリング項の重み $\lambda_{gt}(t)$ は高く初期化され、徐々に 1.0 まで減衰します。これにより、ポリシーが早期にオラクルに過剰適合することを防ぎつつ、一貫した選好伝播を確保します。

2.4 トレーニング目的関数

最終的な目的関数は、グラフ損失、オプションの真値アンカリング、および参照ポリシーからの逸脱を防ぐトークンレベルの KL 正則化項を組み合わせます：
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
厳密な選好を持つ $K=2$ の場合、標準的なペアワイズ DPO が特殊ケースとして回復されます。

3. 主な貢献

1. グラフ構造化選好最適化：GraphDPO は、複数のロールアウトにわたってグローバルに整合性の取れた選好 DAG を構築するように選好学習を再定式化し、推移性を強制して標準的な DPO を特殊ケースとして回復します。
2. 同順位選好処理を伴うグループ別ランキング：同等クラスを自然にサポートし、近接した同一サンプルからの偽の勾配を回避するために、選好グループ間でのみ比較を実行します。
3. 線形時間フルグラフ学習：支配集合上の効率的な log-sum-exp 集約を通じてグローバルなランキング情報を捉え、ペアワイズ列挙またはリストワイズ順列正規化の計算オーバーヘッドを回避します。
4. 安定化する真値アンカリング：検証済みソリューションを使用して初期最適化を安定化させつつ、後期の段階でポリシーの多様性を犠牲にしないアニーリングアンカリング機構を導入します。

4. 実験結果

著者は、Qwen3 ベースモデルを使用して、数学的推論（GSM8K、MATH-500）およびプログラム合成（APPS）ベンチマークで GraphDPO を評価しました。

• 性能：GraphDPO は、教師あり微調整（SFT）、GRPO、SPIN、およびリストワイズ手法（PRO、LiPO）を含むベースラインを一貫して上回りました。
  • GSM8K：アンカリングなしで92.42%、アンカリングありで**92.75%**を達成し、最良のリストワイズベースライン（LiPO：89.23%）を上回りました。
  • MATH-500：GT なしで87.40%、GT ありで**88.87%**を達成し、GSM8K と比較してリストワイズ手法との差がより大きくなり、複雑なタスクほど恩恵が拡大することを示唆しています。
  • APPS：GT なしで72.93%、GT ありで**73.76%**を達成し、グループベース（GRPO）およびリストワイズ手法を上回りました。
• アブレーション調査：
  • グラフ vs リストワイズ：グラフエッジエンコーディングを除去した PRO との性能差は、部分順序と推移的構造をモデル化することが、厳密な全順序仮定よりも優れていることを確認しました。
  • ロールアウト数（$K$）：$K$ を増加させることは、一般的により豊かな選好グラフを誘発することで性能を向上させ、ペアワイズサンプリングでは観測できない推移的優越関係を利用できるようにしました。
  • アンカリング：真値アンカリングは、特に小さなロールアウト予算や困難なタスク（MATH-500）において、選好伝播を安定させることで一貫した改善を提供しました。

5. 意義と主張

この論文は、選好構造をグラフとしてモデル化することが、ペアワイズおよびリストワイズのアライメント目的関数の両方に対して、スケーラブルで堅牢な代替手段を提供すると主張しています。

• スケーラビリティ：グローバル構造を捉えつつ線形計算量を維持することで、GraphDPO は推論やコーディングタスクで一般的なロールアウト集約的なアライメント設定に適しています。
• 堅牢性：この手法は、厳密なリストワイズ仮定を破る部分順序、同等クラス、および疎な比較可能性関係を処理します。
• 帰納的バイアス：結果は、ロールアウト間の構造化された関係（推移性と優越性）を明示的にモデル化することが、単純な順序仮定が失敗する複雑な問題領域へのアライメントの拡張に不可欠であることを示唆しています。

著者は、GraphDPO が DPO の単純さとマルチサンプルランキングの構造的豊かさの間のギャップを埋める、シンプルで効果的な帰納的バイアスを LLM アライメントに提供すると結論付けています。