Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

技術的サマリー：推移性と循環性の出合い：動的な大規模言語モデルアライメントのための明示的選好分解

問題定義
標準的な人間のフィードバックからの強化学習（RLHF）は、人間の選好が推移的であり、スカラー報酬によって表現可能であると仮定するブラッドリー・テリー（BT）モデルに依存しています（$A \succ B \land B \succ C \implies A \succ C$）。しかし、現実世界の人間の選好は、スカラーモデルが本質的に捉えることができない非推移的かつ循環的なパターン（例：じゃんけんの力学）を示すことがよくあります。一般選好モデル（GPM）のような最近のアプローチは、歪対称双線形形式を用いて循環性を扱いますが、著者らは重要な理論的限界を特定しました。GPM の暗黙的な定式化は、階層的（推移的）な力学と循環的な力学を絡み合わせています。この絡み合いにより、GPM は、複雑な局所的な循環によってグローバルな階層に必要な幾何学的容量が「駆逐」される可能性があるため、任意の循環的コンテキストにおいて「支配的解（他者を厳密に打ち負かす候補）」の表現を保証できません。

手法
本論文は、これらの構造的および最適化の課題に対処するための二管のフレームワークを提案します。

1. ハイブリッド報酬循環（HRC）モデル:

   • 理論的基盤: ゲーム理論的分解（Balduzzi ら、2019）に基づき、著者らは選好モデリングを対称ゼロサム関数形ゲームとして定式化しました。任意の選好関数は、直交する推移的成分（$\phi_T$）と循環的成分（$\phi_C$）に一意に分解可能であることを証明しました。
   • アーキテクチャ: HRC はこの分解を明示的に実装します。BT 類似の構造を通じて推移的成分を捉えるスカラー報酬ヘッドと、GPM 類似の歪対称演算子を通じて非推移的力学を捉えるベクトルベースの循環的ヘッドを組み合わせます。
   • メカニズム: 最終的な選好スコアは、推移的スカラーの差と循環的ベクトル相互作用の和となります：$s_{HRC} = (r(y_i) - r(y_j)) + (v_i^\top W v_j)$。モデルは埋め込みに対して単位ノルム制約を課し、循環強度を調節する文脈認識型ゲーティング機構を利用します。
   • 利点: 特定の多次元制約なしに循環と共に支配的候補を表現することに苦労する GPM と異なり、HRC は二つの力学を分離することで、支配的階層の保存を数学的に保証します。線形推論複雑性 $O((2d+1)K)$ を維持します。

2. 動的自己遊戯選好最適化（DSPPO）:

   • 概念: 標準的な自己遊戯アルゴリズム（例：SPPO）は静的な選好オラクルに対して最適化します。著者らは、これが HRC が明らかにする多次元のランドスケープをモデルが navigate する能力を制限すると主張します。
   • メカニズム: DSPPO はアライメントを時間変化するゲームとして扱います。トレーニング反復を通じて選好信号をスケジューリングし、堅牢な推移的バックボーンから洗練された循環的ニュアンスへと徐々に移行させます。
   • スケジューリング: 反復 $t$ における選好スコアは $s_t = (1 + \frac{\lambda}{\sqrt{t}})s_T + (1 - \frac{\lambda}{\sqrt{t}})s_C$ と定義されます。このカリキュラム学習アプローチは、複雑な局所的力学を導入する前にグローバルな品質基準を確立することでトレーニングを安定化し、理論的に $O(1/\sqrt{T})$ のレートでナッシュ均衡への収束を保証します。

主要な貢献

• 理論的統合: 本論文は、HRC が選好を直交する推移的および循環的成分に明示的に分解することで BT モデルと GPM を統合し、混合設定における支配的解の保証という GPM の構造的欠陥を解決するという理論的証明を提供します。
• アルゴリズム的革新: 分解された HRC シグナルを利用して方策進化を導く動的最適化フレームワークである DSPPO の導入は、静的なベースラインよりも堅牢な収束軌道を提供します。
• 実証的検証: 広範な実験により、HRC が「同点（Ties）」や複雑な推論の処理を必要とする分野において、選好モデリングの精度で BT や GPM を上回ることが示されました。HRC+DSPPO フレームワークは、下流の生成品質を大幅に向上させます。

結果

• 選好モデリング（RewardBench 2）: HRC は BT および GPM ベースラインを一貫して上回りました。Gemma-2B-it において、HRC は平均精度 57.63% を達成し、最も強力なベースライン（GPM）を 1.23% 上回りました。特に「同点」ドメインでは、HRC は 74.51% を達成し、BT および GPM 両方の 73.53% を上回り、厳密でない選好を処理する能力を検証しました。
• 下流アライメント:
  • AlpacaEval 2.0: ベースとして Gemma-2B-it を使用し、HRC+DSPPO は長さ制御付きの勝利率でピーク 44.75% を達成し、BT または GPM でトレーニングされた SPPO ベースラインを大幅に上回りました。
  • Arena-Hard-v0.1: HRC+DSPPO は Gemma-2B-it において 46.8% の勝利率を達成し、最良のベースラインを 3.2% 上回り、困難なプロンプトに対する優れた能力を示しました。
  • MT-Bench: このフレームワークは多ターン会話において堅牢な性能を示し、HRC+DSPPO は Gemma-2B-it で平均スコア 8.29 を達成しました。
• 合成データ: 「支配的＋循環」の合成データセットを用いた実験により、HRC は混合推移的・循環的設定において GPM よりも速く収束し、より高い精度を達成することが確認されました。一方、低次元の GPM は循環構造を捉えることに失敗しました。

意義
本論文は、人間の選好の複雑で不均質な性質、特にグローバルな推移的階層（例：安全性、有用性）と局所的な非推移的循環（例：スタイルのトレードオフ）の二重性を忠実に表現することが、堅牢な AI アライメントに不可欠であると主張しています。これらの成分を明示的に分離することで、提案されたフレームワークは、既存のスカラーモデルおよび純粋な循環モデルの構造的限界を克服します。著者らは、このアプローチが AI システムが多様な倫理的および文化的ランドスケープをより効果的に navigate し、人間の判断の厳密でない多次元的性質を尊重することで自動化された意思決定への信頼を醸成すると仮説立てています。この研究は、将来のアライメント戦略が静的なスカラー報酬を超えて、選好の動的なゲーム理論的分解を採用すべきであることを示唆しています。