技術要約：多目的選好最適化 (Multi-Objective Preference Optimization, MOPO)

1. 問題提起

RLHF（人間からのフィードバックによる強化学習）やDPO（直接選好最適化）といった、大規模言語モデル（LLM）を人間の選好に適合させる現在のアプローチは、主に単一目的最適化に依存しています。これらの手法は通常、重み付き和やヒューリスティックなスカラー化を用いて、複数の人間の選好（例：有用性、無害性、事実性、多様性）を単一のスカラー報酬信号へと集約してしまいます。

本論文は、このアプローチには根本的な限界があるとし、以下の理由を挙げています：

1. 目的間の競合: 人間の選好はしばしば多次元的であり、かつ相反するものです（例：有用性を最大化しようとすると、無害性が低下する場合がある）。
2. パレート最適性の喪失: スカラー化はトレードオフを隠蔽し、パレートフロント（ある目的を悪化させることなく他の目的を改善できない解の集合）を復元することに失敗します。
3. 推論時の硬直性: 既存の多目的手法は、推論時に明示的なユーザーの選好ベクトル（例：「有用性0.6、安全性0.4」）を必要とする場合が多いですが、ユーザーがこれらを明示的に言語化することは稀であり、また、あらゆる重み構成に対して再学習を行うことも困難です。

解決すべき核心的な問題は、多目的選好アライメントです。すなわち、明示的なスカラー化や、推論時におけるユーザー提供の重みを必要とせずに、ペアワイズ（二者択一）の選好データから、潜在的に相反する複数の目的を同時にバランスさせる単一のポリシーを学習することです。

2. 手法：MOPO

著者らは、ペアワイズの選好データから直接学習を行う、オフラインの制約付き最適化フレームワークである**多目的選好最適化（MOPO）**を提案しています。

2.1 定式化

MOPOは、アライメント問題を凹制約付き最適化問題（Concave Constrained Optimization Problem, COP）として定式化します。報酬の重み付き和を最大化するのではなく、主要な目的を最大化しつつ、二次的な目的に対して下限制約を課します。

参照ポリシー $\pi_{ref}$、主要な選好関数 $p(\cdot)$、および二次的な選好関数のベクトル $q(\cdot)$ が与えられたとき、問題は以下の通りです：
$$\begin{aligned} \max_{\pi} \quad & \mathbb{E}_{x, y, y'} [p(y \succ y' | x)] - \tau \text{KL}(\pi \parallel \pi_{ref}) \\ \text{s.t.} \quad & \mathbb{E}_{x, y, y'} [q(y \succ y' | x)] \geq \mathbf{b} \end{aligned}$$
ここで、$\mathbf{b}$ は二次的な目的に対する調整可能な安全閾値を表し、$\tau$ は正則化パラメータです。

2.2 アルゴリズムの構成要素

ポイントワイズ（点別）の報酬を用いずにこれを解決するため、MOPOは以下のメカニズムを利用します。

• 重要度サンプリング比率 ($\rho$): ポリシーは比率 $\rho(y) = \pi(y) / \pi_{ref}(y)$ を通じて表現されます。最適化は $\rho$ に対して行われ、最適ポリシーの閉形式解を導出します。
• ラグランジュ双対定式化: 制約付き問題は、ラグランジュ乗数 $\lambda$ を含む双対問題へと変換されます。最適な $\rho$ は以下のように導かれます：
  $$\rho^*_\lambda(y) = \exp\left( \tau^{-1} \mathbb{E}_{y' \sim \mu} [p(y \succ y') + \lambda^T q(y \succ y')] - 1 \right)$$
  ここで、$\lambda$ は、ポリシーが二次的な目的においてパフォーマンスが低下した場合に増加するペナルティとして機能します。
• ロバストな下限推定: 有限なデータセットにおける推定誤差に対処するため、MOPOは生の経験的期待値を直接制約するのではなく、選好推定の下限を制約します。これは、KLダイバージェンスの予算（$\epsilon$）内で選好を最小化する補助的な敵対的最適化問題を解くことで実現されます。これにより、メインの最適化ループで使用されるロバストな下限推定値が得られます。
• 反復更新: アルゴリズムは以下のプロセスを交互に繰り返します：
  1. 制約の推定を厳格にするための下限パラメータ（$\chi$）の更新。
  2. 目的のバランスを取るためのラグランジュ乗数（$\lambda$）の更新。
  3. 重要度重み付き行動クローニングによるポリシーパラメータ（$\psi$）の更新。

2.3 実装の詳細

• 遅延参照ポリシー (Lagged Reference Policy): 崩壊を防ぎ、パレートフロントへの安定した進行を確保するために、参照ポリシー $\pi_{ref}$ は固定されたままではなく、現在のポリシー $\pi^{(t-t_0)}$ へと一定期間（$t_0$ ステップごと）周期的に更新されます。
• 適応型制約スケジューリング: 正確な制約閾値 $\mathbf{b}$ は未知であるため、緩和パラメータ $\beta$ でスケーリングされた、以前に最適化されたポリシーの性能に基づいて適応的に設定されます。
• マルチヘッド・アーキテクチャ: 推論時には、共有トランスフォーマー・バックボーンと複数のポリシー・ヘッドを採用します。推論時、ユーザーは主要な目的を選択し、対応するヘッドを使用することで、一つのモデルが再学習なしに異なる選好の優先順位に適応することを可能にします。

3. 主な貢献

1. MOPOフレームワーク: 選好を単一のスカラーに集約することなく、複数の目的を同時に最適化し、パレート最適性を達成するオフライン制約付き最適化アルゴリズムの導入。
2. 理論的保証: 提案された制約付き定式化が、標準的なスカラー化手法（DPOやRLHF）が失敗する一方で、真のパレートフロント上に位置するポリシーを復元できることを実証。
3. 推定誤差への堅牢性: 選好推定のノイズに対してポリシーをロバストにし、展開時の制約違反を回避する下限制約メカニつの開発。
4. 実証的検証:
   • 合成ベンチマーク: 真の正解が既知である合成設定において、MOPOは最適なポリシーとパレートフロントを正確に復元する。
   • 実世界のLLM: 「Helpful Assistant」や「Reddit Summarization」などのタスクにおける7Bパラメータモデル（Zephyr-7b-beta, Llama-3.1-8Bなど）を用いた実験により、MOPOがより高い報酬を獲得し、ベースライン（RiC, PARM, MODPO, およびDPOの各バリアント）をパレート支配することを示す。
   • 安定性: アブレーション研究により、ハイパーパラメータ（緩和パラメータ $\beta$、ラグ $t_0$、正則化 $\tau$）にわたるアルゴリズムの安定性を確認。

4. 結果

• パレート復元: 合成実験において、MOPOはパレートフロントを良好に近似したが、単一の目的またはスカラー化された報酬で訓練されたDPOは、フロントの大部分を見落とした。
• LLMへの性能: Helpful AssistantおよびReddit Summaryタスクにおいて、MOPO（特にラグランジュ版であるMOPO-Lag）は、複数の目的（有用性、無害性、ユーモア、忠実性）にわたって、最先端のベースラインを一貫して上回るか、あるいは同等の性能を示す。
• スケーラビリティ: 本手法は、小規模なモデル（phi-1.5）から、より大規模な7B/8Bモデルまでスケール可能である。
• 制約充足: 冗長性制約のあるタスク（応答の長さを制御するタスク）において、MOPOは有用性を向上させつつ、指定された範囲内に応答長を維持することに成功した。

5. 意義と主張

本論文は、MOPOが現在のアライメント・パラダイムにおける決定的なギャップ、すなわち「恣意的なスカラー化や推論時のユーザー介入なしに、多次元的な人間の選好を扱うことができない」という課題に対処していると主張しています。

• パラダイムシフト: 標準的なRLHF/DPOの「単一の報酬信号」という仮定を超え、（安全性と有用性の間のトレードオフのような）相反する目標間のバランスを取るための、原理的な方法を提供します。
• 実用的な有用性: パレート最適なポリシーをオフラインで復元することにより、MOPOは、新しい重み構成ごとに再学習したり、明示的な選好ベクトルを提示したりすることなく、多様なユーザーニーズに適応し、堅牢なモデルを展開することを可能にします。
• 今後の方向性: 著者らは、実験結果は強力であるものの、MOPOの収束性と最適性の保証に関する厳密な理論的分析は、重要な今後の研究課題であると謙虚に述べています。

本研究は、複雑な生成モデルにおいて、アライメントを重み付き報酬を用いた単一目的最適化として扱うよりも、制約付き多目的最適化として扱う方が優れていることを示唆しています。