💬 NLP

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

本論文は、周辺対数尤度を最大化することで、明示的な報酬モデルを必要とせずに大規模言語モデルを人間の好みに適合させ、アライメントの質と汎用的な能力の保持においてベースラインを凌駕する、安定かつ簡略化されたオフライン嗜好最適化手法であるMMPOを導入するものである。

原著者： Saeed Najafi, Alona Fyshe

公開日 2026-01-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Saeed Najafi, Alona Fyshe

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな全体像：ロボットに「礼儀正しさ」を教える

想像してみてください。あなたは、インターネット上のほぼすべての文章を読み込んだ、非常に賢いロボット（大規模言語モデル）を所有しています。そのロボットは物語を書いたり、数学の問題を解いたり、質問に答えたりすることができます。しかし、その性質は、天才的だが少し混沌としたティーンエイジャーのようです。話し方は知っていますが、人間が実際に何を求めているのかについては、必ずしも理解していません。時には失礼で、時には混乱を招き、時にはただでっち上げの話をしてしまうこともあります。

これを解決するには、ロボットを人間の好みに「整列（アライメント）」させる必要があります。現在、このための標準的な手法はRLHF（人間からのフィードバックによる強化学習）と呼ばれています。これは、ロボットを見守り、良い回答にはポイントを与え、悪い回答からはポイントを差し引く、厳しいコーチを雇うようなものだと考えてください。しかし、このプロセスは煩雑でコストがかかり、ロボットがコーチの一貫性のないルールに混乱してしまうこともよくあります。

最近では、DPOと呼ばれるよりシンプルな手法が発明されました。これは、コーチを飛ばして、ロボットに2つの回答（一つは良く、もう一つは悪いもの）を見せて、「良い方を選べ」と指示するようなものです。これはうまく機能しますが、依然としていくつかの癖があり、設定を調整しすぎると不安定になることがあります。

本論文では、MMPOと呼ばれる新しい手法を紹介します。 著者たちは、「全く異なる角度から試してみよう」と提案しています。ロボットに「勝者」を選ばせようとするのではなく、この問題を**周辺尤度（marginal likelihood）**の推定問題として扱うのです。

コアとなるアイデア：「ベスト・ゲス（最善の推測）」ゲーム

MMPOを理解するために、あなたがミステリー小説の結末を推測しようとしている場面を想像してください。あなたは物語の始まり（プロンプト）を知っており、そこには2つの可能な結末があります。

良い結末： 人間が好むもの。
悪い結末： 人間が嫌うもの。

従来の方法（DPO/RLHF）：
従来の方法は「熱い・冷たい（ホット＆コールド）」ゲームのようなものです。良い結末のスコアを計算し、悪い結末のスコアを計算し、それをもとに良い結末を押し上げ、悪い結末を押し下げようとします。これはシーソーのバランスを取るようなもので、片方を押しすぎると、全体がひっくり返ってしまいます（不安定性）。

新しい方法（MMPO）：
著者たちは、**最大周辺尤度（MML）**に基づいた異なるアプローチを提案しています。

あなたが、限られた手がかり（見ている2つの結末）から、特定の「良い結末」が物語の「真の結末」であった可能性がどれくらいあるかを突き止めようとしている探偵だと想像してください。

2つの結末を直接比較するのではなく、MMPOはこう問いかけます。「もしこの物語のあり得るすべての結末を見たとした時、『良い結末』が実際に起こった結末である確率はどれくらいだろうか？」

これを行うために、数学的な処理では、両方の「良い結末」と「悪い結末」を、その尤度を推定するための「サンプル（手がかり）」として扱います。

別途「コーチ（報酬モデル）」を用意して、何が良いかを教える必要はありません。
単に多様性を保つためだけに、ロボットに「創造的」であることを強制する必要もありません。

マジック・トリック：コーチなしでどのように機能するか

この論文は、この「ベスト・ゲス」の数学を用いることで、ロボットは明示的に教えられなくても、暗黙的に良い回答を好むように学習すると主張しています。

ここで比喩を使ってみましょう。
犬に「お座り」を教えている場面を想像してください。

RLHF: トレーナーがクリック音とエサを持っており、犬がお座りしたらクリックし、しなかったらクリックしません。
DPO: 犬に、お座りしている写真と立っている写真を見せて、「お座りの写真の方が好きだ」と言います。
MMPO: あなたは単に「お座り」している写真を眺め、手元にある証拠に基づいて、これが正しい行動である確率を計算します。

論文では、この計算を行うと、数学的にロボットが自然に「良い結末」をより頻繁に選ぶようになることを証明しています。これは、数学自体が報酬システムとして機能しているようなものです。ロボットは、一つの滑らかな動きの中で、良い回答の確率を高め、悪い回答の確率をわずかに下げることを学びます。

なぜこれが優れているのか？（結果）

著者らは、さまざまなサイズのロボット（小さな「おもちゃ」のロボットから、大きな「知能の高い」ものまで）でテストを行いました。判明したことは以下の通りです。

より安定している：
ラジオのチューニングを想像してください。従来の方法（DPO）では、ダイヤル（ $\beta$ という設定値）をほんの少し回しただけで、音楽がノイズになったり途切れたりすることがあります。MMPOでは、ダイヤルをどのように回しても、ラジオの音はクリアなままです。学習を「壊す」ことが非常に困難なのです。
ロボットの賢さを維持する：
ロボットに礼儀正しさを教えると、数学やジョークを忘れてしまうことがあります。安全ではあるものの、退屈な「イエスマン」になってしまうのです。
論文は、MMPOがロボットの元の賢さを維持するのに優れていることを示しています。汎用的なアシスタントとしての能力を失うことなく、礼儀正しさを学ぶことができます。
より多く勝利する：
彼らが新しい手法を従来の手法と競わせた際（AlpacaEval）、MMPOは、特に小さくて効率的なモデルにおいて、一貫して1位を獲得するか、あるいは同率1位となりました。

「秘伝のソース」の材料

論文では、レシピのどの部分が不可欠であったかを確認するために実験を行いました。彼らは、魔法を実現させた2つの重要な材料を発見しました。

インバッチ正規化（In-Batch Normalization）： これは、クラスルームの全員が同じ基準で成績をつけられるようにすることに似ています。ある生徒がA+を取り、別の生徒がFを取った場合、教師は比較が公平になるようにスコアを調整します。これにより、一つの奇妙な例がレッスン全体を台無しにすることを防ぎます。
「余分な」エントロピーなし： ロボットに「多様性」を強制しようとすること（エントロピー最大化）は、実際には逆効果であることを見出しました。彼らは、数学に自然に仕事を任せました。

まとめ

要約すると、この論文は次のように述べています。「ロボットに人間が何を好むかを教えるために、複雑な報酬システムを作るのはやめましょう。代わりに、人間の好みを『手がかり』として扱う、シンプルな統計的なトリックを使いましょう。このトリックは、ロボットに自然に助けになるよう教え、安定性を保ち、そして賢さを忘れないようにしてくれます。」

彼らはこの新しい手法を MMPO（Maximum Marginal Likelihood Preference Optimization）と呼んでおり、これがAIを人間の価値観に合わせるための、よりシンプルで信頼できる方法であると信じています。

技術要約：最大周辺尤度推定によるオフライン選好最適化

問題提起

大規模言語モデル（LLM）を人間の選好に適合させることは、実世界へのデプロイメントにおいて極めて重要なステップであり、伝統的には人間からのフィードバックを用いた強化学習（RLHF）によって達成されてきました。しかし、標準的なRLHFのパイプラインは複雑かつ不安定であり、個別の報酬モデルの訓練と、近接方策最適化（PPO）のような敏感な方策勾配アルゴリズムを必要とします。Direct Preference Optimization (DPO) は、これを分類問題として再定義することで簡略化しましたが、その損失関数は依然としてRLHFの目的関数から派生しており、言語モデルのエントロピーを最適化することを暗黙的に促しています。著者らは、より緩和された仮定の下、具体的には報酬関数の明示的な必要性と、標準的なRLHFの目的関数に内在するエントロピー最大化項の両方を取り除いた場合でも、効果的なアライメントが可能かどうかを調査しています。

手法：MMPO

本論文では、新しいオフライン選好アライメントアルゴリズムであるMaximum Marginal Likelihood Preference Optimization (MMPO) を提案します。

理論的基礎

MMPOは、アライメント問題を最大周辺尤度（Maximum Marginal Likelihood: MML）推定の観点から再構成します。選好に基づいた直接的な最適化を行う代わりに、この手法は入力 $x$ に対する好ましいテキスト出力 $y$ の周辺対数尤度を最大化します。

定式化: ターゲットは $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$ を最大化することです。ここで、 $z$ は可能なテキスト補完を表し、 $P^*$ は真の基礎となる分布です。
近似: すべての可能な $z$ についての総和は計算不可能であるため、この手法は提供された選好ペア $(z_w, z_l)$ （選択された応答と拒絶された応答）をサンプルとして用いて周辺化を近似します。
安定性: 訓練中の数値的安定性を確保するために、目的関数は log-sum-exp 操作を用いて再定式化されます。

選好最適化への理論的接続

著者らは（定理 3.2）、近似されたMML目的関数を最適化することが、暗黙的に選好最適化を行うことを示しています。

暗黙的勾配: 得られる勾配更新は、選択された応答 ( $z_w$ ) と拒絶された応答 ( $z_l$ ) の勾配の加重和に等しいことが示されます。
重み付けメカニズム: この更新は、スコアの差のシグモイド関数 ( $\sigma(s_w - s_l)$ ) によって調整されながら、拒絶された応答に対して選択された応答を自然にアップウェイトします。
主な相違点: このプロセスは、報酬関数やエントロピー最大化項を明示的に定式化することなく、選好アライメントを実現します。

アルゴリズムの実装

MMPOの損失関数は、いくつかの具体的な設計上の選択を組み込んでいます。

スコアの定義: スコア $s_w$ および $s_l$ は、対数確率と、リファレンスモデルの対数確率およびハイパーパラメータ $\beta$ を用いて近似された報酬項に基づいて定義されます。
インバッチ正規化: 訓練を安定させ、外れ値が勾配を支配するのを防ぐために、報酬はミニバッチ内で正規化されます。これにより、相対的なスコアが一定のスケールに保たれます。
補助的目的関数: 選好制約 ( $s_w \ge s_l$ ) を明示的に強化するために、補助項 $\log \sigma(s_w - s_l)$ が追加されています。これは、SFTモデルに対する対数確率比ではなく、正規化されたスコア上で動作するDPOに似た直接的な監督信号を提供します。

主な貢献

アルゴリズムの導入: 選好ペアをMML推定のためのサンプルとして扱う、新しいオフライン選好最適化アルゴリズムであるMMPOの提案。
理論的分析: MMPOが選好ペアに対して行うことが、明示的な報酬モデリングやエントロピー項なしに、本質的に好ましい応答を優先する加重勾配更新に等しいという証明。
経験的安定性: DPOやSimPOと比較して、MMPOが主要なハイパーパラメータ $\beta$ に対して著しく安定していることの証明。
能力の保持: MMPOが、既存のベースラインと比較して、ベースの指示チューニング済みモデルの一般的な言語能力（推論および理解）をより良く保持することの証拠。
ベンチマーク性能: 135Mから8Bまでのパラメータ範囲のモデルにおいて、AlpacaEval-2ベンチマークで競争力のある、あるいは優れた勝率を達成。

実験結果

著者らは、Orca DPO PairsおよびUltraFeedback-Binarizedデータセットを用い、4つのモデルサイズ（SmolLM2-135M, SmolLM2-360M, Llama3.2-1B, Llama3-8B）でMMPOを評価しました。

安定性: DPOやSimPOがハイパーパラメータ $\beta$ に対して顕著な感受性を示したのに対し、MMPOは一連の $\beta$ 値（0.01, 0.05, 0.5）に対して一貫した性能を維持しました。
選好アライメント: MMPOはAlpacaEval-2で高い勝率を達成しました。例えば、SmolLM2-135Mにおいて、DPOが非常に低い勝率しか出せず、SimPOが訓練エポック中に大幅に劣化した一方で、MMPOは勝率を67.3%まで単調に向上させました。
一般的能力の保持: 10の多様な言語理解タスクを含むLM Harnessベンチマークでの評価において、MMPOは一般的な言語能力の低下を最小限に抑えました。対照的に、DPOやSimPOは、特に高い選好アライメントのためにチューニングされた際、精度が大幅に低下することがよくありました。
パレート最適性: MMPOは、ベースラインと比較して、一般的な推論能力の犠牲を最小限に抑えつつ、より高い選好勝率を提供する、より好ましいトレードオフ・プロファイルを示しました。

アブレーション研究

SmolLM2-360Mモデルを用いた実験により、以下が明らかになりました。

長さの正規化: 一般的な精度を向上させたが、選好勝率を大幅に押し上げることはなかった。
エントロピー最大化: エントロピー項を明示的に追加すると、両方のベンチマークで性能が低下した。これは、MMPOにおける暗黙的な最適化が十分であり、明示的な多様性の促進がこの文脈では有害であることを示唆している。
補助損失と正規化: DPOスタイルの補助損失またはインバッチ正規化を除去すると、勝率はわずかに向上したが、ピーク時の一般精度は低下した。これは、コアとなる log-sum-exp 項が性能を駆動し、補助的なコンポーネントが一般的な能力の保持を助けるというトレードオフの関係を示している。

意義と主張

本論文は、MMPOが現在のアライメント・パラダイムに対する、より単純で安定した代替案を提供すると主張しています。アライメントをMML推定問題として再構成することで、明示的な報酬モデルやエントロピー正則化を排除しつつ、目的の選好最適化を暗黙的に達成します。著者らは、MMPOの安定性が、複雑なキャリブレーション・メカニズムの結果ではなく、その定式化（インバッチ正規化と log-sum-exp 操作に由来する）に固有の特性であることを強調しています。

この研究は、効果的なアライメントには、RLHFの複雑な仕組みやDPOの特定の制約が厳密に必要ではないことを示唆しています。代わりに、選好ペアを使用して好ましい出力の周辺尤度を最大化することは、モデルの基礎的な言語能力を保持しながら、アライメントへの堅牢な道を提供します。著者らは、現在の評価がオフライン設定およびリソースの制約による最大8Bパラメータまでのモデルに限定されているものの、この手法がLLMアライメント・パイプラインを簡素化するための有望な方向性を示していると述べています。