💬 NLP

MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following

本論文は、離散的かつ低分散な報酬設定における不安定性を克服するために、マルチ温度サンプリング、デュアルアンカー・アドバンテージ、プロスペクト理論に基づくシェイピング、および非対称KL正則化を採用したGroup Relative Policy Optimizationの安定化変種であるMDP-GRPOを導入し、それによってマルチ制約の指示遂行性能を大幅に向上させるものである。

原著者： Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、非常に才能はあるけれど少し混沌としたシェフ（AI）に、非常に具体的なレシピに従う方法を教えています。そのレシピは単に「ケーキを作れ」というものではありません。「卵を正確に3個使う」「チョコレートを使わない」「指示はすべて大文字で書く」「最後に『Bon Appétit』というフレーズで締めくくる」といった、厳格なルールのリストです。

AIの世界では、これを**マルチコンストレイント・インストラクション・フォロイング（多重制約指示遂行）**と呼びます。問題は、標準的なAIの学習手法では、ルールがこれほど厳格で、フィードバックがバイナリ（ルールを守ったか、守らなかったかのどちらか）である場合、混乱が生じやすいことです。

以下に、この論文の解決策であるMDP-GRPOの概要を、日常的な比喩を用いて分かりやすく解説します。

問題点：「グループ評価」の罠

論文はまず、現在のAI学習（GRPOと呼ばれます）がどのように機能するかを説明することから始まります。教師が8人の生徒（AIの試行）に対して、一度にクイズの採点をする場面を想像してください。教師は各生徒を完璧な基準に対して採点するのではなく、生徒同士を相対的に採点します。

もし7人が「C」で、1人が「B」だった場合、「B」の生徒には大きなボーナスが与えられ、「C」の生徒には大きなペナルティが課されます。
グリッチ（不具合）： 厳格なルール遵守においては、グループ全員が全く同じスコア（例：全員が「大文字で書く」というルールに失敗した）になることがよくあります。
- ゼロ分散崩壊（Zero-Variance Collapse）： 全員が「0」だった場合、教師は誰がより優れていたかを判断する方法がありません。「成績」は全員に対してゼロとなり、AIは何も学習できません。
- 平均中心化による盲目（Mean-Centering Blindness）： あるグループの生徒全員がひどく失敗し、別のグループの生徒も同様にひどく失敗した場合、教師はそれらを同じものとして扱います。なぜなら、彼らは自分たちのグループ内では「等しく悪い」からです。AIは、具体的にどのルールを破ったのかを知ることができません。
- 低分散増幅（Low-Variance Amplification）： スコアが99、100、100、100だった場合、99と100のわずかな差が巨大なペナルティへと増幅され、AIが過剰反応して不安定になる原因となります。

解決策： MDP-GRPO

著者らは、これらのグリッチを修正するための4つの「ツール」を備えた新しい学習手法を提案しています。これは、教師の採点システムをアップグレードすることだと考えてください。

1. 「フレーバー・ミキサー」（マルチ・テンパラチャー・サンプリング）

問題： AIに8つの物語のバリエーションを書くよう頼んだとき、AIは8つのほぼ同一の物語を書いてしまうことがあります。もしそれらがすべて同一であれば、すべてが同じスコアになり、学習が停滞します。
解決策： 著者らは、AIに対して、異なる「創造性のレベル」を用いて8つの物語を書くよう指示します。あるものは非常に厳格に（低温度）、あるものは非常に奔放かつ創造的に（高温度）書かれます。
結果： これにより、たとえルールが難しくても、8つの試行が異なるものになり、異なるスコアを持つことが保証されます。これにより、「全員がゼロになる」問題を防ぎます。

2. 「2つのアンカー」システム（デュアル・アンカー・アドバンテージ）

問題： グループがめちゃくちゃな状態（全員が失敗した状態）のとき、「相対的採点」システムは崩壊します。
解決策： 教師は生徒を互いに比較するだけでなく、固定された架空の**「中立的な生徒」**とも比較します。
- 例えば、運だけでルールのちょうど50%を正解する「中立的な生徒」を想像してください。
- もしAIのグループがこの中立的な生徒よりも成績が悪ければ、AIには明確な信号が送られます。「君たちは平均よりもできていない、もっと頑張れ！」
- これにより、グループ全体が失敗している場合でも、AIに学習信号を与え、「盲目」の状態を防ぎます。

3. 「損失への恐怖」（プロスペクト理論的シェイピング）

問題： 標準的な学習では、小さな勝利と小さな敗北を、等価だが反対のものとして扱います。しかし現実の世界では、人間は勝利を喜ぶ以上に、敗北を嫌います。
解決策： 著者らは、経済学の概念であるプロスペクト理論を借用しています。彼らは、ルールを破ることの「痛み」を、ルールに従うことの「喜び」よりもはるかに強烈に感じるようにAIをプログラムします。
- ルールを破った場合、ペナルティは巨大で鋭くなります。
- ルールに従った場合、報酬は上限があり、緩やかです。
- これにより、AIが過度に無謀になるのを防ぎ、厳格な制約に対して非常に慎重になるよう強制します。

4. 「非対称なシートベルト」（非対称KL正則化）

問題： ルールに従おうとするあまり、AIが普通の話し方を忘れてしまったり、あまりにも硬直してしまったりすることがあります。
解決策： 彼らはAIの変化に対して「シートベルト」を装着します。
- AIが改善している（ルールをより良く守っている）場合、シートベルトは緩み、大きな変化を許容します。
- AIの調子が悪くなっている（ルールを破っている）場合、シートベルトは即座に締まり、派手で破壊的なミスを防ぎます。

結果

著者らは、この新しい手法をLlama-3.2やGemma-2といったモデルでテストしました。

ルールへの習熟： AIは、厳格なマルチパートの指示に従う能力が大幅に向上しました（厳格な成功率において最大5%の向上）。
安定した学習： 学習が壁（失敗の連続）にぶつかったとしても、学習がクラッシュしたり混乱したりすることはありませんでした。
知能の維持： 極めて重要なことに、これらの厳格なルールを学習している間も、AIは一般的な知識（トリビアへの回答や論理パズルの解決など）を失いませんでした。

まとめ

この論文は、AIに厳格な複数のルールに従うことを教えるのは、10個の小さく具体的な制約があるレシピに従うようシェフに教えるようなものだと主張しています。標準的な手法は、クラス全員が失敗したときに混乱するため、失敗します。MDP-GRPOは、以下の方法でこれを解決します。

実践的な試行をより多様にする。
固定された参照点を与えることで、失敗している時でもAIが自分の状況を把握できるようにする。
AIに、成功を「愛する」ことよりも、ミスを「恐れる」ようにさせる。
ミスをした時に、AIが劇的に変わりすぎてしまうのを防ぐ。

その結果、一般的な賢さを失うことなく、複雑で厳格な指示に従うことができる、より信頼性の高いAIが実現しました。

技術要約: MDP-GRPO

問題提起

大規模言語モデル（LLM）は、単一のプロンプトが複数の明示的かつ決定論的なルール（例：特定のフォーマット、禁止語句、正確な末尾）への遵守を要求する場合の**マルチ制約指示追従（multi-constraint instruction following）**において、しばしば困難に直面します。**検証可能な報酬を用いた強化学習（RLVR）は、ルールベースのチェッカーを用いて信頼性が高くバイアスのない信号を提供することで有望な解決策となりますが、標準的なGroup Relative Policy Optimization (GRPO)**は、この領域において不安定になります。

核心となる問題は、マルチ制约束件の報酬が離散的であり、しばしば分散が低いことにあります。学習初期や制約が厳しい場合、サンプリングされた完了文のグループは同質な報酬（すべてのサンプルが同じ制約を満たすか、あるいは違反するか）を生み出すことがよくあります。このような条件下では、標準的なGRPOのzスコア・グループ正規化は、以下の3つの具体的な病理を引き起こします：

低分散増幅（Low-Variance Amplification）: 微小な報酬の変動が増幅されて不釣り合いに大きなアドバンテージとなり、脆い更新を引き起こします。
平均中心化による盲目（Mean-Centering Blindness）: zスコア正規化は絶対的な報酬レベルを破棄するため、相対的な分布が類似している場合、一貫して失敗しているグループと一貫して成功しているグループを区別することが不可能になります。
ゼロ分散崩壊（Zero-Variance Collapse）: グループ内のすべてのサンプルが同一の報酬を受け取ると、グループの標準偏差（ $\sigma_{group}$ ）がゼロに近づきます。これにより、アドバンテージ信号がゼロまたは未定義になり、学習信号が完全に消失します。

手法: MDP-GRPO

これらの不安定性に対処するため、著者らは、3つの補完的なメカニズムを統合した、GRPOの安定化されたバリアントであるMDP-GRPOを提案しています。

1. マルチ・テンパチャ・サンプリング（防止策）

同質なグループの形成を防ぐため、本手法は固定温度サンプリングを、 $G$ 個の完了文のグループに対する温度スケジュール（ $T = [\tau_1, \dots, \tau_G]$ ）に置き換えます。

メカニズム: 低い温度は搾取（高品質なベースライン）を促し、高い温度は探索を誘発します。
目的: これにより、基礎となるRLの目的関数を変更することなく、単一のグループ内に高品質な完了文と探索的な完了文を混在させ、小さなバッチサイズであっても十分な報酬の分散（ $\sigma_{group} > 0$ ）を確保します。

2. デュアル・アンカー・アドバンテージ（信号の復元）

ゼロ分散崩壊と平均中心化による盲目に対処するため、本手法は標準的なグループ相対アドバンテージに加えて、**目標認識型アンカー（goal-aware anchor）**を導入します。

メカニズム: 中立的なベースラインを、制約が確率 $p=0.5$ で満たされる二項プロセスとしてモデル化します。これにより、制約数に応じてスケールする固定された「目標認識型」アドバンテージ（ $\delta_i$ ）が得られます。
統合: 最終的なアドバンテージ（ $A_i$ ）は、整形されたグループ相対アドバンテージ（ $\tilde{z}_i$ ）と、整形された目標認識型アドバンテージ（ $\tilde{\delta}_i$ ）の加重補間となります：
$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$
利点: グループの分散がゼロであっても、目標認識型アンカーが有効な学習信号を提供するため、学習の停滞を防ぐことができます。

3. プロスペクト理論に基づく整形（安定化）

プロスペクト理論（Kahneman & Tversky, 1979）に着想を得て、本手法は、混合前の生のアドバンテージに対して、有界かつ非対称な整形関数を適用します。

メカニズム: スケールされた tanh 変形によってアドバンテージを制限し、損失回避（ $\lambda_- > \lambda_+$ ）を強制します。
目的: これにより、制約違反（負の結果）が同等の成功よりも大きな勾配更新をもたらすようにし、退行を厳しく罰します。同時に、境界関数によって低分散による無制限な勾配を防止し、学習を安定させます。

4. 非対称KL正則化

目的関数には、アドバンテージが負（性能低下）の場合に高いペナルティ係数（ $\beta_{high}$ ）を、正の場合に低い係数（ $\beta_{low}$ ）を適用する非対称KLペナルティが含まれており、退行時のモデルへの制約をさらに強めています。

主な貢献

病理の定式化: 本論文は、離散的で分散の低い報酬レジームにおける、グループ相対ポリシー更新の3つの失敗モード（低分散増幅、平均中心化による盲目、ゼロ分散崩壊）を特定し、定式化しました。
サンプリングによる防止: 小規模バッチ設定において、目的関数を変更することなく報酬の多様性を人工的に高めるための、マルチテンパチャ・グループサンプリングの導入。
信号の回復: デュアルアンカー・アドバンテージの提案により、ゼロ分散グループにおける学習信号を復元し、標準的な正規化によって失われる絶対的なパフォーマンス情報を回復。
堅牢な整形: 更新の大きさを制限し、制約違反の修正を優先させるための、プロスペクト理論に基づいた整形。
実証的検証: これらのコンポーネントが、一般的な能力を維持しつつ、マルチ制約タスクにおける安定性と性能をどのように向上させるかを実証。

実験結果

本手法は、Gemma-2-2BおよびLlama-3.2-3Bモデルを用い、IFEval、FollowBench、および精選されたマルチ制約データセットを用いて評価されました。

性能向上: MDP-GRPOは、標準的なGRPOおよびゼロショット・ベースラインを一貫して上回りました。Llama-3.2-3Bにおいて、カスタムデータセットでの**厳格な制約遵守（HSR）を最大5.0%**向上させました。
小規模バッチの効率性: 本手法は、減少したグループサイズ（ $G=4$ ）において特に効果的であることが証明されました。マルチテンパチャ・サンプリングにより、MDP-GRPOは、より大きなグループ（ $G=8$ ）で訓練された標準的なGRPOの性能に近づけることができ、タイトな計算予算下での有用性を示しました。
難易度のスケーリング: 安定化されたバリアント（特にデュアルアンカーを含むもの）は、制約数が増加してもベースラインよりも減衰が緩やかであり、複雑なプロンプト（難易度5-6）において高い成功率を維持しました。
一般的能力: MMLUおよびARCの評価により、指示追従性の向上が一般的な推論能力や知識の保持を犠牲にしていないことが確認されました。
学習ダイナミクス: 診断の結果、提案手法が標準的なGRPOと比較して、ゼロ分散グループの頻度を減少させ、KLダイバージェンスのドリフトを制御することに成功したことが示されました。

意義と主張

著者らは、MDP-GRPOが、標準的なグループ正規化手法が報酬の疎性により失敗しやすいマルチ制約設定において、安定かつ信頼できるフレームワークを提供すると主張しています。数学的なzスコア正規化の病理を明示的に対処することで、本手法は以下を可能にします：

小さなグループサイズでも安定した収束。
学習された報酬モデルや人間の好みのラベルを必要としない、離散的でルールベースの報酬からの効果的な学習。
標準的なGRPOの更新における「脆さ」に対する堅牢性。

本論文は、本アプローチが決定論的で検証可能な制約のために特別に設計されているものの、その核心的なコンポーネント（デュアルアンカーおよびプロスペクト整形）は報酬のソースに依存せず、他のRL設定にも適応可能であると結論付けています。ただし、著者らは控えめに、本手法は自動チェッカーに依存しており、学習された報酬モデルなしでは主観的またはスタイルの制約に直接拡張できない可能性があることも述べています。

問題点： 「グループ評価」の罠