OP-GRPO: Flow-Matching モデル向け効率的なオフポリシー GRPO の技術的サマリー

本論文は、フローマッチング（Flow-Matching）モデルの生成品質を向上させるための強化学習（RL）手法として注目されている GRPO（Group Relative Policy Optimization）の課題を解決し、その訓練効率を大幅に改善する新しいフレームワーク**「OP-GRPO」**を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

背景:
フローマッチングモデル（Stable Diffusion 3.5 や Wan など）は、拡散モデルの訓練パラダイムとして有効であり、近年の画像・動画生成モデルの基盤となっています。これらのモデルの生成品質を人間の好みに合わせるため、GRPO を用いた強化学習（RL）によるアライメント手法が導入されています。

既存手法（Flow-GRPO）の課題:
既存の GRPO ベースのアライメント手法は、以下の理由によりサンプル効率（Sample Efficiency）が極めて低いという問題を抱えています。

1. オンポリシー（On-Policy）の制約: GRPO は現在のポリシーでサンプリングされた新しい軌道（トラジェクトリ）のみを使用し、各イテレーション終了後に破棄します。高品質なサンプルであっても再利用できないため、計算コストが膨大になり、収束に数千 GPU 時間を要します。
2. 報酬の崩壊: タスクが困難な場合、モデルが成功する軌道を生成できず、報酬がゼロに近づきます。これにより利得（Advantage）が崩壊し、勾配信号が消失して学習が停滞します。

オフポリシー学習の導入における課題:
単純に過去の軌道を再利用するオフポリシー学習を導入することは、フローマッチングモデルにおいて容易ではありません。

• 分布のシフト: 過去のポリシー（$p_{off}$）で生成されたデータを現在のポリシー（$p_{old}$）に対して学習させると、分布の不一致が生じ、GRPO のクリッピング機構が破綻し、学習が不安定になります。
• 数値的不安定性: 後期のノイズ除去ステップ（低ノイズ領域）において、条件付きデータ分布が非常に鋭くなるため、重要度重み（Importance Weights）が数値的に悪条件（ill-conditioned）となり、学習を不安定化させます。

---

2. 提案手法：OP-GRPO

OP-GRPO は、フローマッチングモデル向けに設計された初のオフポリシー GRPO フレームワークです。以下の 3 つの主要な技術的革新により、上記の課題を解決します。

(1) 高品質なリプレイバッファの構築と選択的再利用

• リプレイバッファ: 過去のロールアウトで得られた高品質な軌道を格納するバッファ（$B_{off}$）を維持します。
• 報酬ベースの更新: 新しい軌道とバッファ内の最低報酬軌道を比較し、高報酬の軌道のみで更新します。
• ユニーク性の制約: 各条件入力（プロンプト）に対して最大 1 つの軌道のみを保持し、バッファが単調なサンプルに偏るのを防ぎます。
• ステップごとの減衰: 古いサンプルの報酬を減衰させ、より新しい（現在のポリシーに近い）高品質なサンプルが優先的に保持されるように設計しています。
• ハイブリッドロールアウト: 各バッチにおいて、一部のプロンプトに対してはバッファから軌道を読み込み、残りを現在のポリシーで生成するハイブリッドなサンプリングを行います。

(2) シーケンシャルな重要度サンプリング補正（Sequence-level Importance Sampling Correction）

オフポリシーデータを使用する際、単にステップごとの重要度比を適用すると、GRPO のクリッピング機構の目的（$p_{old}$ に対する更新幅の制限）が損なわれ、過剰なクリッピング（40% 以上）が発生します。

• 解決策: 元のステップごとの重要度比（$p_\theta$ と $p_{old}$ の間）を維持し、クリッピングの基準を正しく保ちます。
• 補正項: 分布のシフトを補正するために、シーケンシャルな補正項（軌道全体の確率比 $P_{\pi_{old}}(\tau) / P_{\pi_{off}}(\tau)$）を目的関数に追加します。
• 効果: この手法により、クリッピングされるオフポリシーサンプルの割合を 40% 超から11.8% まで大幅に削減し、安定した学習を可能にします。

(3) 軌道の切り捨て（Trajectory Truncation）による数値的安定化

• 問題: 後期のノイズ除去ステップ（$t \to 0$）では、遷移分布がほぼ決定論的になり、対数確率が急激に低下（クリフ状の減少）します。これにより重要度重みが極端な値を取り、学習が不安定になります。
• 解決策: 後期のオフポリシーサンプルを**切り捨て（Truncation）**ます。具体的には、オフポリシー軌道を一定のステップ数（$t_{off}$）まで使用し、それ以降のステップは現在のポリシーで再生成します。
• 効果: 数値的に不安定な低ノイズ領域の影響を排除し、学習の安定性を確保します。生成品質への影響は最小限です。

---

3. 主要な貢献

1. 初のオフポリシー GRPO フレームワーク: フローマッチングモデル向けに設計された OP-GRPO を提案し、オンポリシーの制約を打破しました。
2. 分布補正とクリッピングの両立: シーケンシャルな重要度サンプリング補正を導入し、分布のシフトを補正しつつ、GRPO のクリッピングメカニズムの整合性を保ちました。
3. 理論的・実証的な安定化手法: 後期ステップにおける重要度重みの悪条件化を理論的に分析し、軌道切り捨て戦略によってこれを解決しました。
4. 大幅な訓練効率の向上: 画像・動画生成のベンチマークにおいて、既存の Flow-GRPO と同等以上の性能を、平均して 34.2% の訓練ステップ数で達成しました。

---

4. 実験結果

評価対象:

• モデル: Stable Diffusion 3.5 Medium (SD3.5-M), Wan2.1-1.4B (動画生成)
• タスク: 構成的画像生成（Compositional Image Generation）、視覚的テキスト生成（Visual Text Rendering）、人間の嗜好アライメント（Human Preference Alignment）

結果:

• 訓練効率: OP-GRPO は、Flow-GRPO が最終性能に到達するために必要なステップ数の約34.2%（画像タスク）〜30.1%（動画タスク）で同程度の性能を達成しました。
• 性能: 中間ステップにおいて Flow-GRPO を一貫して上回り、最終性能においても同等かそれ以上のスコア（Aesthetic, PickScore, GenEval など）を記録しました。
• 一般化性能: 学習タスク以外のメトリック（T2I-CompBench++ など）でも優れた性能を示し、過学習が発生していないことが確認されました。
• 動画生成: 複雑な動画生成タスクにおいても、OP-GRPO は Flow-GRPO を凌駕する生成品質と学習速度を実現しました。

アブレーション研究:

• 補正項なしや切り捨てなしのバージョンでは学習が不安定化し発散する傾向が見られ、提案された 3 つのコンポーネント（リプレイバッファ、補正、切り捨て）のすべてが必須であることが示されました。

---

5. 意義と結論

OP-GRPO は、フローマッチングモデルにおける強化学習アライメントのボトルネックであった「サンプル効率の低さ」と「学習の不安定性」を解決する画期的な手法です。

• 実用的意義: 大規模な GPU リソースを必要とする RL 訓練のコストを劇的に削減し、高品質な生成モデルの実用化を加速します。
• 学術的意義: フローマッチングモデル特有の確率的・数値的特性（特に後期ステップの決定論的性質）を考慮したオフポリシー学習の理論的枠組みを提供しました。

将来的には、この手法を音声や 3D 生成などの他のドメインへ拡張することが期待されます。本論文は、生成 AI の訓練効率化において重要なマイルストーンとなる研究です。