技術サマリー：Flash-GRPO

問題定義

ビデオ拡散モデルは、リアルなコンテンツ生成において著しい進歩を遂げていますが、これらのモデルを人間の好み（美的品質、プロンプトへの準拠、物理的な妥当性）と整合させることは、依然として重要な課題です。特に、この整合化のための支配的なパラダイムとして登場した強化学習（RL）、具体的にはグループ相対方策最適化（GRPO）は、深刻な計算上のボトルネックに直面しています。標準的な GRPO は、完全な時空間ノイズ除去軌道全体を通じて勾配を逆伝播させる必要があり、大規模モデル（例：140 億パラメータ）の場合、数百 GPU 日という膨大な計算リソースを要求します。

既存の効率化手法は、時間ステップのサブサンプリング（例：スライディングウィンドウアプローチ）によってこのコストを軽減しようとしています。しかし、著者らは、これらの単純なサブサンプリング戦略が本質的に最適化を損なうことを特定しました。これらは深刻な学習の不安定さを示し、完全軌道学習の性能上限に到達できずにいます。この失敗は、以下の 2 つの根本原因に起因すると論文は結論付けています：

1. 時間ステップに混在したアドバンテージ推定：アドバンテージグループ内で時間ステップを混合すると、報酬のばらつきが異なるノイズレベルの固有の難易度と絡み合い、真の方策シグナルを不明瞭にします。
2. 時間依存性の勾配スケーリング：方策勾配には、確率微分方程式（SDE）の離散化から導出される時間依存のスケーリング因子が本質的に含まれています。この因子は拡散軌道全体で数桁の幅で変動するため、実際の重要性に関わらず、初期の時間ステップがパラメータ更新を支配し、最適化のバランスを崩します。

手法：Flash-GRPO

著者らは、完全軌道の性能を達成しつつ、トレーニングロールアウトあたり 1 つの時間ステップのみを利用する単一ステップ学習フレームワークであるFlash-GRPOを提案します。この手法は、特定された不安定性を以下の 2 つの中核メカニズムによって解決します：

1. 等時間的グループ化

時間ステップに混在したばらつきを排除するため、Flash-GRPO はプロンプトグループ内で時間的一貫性を強制します。

• メカニズム：与えられたプロンプトに対して、グループ内のすべての $G$ 個のロールアウトは、異なるガウスノイズで初期化されるものの、正確に同じ時間ステップ $t_k$ を共有します。
• プロセス：グループは、割り当てられた時間ステップ $t_k$ において単一ステップの ODE から SDE への遷移を行い、探索と勾配計算を可能にします。軌道内の他のすべての時間ステップでは、高品質な生成と正確な報酬シグナルを確保するために、決定論的な常微分方程式（ODE）サンプリングを使用します。
• 効果：これによりアドバンテージ計算が因数分解され、方策に起因するばらつきが時間ステップに起因するばらつきから分離されます。これにより、相対的な性能比較が同一のノイズ除去条件下で行われ、方策の性能が時間ステップの難易度から切り離されます。

2. 時間的勾配補正

勾配スケールの不均一性を解決するため、著者らは逆生成プロセスに対する明示的な方策勾配を導出しました。

• 導出：勾配は、時間依存係数 $\lambda(t) = \frac{\sqrt{\Delta t}}{\sigma_t} + \frac{\sigma_t\sqrt{\Delta t}(1-t)}{2t}$ によってスケーリングされることが示されました。多様な時間ステップを持つ単一ステップ設定では、これが極めて不一致な勾配の大きさをもたらします。
• メカニズム：Flash-GRPO は、勾配を $1/\lambda(t)$ で明示的に正規化する時間的勾配補正を導入します。
• 効果：これにより、すべての時間ステップにおいて $\lambda(t) \to 1$ となり、拡散軌道内の時間ステップの位置に関わらず、パラメータ更新への寄与が均一になります。これにより、離散化に起因するバイアスが排除され、最適化ダイナミクスが安定します。

主要な貢献

1. 不安定性源の特定：本論文は、単一ステップビデオ GRPO における不安定性の 2 つの具体的な原因、すなわち時間ステップに混在したアドバンテージ推定と時間依存性の勾配スケーリングについて、理論的導出と実証的検証を提供します。
2. Flash-GRPO フレームワーク：正確なアドバンテージ推定のための等時間的グループ化と、バランスの取れた最適化のための時間的勾配補正を組み合わせた、原理に基づいた単一ステップ学習フレームワーク。
3. スケーラビリティと効率性：13 億から 140 億パラメータにわたるモデルでの検証により、この手法が従来の効率性と品質のトレードオフを排除し、計算コストを大幅に削減しながら最先端の整合化品質を達成することを示しています。

実験結果

著者らは、HPSv3 報酬モデルと VBench メトリックを使用して、Wan2.1 ビデオモデル（13 億および 140 億パラメータ）上で Flash-GRPO を評価しました。

• 学習効率：Flash-GRPO は、標準的な完全軌道手法と比較して、学習コストにおいて6 倍の高速化を達成しました。
• 安定性：破滅的な最適化の崩壊と報酬のばらつきに悩まされる単純な単一ステップ手法（例：Flow-GRPO-Fast1）とは異なり、Flash-GRPO は安定した単調な報酬の増加を維持します。
• 性能：
  • 13 億パラメータモデルにおいて、Flash-GRPO は比較対象の手法の中で最高の美的品質（66.43）と主観的一貫性（98.70）を達成し、Flow-GRPO および Flow-GRPO-Fast1 の両方を上回りました。
  • 140 億パラメータモデルにおいて、Flash-GRPO は一貫した安定性と単調な成長を示したのに対し、Flow-GRPO は収束が遅く不安定でした。
  • 定性的な改善：視覚的な比較により、vanilla ベースラインと比較して、時間的ダイナミクス（フリッカーの減少）、視覚的忠実度（豊かな詳細）、プロンプトへの準拠が向上していることが示されました。

意義と主張

本論文は、Flash-GRPO がビデオ拡散モデルにおける計算効率と整合化品質の間の根本的なトレードオフを解決すると主張しています。単一ステップ最適化の特定の数学的アーティファクト（混在したばらつきと勾配スケーリング）に対処することで、この手法は高品質なビデオ RL 整合化を実用的かつスケーラブルなものにします。著者らは、このアプローチにより、モデルが低計算予算下で動作しながらも完全軌道学習の性能上限に到達できることを示しており、大規模ビデオモデルの整合化に対する堅牢な代替手段となると述べています。