技術要約: Flow-DPPO

問題提起

近年の進展により、オンライン強化学習（RL）が画像および動画生成のためのフローマッチングモデルの品質とアライメントを大幅に向上させ得ることが示されている。Flow-GRPOやCPSといった手法は、デノイジング過程をマルコフ決定過程（MDP）として捉え、信頼領域を強制するために**比率クリッピング（ratio clipping）**を採用することで、近接方策最適化（PPO）をこれらのモデルに適応させてきた。

しかし、著者らは、比率クリッピングがフローモデルには構造的に不適切であると主張している。フローモデルの連続的かつ高次元な潜在空間において、新しい方策と古い方策の間の確率比は、真の方策ダイバージェンスに対するノイズの多い単一サンプル・モンテカルロ推定値として機能する。この推定ノイズはガウス方策において大幅に増幅され、比率の分布が左側にシフトする（平均 < 1）という系統的なバイアスを引き起こす。その結果、標準的な対称クリッピング範囲 $[1-\epsilon, 1+\epsilon]$ は実質的に非対称となり、正のアドバンテージを持つサンプルに対する過剰最適化を十分に抑制できない一方で、負のアドバンテージを持つサンプルを過剰にクリップしてしまう。これは、不適切な信頼領域の強制、破滅的な忘却、およびマルチエポック訓練における性能低下を招く。

手法: Flow-DPPO

本論文では、ノイズの多い比率クリッピング機構をダイバージェンスに基づく近接制約に置き換えたFlow-DPPO（Flow Divergence Proximal Policy Optimization）を提案する。

主要な構造的洞察

Flow-DPPOの根底にある重要な観察は、フローモデルにおけるステップごとの方策がガウス分布であることである。具体的には、方策 $p_\theta(x_{t-\Delta t} | x_t, t, c)$ は、平均 $\mu_\theta$（速度ネットワークによって決定される）と、固定されたスケジュール依存の分散 $\sigma^2$ によって定義される。

• 大規模言語モデル（LLM）では、大きな語彙集合に対して正確なダイバージェンスを計算することは計算量的に困難であるが、フローモデルでは、速度ネットワークの2回のフォワードパスのみを用いて、新旧の方策間のカルバック・ライブラー（KL）ダイバージェンスを正確かつ決定論的に計算できる。
• KLダイバージェンスは次のように与えられる：
  $$D_{KL}(\pi_{\theta_{old}} \| \pi_\theta) = \frac{\|\mu_{\theta_{old}} - \mu_\theta\|^2}{2\sigma^2}$$

Flow-DPPO アルゴリズム

Flow-DPPOは、標準的なPPOのクリッピングロジックを置き換える非対称ダイバージェンスマスク（$M_t$）を導入する。目的関数は以下のように修正される：
$$\mathcal{L}_{Flow-DPPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{T} \sum_{t=0}^{T-1} \left( M_t^i \cdot r_t^i(\theta) \cdot \hat{A}_i - \beta D_{KL}(\pi_\theta \| \pi_{ref}) \right) \right]$$

マスク $M_t$ は以下のように定義される：
$$M_t = \begin{cases} 0 & \text{if } (\hat{A}_i > 0 \land r_t > 1 \land D_t > \delta) \lor (\hat{A}_i < 0 \land r_t < 1 \land D_t > \delta) \\ 1 & \text{otherwise} \end{cases}$$

ここで：

• $D_t$ はステップ $t$ における正確なKLダイバージェンスである。
• $\delta$ は事前定義されたダイバージェンス閾値である。
• $\hat{A}_i$ はアドバンテージである。
• $r_t$ は確率比である。

非対称設計のロジック:
このマスクは、以下の2つの条件が同時に満たされる場合にのみ、勾配更新をブロックする：

1. 更新が、旧方策から離れる方向に動いている（アドバンテージの符号と比率によって示される）。
2. 正確なKLダイバージェンスが閾値 $\delta$ を超えている。

決定的なのは、更新が旧方策に向かって動いている場合（例：オーバーシュートの修正）、ダイバージェンスのレベルに関わらずマスクが1のまま維持されることである。これにより、PPOの有益な非対称構造が保持され、オーバーシュートからの迅速な回復を可能にすると同時に、発散する更新に対しては信頼領域を厳格に強制することができる。

主な貢献

1. 比率クリッピングの理論的分析: 本論文は、フローモデルにおける比率クリッピングが、ガウス空間における単一サンプル推定の高分散により、方策ダイバージェンスのバイアスのあるプロキシとなることを示し、不適切な信頼領域制約をもたらすことを実証した。
2. 正確なダイバージェンス計算: フロー方策のガウス構造を利用することで、追加の計算コストなしに正確なKLダイバージェンスを計算できることを示した。これは、近似なしでは離散トークンベースのモデルでは不可能な能力である。
3. Flow-DPPO アルゴリズム: ノイズの多い比率プロキシを置き換え、決定論的な信頼領域を強制する非対称ダイバージェンスマスクを用いた新しい最適化手法を提案した。
4. 安定したマルチエポック訓練: 本手法は、サンプルの再利用（例：2つの内部ループ）を伴うシナリオにおいても、安定した訓練を可能にする。これは、比率クリッピングを用いたベースラインが性能低下や停滞を起こすシナリオである。

実験結果

著者らは、SD3.5、FLUX2-9B、FLUX.1-devなどの多様なベースモデルを用い、Flow-GRPO、Flow-CPS、GRPO-Guard、およびDiffusion-NFTを含むベースラインと比較してFlow-DPPOを評価した。

• 報酬の最適化: Flow-DPPOのバリアントは、インドメイン・ベンチマーク（GenEval2）においてSOTA（State-of-the-Art）の性能を達成し、シングル報酬およびマルチ報酬設定の両方で一貫してベースラインを上回った。
• 破滅的な忘却: 本手法は破滅的な忘却を大幅に軽減した。アウトオブドメイン（OOD）指標（PickScore, CLIP, HPSv2）は、ベースラインが進行とともに大幅な劣化を示すのに対し、安定または向上した。
• KL近接効率: Flow-DPPOは事前学習済みの参照モデルからのKLダイバージェンスを低く維持しており、元の生成能力のより優れた保存を示している。
• マルチエポック訓練: サンプル再利用（例：2つの内部ループ）を含む実験において、Flow-DPPOは一貫した長期的な利点を示したが、ベースラインは性能の停滞または劣化に見舞われた。
• 定性的結果: 視覚的な比較により、Flow-DPップルは、比率クリッピングを用いる手法と比較して、組成の正確性を維持しつつ、画像品質の低下が著しく少ないことが示された。

重要性と主張

本論文は、Flow-DPPOが、連続的なフローモデルにPPO型の比率クリッピングを適用する際の根本的な構造的不一致に対処していると主張している。ノイズの多い比率プロキシを正確で決定論的なダイバージェンス制約に置き換えることで、本手法は、この領域における信頼領域最適化のためのより堅牢な理論的基礎を提供する。

著者らは、Flow-DPPOが「安全境界」を提供し、モデルが元の生成品質を失ったり分布崩壊に陥ったりすることなく、報酬から学習することを可能にすると断言している。さらに、マルチエポック訓練を安定してサポートできる能力は、ロールアウトのコストが高い長尺ビデオ生成のような、計算コストの高いシナリオにおいて重要な実用的利点として強調されている。本研究は、ダイバージェンスベースの制約が、フローモデルにとって比率ベースの近似よりも厳密に自然であり、効果的であることを示唆している。