技術概要：dFlowGRPO

問題定義

離散フローモデル（DFM）は、離散データ用の柔軟な生成モデルのクラスを表し、一般的な確率経路と非マスクされたソース分布をサポートすることで、離散拡散大規模言語モデル（dLLM）よりも広範な設計空間を提供する。強化学習（RL）は生成品質の向上のために dLLM に成功裏に適用されてきたが、既存の手法を一般的な DFM に拡張する際には重大な課題に直面する。主な障壁は、DFM の対数尤度の推定が困難であり、自己回帰モデルのように自然に分解できない点にある。dLLM 向けの現在の RL 手法は、近似（例えば平均場や ELBO ベース）に依存しており、一般的な DFM に固有の条件付き遷移率や事後ダイナミクスを十分に考慮できていないことが多い。その結果、DFM の条件付き遷移率と事後モデルの両方を含む完全な軌道情報を効果的に活用する統合された RL フレームワークが存在しない。

手法

著者は、DFM 向けに設計された統合的なレート認識型方策最適化フレームワークであるdFlowGRPO（Discrete Flow-GRPO）を提案する。手法は以下の主要なステップを経て進行する：

1. MDP 定式化: DFM のノイズ除去プロセスをマルコフ決定過程（MDP）として定式化する。ここで、状態には現在のトークン系列と時間ステップが含まれ、行動は次の状態への遷移となる。
2. 軌道確率の導出: 理論的な核心的な貢献として、オイラーサンプリャを用いた DFM の完全な軌道確率の導出を行う。著者は、現在の方策と旧方策間の遷移確率比が、レート依存項によって再重み付けされたトークンごとの期待事後確率比の積として表現できることを証明する。
   • 具体的には、比 $r_k(\theta)$ は以下のように導出される：
     $$r_k(\theta) = \prod_{d \in [D]} \mathbb{E}_{X^d_1 \sim p^{\theta_{old}}_{1|t_k}} \left[ w^{\theta_{old}, d}_{Q,k} \cdot \frac{p^\theta_{1|t_k}(X^d_1|x_{t_k})}{p^{\theta_{old}}_{1|t_k}(X^d_1|x_{t_k})} \right]$$
   • ここで、$w^{\theta_{old}, d}_{Q,k}$ は条件付き遷移率から導出されたレート依存重みであり、第二項は事後確率比である。
3. 効率的な推定: このフレームワークは、追加のフォワードパスを必要とせずに事後モデルからのモンテカルロ（MC）サンプルを用いて、この遷移確率比を推定することを可能にする。これにより、条件付き遷移率と事後モデルの両方からの情報を RL 目的関数に組み込むことができる。
4. 最適化目的関数: GRPO（Group Relative Policy Optimization）フレームワークに基づき、dFlowGRPO は、導出された遷移確率比とグループ正規化されたアドバンテージ推定量を組み込んだクリップされた目的関数を用いて方策を最適化する。目的関数には、方策の崩壊を防ぐための KL 正則化項が含まれる。

主要な貢献

本論文は、以下の 3 つの主要な貢献を概説する：

1. 統合フレームワーク: 条件付きレートと事後モデルの両方からの情報を利用することで、一般的な確率経路と条件付きレートをサポートする DFM 向けの統合的なレート認識型方策最適化フレームワークである dFlowGRPO の提案。
2. 理論的導出: ノイズ除去軌道に対する遷移確率比の導出。これは、レート依存項によって再重み付けされたトークンごとの期待事後確率比の積に分解できることを示す。この項は、追加のフォワードパスなしに MC サンプルで推定可能であることが示されている。
3. 実証的検証: マルチモーダル DFM（FUDOKI）への dFlowGRPO の適用。既存の RL 手法と比較して、テキストから画像への生成およびマルチモーダル理解タスクの両方で顕著な改善を示した。

実験結果

著者は、2 つのドメインにおいてベースモデルとしてFUDOKIを用いて dFlowGRPO を評価した：

• テキストから画像への生成:

  • GenEval、PickScore、DrawBenchで評価。
  • クラスターフリーガイダンス（CFG）なしで、dFlowGRPO は FUDOKI の PickScore を 20.87 から 23.00 に、GenEval スコアを 61% から 93% に改善した。
  • GenEval ベンチマークにおいて、dFlowGRPO は総合スコア0.93を達成し、他の統合マルチモーダルモデルを上回り、専用生成モデルに匹敵または凌駕した。これは、より少ないノイズ除去ステップ（8 NFEs）と CFG の不使用にもかかわらず達成された。
  • この手法は報酬ハッキングに対して頑健であり、複数の指標（HPSv3、審美性スコアなど）で一貫した改善を示した。

• マルチモーダル理解:

  • ScienceQA、POPE、MME-P、SEED、MMB、GQAで評価。
  • ScienceQA において、dFlowGRPO は LLM 抽出ありで精度を 75.1% から**81.1%**に、なしで 54.1% から 59.1% に向上させ、最小限の報酬ハッキングで達成した。
  • GQA、SEED、MMB ベンチマークでも性能向上が観察された。

• アブレーション研究:

  • MC サンプル: MC サンプル数（$n=1$ から $n=24$）を増やすことで、トレーニング収束が加速され、最終報酬が向上した。
  • KL 正則化: KL 正則化なしのトレーニングは高い報酬を達成したが、KL 正則化（$\beta=0.01$）を追加することで報酬ハッキングが大幅に抑制され、補助指標における性能が向上した。
  • 比較: dFlowGRPO は、平均場近似手法（diffu-GRPO、diffu-GSPO）およびオンライン DPO 変種を一貫して上回った。これらは一般的な確率経路に対して不安定または効果的でないことが判明した。

意義と主張

本論文は、dFlowGRPO が、特定の dLLM 構成に限定されていたり、不正確な近似に依存していたりする既存の手法の限界を克服し、一般的な離散フローモデルへの強化学習の適用に対する統合的かつ効果的な解決策を提供すると主張している。正確な遷移確率比を導出し、レート依存重みを組み込むことで、このフレームワークは DFM の完全な構造的情報を活用する。

著者は、dFlowGRPO を、離散フローモデルを人間の嗜好やタスク固有の目的に整合させるための重要な前進として位置づけており、RL がマスク付き拡散モデルだけでなく、より広範な DFM クラスに成功裏に適用可能であることを示している。結果は、dFlowGRPO が Flow-GRPO を用いてトレーニングされた連続フローベースモデルと競争力のある性能を達成しつつ、理解タスクにおいても強力な能力を維持していることを示唆している。論文は控えめに、評価が現時点では単一の DFM（FUDOKI）に限定されていることを指摘し、将来の研究では、これらのレート認識型技術を、代替的な条件付きレートを持つ他の dLLM に適用することを提案している。