技術要約: ConsistentRFT

1. 問題提起

フローベースの生成モデルにおける強化学習による微調整（Reinforcement Fine-Tuning: RFT）は、画像生成を人間の好みに適合させるために不可欠である。しかし、既存のフローベースRFT手法（DDPO、DPO、GRPOのバリアントなど）は、頻繁に**視覚的ハルシネーション（幻覚）**を引き起こす。これらは主に以下の3つの形で現れる：

1. 詳細の過剰最適化（Detail Over-Optimization）: 無関係な詳細の生成、過度なシャープネス、およびグリッド・アーティファクト。
2. 意味論的な不一致（Semantic Misalignment）: 生成された画像とテキストプロンプトの間の乖離。
3. ステップ間の不整合（Cross-Step Inconsistency）: 数ステップのサンプリングを使用する際の、意味論的な劣化および乖離。

著者らは、現在の手法が、フローモデルにとって根本的に欠陥のある探索（Exploration）（SDEロールアウト）と活用（Exploitation）（ポリシー勾配更新）の統一された観点の下で動作していることを指摘している：

• 限定的な探索: 確率微分方程式（SDE）によるロールアウトは、探索ドメインが狭くなる傾向がある。同じ初期ノイズに対してプロセスノイズを変化させて使用すると、モデルは局所的な詳細のみが異なる、非常に類似した画像を生成する。これにより、グローバルな意味論を軽視して局所的なテクスチャを過度に強調する細粒度な最適化へと導かれる。
• 軌道模倣による歪み（Trajectory Imitation Distortion）: GRPOのようなポリシー勾配法は、報酬を重み付けした軌道模倣として再解釈される。これらは、報酬を最大化するために、モデルに対して確率的で非線形なSDE軌道を模倣することを強いる。これは、一貫した決定論的な速度場を学習するという事前学習の目的と衝突し、それによってモデルの基礎となるベクトル場を歪ませ、不安定性を引き起こす。

2. 手法: ConsistentRFT

これらのハルシネーションを軽減するために、著者らはオンラインRFT手法（DDPO、DPO、GRPO）と互換性のある汎用フレームワークであるConsistentRFTを提案する。これは2つのコアコンポーネントで構成される：

A. 動的粒度ロールアウト (Dynamic Granularity Rollout: DGR)

このメカニズムは、動的なノイズスケジューリングを通じて、グローバルな意味論と局所的な詳細のバランスを取ることで、探索の制限に対処する。

• グループ間スケジュール (Inter-Group Schedule): 学習プロセスは、**細粒度（fine-grained）と粗粒度（coarse-grained）**のロールアウトの両方を含む期間に分割される。
  • 細粒度: 局所的な詳細を洗練させるために、漸進的なノイズ注入（変化するプロセスノイズ）を使用する。
  • 粗粒度: グローバルな意味論のバリエーションを探索するために、異なる初期ノイズソースを使用する。
  • これにより、モデルが詳細のみに焦点を当てた局所最適解に陥るのを防ぐ。
• グループ内スケジュール (Intra-Group Schedule): 過度な計算コストをかけずに細粒度グループ内の多様性を高めるため、本手法はクラスタリングを用いた進行状況感知型ロールアウトを採用する。
  • 状態を評価するために、中間的なシングルステップ予測を実行する。
  • サンプルを潜在空間でクラスタリングし、代表的なグループ（詳細な洗練用と粗い知覚用のそれぞれ1つ）を選択することで、計算負荷を抑えつつ多様性を確保する。

B. 一貫性のあるポリシー勾配最適化 (Consistent Policy Gradient Optimization: CPGO)

このメカニズムは、モデルの固有の一貫性を保持することで、活用による歪みに対処する。

• 核心的な洞察: 純粋に確率的なSDE軌道を模倣するのではなく、CPGOは常微分方程式（ODE）の制約を通じてシングルステップ予測の忠実度を強制する。
• 実装: ODEベースのソルバーを用いて、ステップ $t$ における現在のモデルの予測を、ステップ $t-1$ における古いモデルの予測に整合させる。
  • 目的関数には一貫性項を追加する：$J_{CPGO} = -\mathbb{E}[\|\pi^{ODE}_{\theta}(x_t, t) - \pi^{ODE}_{\theta_{old}}(x_{t-1}, t-1)\|^2]$。
• 効果: これにより、最適化をより滑らかで一貫した軌道に従うよう制約し、事前学習分布から補間されたハルシネーション・サンプルをモデルが模倣することを防ぐ。

C. 視覚的ハルシネーション評価器 (Visual Hallucination Evaluator: VH-Evaluator)

著者らは、低レベルの客観的指標（例：ラプラシアン分散、グリッドパターンの検出）と、事前学習済みマルチモーダル大規模言語モデル（MLLM）による高レベルの評価を組み合わせた新しい評価指標を導入し、詳細の過剰最適化と知覚的ハルシネーションを具体的に定量化する。

3. 主な貢献

1. ハルシネーション原因の分析: 本論文は、フローベースRFTにおける視覚的ハルシネーションの原因を、SDEロールアウトにおける探索ドメインの限定（詳細の過剰最適化を招く）と、ポリシー勾配によるベクトル場の歪み（軌道模倣によるもの）という2つの具体的な設計上の選択に帰属させる予備的な分析を提供している。
2. 動的粒度ロールアウト (DGR): グローバルな意味論の探索と局所的な詳細の洗練を動的にバランスさせ、モデルが細粒度なアーティファクトのみに集中することを防ぐ新しいスケジューリングメカニズム。
3. 一貫性のあるポリシー勾配最適化 (CPGO): 時間的な自己一貫性と安定した事前分布への整合性を強制するポリシー勾配定式化であり、確率的な軌道の模倣によって導入される不整合を軽減する。
4. 包括的な評価: VH-Evaluatorの導入と、複数の指標においてハルシネーションの大幅な減少を示す広範な実験。

4. 実験結果

FLUX.1-devモデルを用い、HPDv2データセットおよびHPS-v2ベンチマークを用いた広範な実験が行われた。

• ハルシネーションの減少: ConsistentRFTは、ベースライン手法と比較して、低レベルの知覚的ハルシネーション（例：グリッドパターン、ノイズ）で平均49%、高レベルの知覚的ハルシネーションで**38%**の減少を達成した。
• 領域外への汎化性能: ドメイン内の利得のために領域外の性能を犠牲にすることが多いベースライン（例：MixGRPOはHPSを向上させたがCLIPスコアを10.8%低下させた）とは異なり、ConsistentRFTは領域外の指標も向上させた。具体的には、ベースラインが0.4%低下したのに対し、ConsistentRFTはFLUX1.devにおいて総合スコアで5.1%の向上を示した。
• SOTAとの比較: 本手法は、人間による好みのスコア（ImageReward, PickScore）および審美的な品質において、既存の最先端（SOTA）のRFTベースライン（DDPO, DPO, GRPOのバリアント）を上回り、かつ意味論的な整合性を維持した。
• 効率性: 本手法は標準的なポリシー勾配と互換性があり、高速化も提供する。例えば、Intra-Group DGSは、性能を維持または向上させつつ、標準的なDanceGRPOと比較してトレーニング時間を約18.6%削減した。
• 数ステップサンプリング: 本手法は、他の手法が通常劣化する数ステップのサンプリングシナリオにおいても、優れた安定性を示した。

5. 意義と主張

本論文は、ConsistentRFTが、フローベースの強化学習における視覚的ハルシネーションという持続的な問題に対する汎用的な解決策を提供すると主張している。DGR（グローバルな意味論と局所的な詳細の最適化を分離すること）とCPGO（ベクトル場の整合性を強制すること）を通じて、本フレームワークは、生成画像の構造的な完全性とリアリズムを損なうことなく、モデルを人間の好みに適合させることを可能にする。

著者らは、本研究をフローモデルのポストトレーニング段階における視覚的ハルシネーションの具体的な原因に関する予備的な調査として位置づけている。彼らは、本手法が堅牢な緩和戦略を提供する一方で、視覚的ハルシネーションの課題にはより強力でスケーラブルな報酬モデルが必要であり、それについては将来のコミュニティによる発展を期待していることを強調している。本研究は、すべてのハルシネーションの問題を解決することを主張するものではなく、好みの適合と視覚的な忠実度のバランスを取るための重要な一歩であることを示している。