技術要約：拡散モデルにおけるステージ誘導型ステップ別最適化（SGPO）

問題提起

拡散モデルは生成タスクにおいて優れた性能を発揮するが、標準的な学習目的が特定の目標の最適化ではなくデータ分布の再構成に焦点を当てているため、特定のユーザーの好みに合わせる（アライメント）ことに苦慮している。強化学習（RL）は好みの調整への道筋を提供するが、この領域では以下のような重大な課題に直面する：

1. 報酬の希薄性（Reward Sparsity）： 好みの報酬は生成プロセスが完了した時点（最終タイムステップ）でしか正確に評価できないため、中間的な潜在状態には直接的なフィードバックが残されない。
2. 時間的目標の不一致（Temporal Objective Mismatch）： 既存の手法は、希薄性を緩和するために、単一の最終報酬をすべての前のデノイジング・ステップにバックプロパゲーション（誤差逆伝播）させる。しかし、これはすべてのデノイジング段階が最適に等価であることを前提としているが、これは拡散ダイナミクスのステージごとの性質と矛盾する。
3. 報酬ハッキング（Reward Hacking）： 単一の最終報酬をすべてのステップに一律に適用することは、時間的な不一致を生む。初期段階は混沌としておりノイズが支配的であるため、行動と最終報酬との相関は弱い。これにより、モデルは意味のある行動を学習するのではなく、「ショートカット」を見つけ出す（報酬ハッキング）ことが促進され、多様性や忠実度を低下させるモード崩壊、反復的な構造、あるいは過剰に増幅された局所的パターンを引き起こす。

手法：ステージ誘導型ステップ別最適化（SGPO）

著者らは、拡散生成の固有のステージごとのダイナミクスを認識する適応型RLフレームワークであるSGPOを提案している。一律な最適化を行う代わりに、SGPOは、セマンティクス（意味論）の変化と信号対雑音比（SNR）のリアルタイム監視によって特定される現在の生成ステージに基づいて、最適化目的を動的に切り替える。

1. 適応型ステージ検出

本手法は、2つの指標を用いて生成プロセスを3つの異なるステージに分割する：

• セマンティック進化率 ($\Delta E(t)$): 隣接する潜在変数とプロンプトとの間のセマンティックな整合性（例：CLIPスコア）の変化。
• 信号対雑音比 ($\gamma(t)$): 潜在状態における信号とノイズの比率。

遷移点は、これらの指標の二階微分がゼロに近づくことによって定義される：

• ステージ I（混沌／ノイズ）： $0 \le t < t_c^{(1)}$。高ノイズかつ不安定なセマンティクスが特徴。
• ステージ II（安定した嗜好）： $t_c^{(1)} \le t < t_c^{(2)}$。セマンティクスが安定し、行動と最終報酬との相関が強まる。
• ステージ III（定常収束）： $t \ge t_c^{(2)}$。グローバルな構造は固定されており、局所的な詳細のみが敏感である。

2. ステージ固有の最適化目的

SGPOは、拡散のダイナミクスに合わせて、各ステージに異なる報酬関数を割り当てる：

• ステージ I（混沌）： 混沌としたノイズ領域から迅速に脱出することを目的とする。ここでは最終報酬は信頼できないため、目的は初期ノイズ起点からの距離を最大化することに焦点を当てる。

  • 報酬関数: $r_t^{(I)} = \lambda_t \|x_t - x_T\|^2$。ここで $\lambda_t$ はSNRに応じてスケールする。

• ステージ II（安定した嗜好）： これが嗜好最適化の主要なフェーズである。モデルは最終的な嗜好報酬 ($r(x_0, z)$) を最適化すると同時に、早期の単一モードへの収束を防ぐために多様性を積極的に維持する。

  • 報酬関数: $r_t^{(II)} = r(x_0, z) + \Delta E(t) \| \hat{x}_0(x_t) - \hat{x}_0(x_{t-1}) \|^2$。
  • 第2項は探索ボーナスとして機能し、セマンティック進化率 $\Delta E(t)$ によって変調され、セマンティックな整合性を崩すことなく、多様性を高める制御された偏差を促す。

• ステージ III（収束）： グローバルな構造はほぼ固定されている。さらなる嗜好最適化はオーバーフィッティングのリスクがあり、分布を不安定化させる可能性がある。目標は、真の分布への安定した収束へとシフトする。

  • 報酬関数: $r_t^{(III)} = -\frac{1}{2} \| \hat{x}_0(x_t) - x_0^{pre} \|^2$。ここで $x_0^{pre}$ は学習済みモデルの出力である。これは、安定した学習済み分布からの不要なドリフトをペナルティ化する。

主な貢献

1. ステージ認識型RLフレームワーク： 本論文は、拡散モデルの全タイムステップに対して一律な最適化を行うという仮定から脱却し、拡散生成のステージごとのダイナミクスを明示的にモデル化するパラダイムを導入している。
2. 報酬ハッキングの軽減： フェーズ依存の特性（混沌からの脱出、多様性の探索、および安定した収束）に合わせて学習シグナルを調整することで、SGPOは報酬ハッキングを効果的に軽減し、生成品質を向上させる。
3. 適応メカニズム： 本手法は、リアルタイムのセマンティクスおよびSNR監視を利用して最適化戦略を動的に切り替え、学習シグナルが異なる生成フェーズの要求事項と一致することを保証する。

実験結果

著者らは、様々なデータセット（HPSv2, Pick-a-Pic, GenEval, Simple Animals）およびモデルアーキテクチャ（Stable Diffusion v1.4–v2.1, SDXL, SD 3.5, FLUX）にわたって16の比較実験を行った。

• 性能向上： SGPOは、ベースラインと比較して、生成品質（報酬スコアで測定）において平均 26.7%の向上、および収束速度において 36.7%の改善 を達成した。
• 多様性と忠実度： 本手法は、LPIPS、IS、FIDなどの指標において、多様性を 8.51%、詳細の忠実度を 41.93% 向上させ、ベースラインを大幅に上回った。
• 報酬ハッキングへの耐性： 固定された美的スコア（AES）に一致するように訓練された評価において、SGPOは忠実度、多様性、および豊かさの指標において一貫してトップ2の性能を維持したが、他の手法は過剰最適化とモード崩壊の兆候を示した。
• 制御された生成： SGPOは、オブジェクトの数、色、空間関係を含む複雑なプロンプトにおいて、DDPO、DPOK、Flow-GRPOなどのベースラインと比較して優れた指示追従能力を示した。
• 効率性： ステージ検出によるオーバーヘッドがあるにもかかわらず、高速な収束により、全体のウォーククロックタイム効率はベースラインよりも大幅に優れていた。

意義と主張

本論文は、最終的な報酬をすべてのデノイジング・ステップに無差別に適用することが、拡散RLにおける報酬ハッキングと最適化効率の根本的な原因であると主張している。拡散プロセスにおけるステージごとの構造（具体的には、混沌としたノイズから安定したセマンティクス、そして収束への遷移）を尊重することで、SGPOはより堅牢で効率的なファインチューニングを可能にする。

著者らは、彼らの手法が現在の拡散モデルのRLの実践に対する必要な修正を提供し、以下を可能にすると断言している：

• 多様性を犠牲にすることなく、特定の好みに高度にアライメントすること。
• モデルが偽の相関を利用する「報酬のショートカット」現象の防止。
• 複雑な生成タスクにおける制御性の向上。

本研究は、生成モデルのための将来のRLファインチューニングは、軌跡を均質な状態のシーケンスとして扱うのではなく、生成プロセスの時間的ダイナミクスを考慮しなければならないことを示唆している。