技術要約：速度マッチングによる拡散モデルの強化学習のスケーリング

問題提起

報酬による微調整（Reward fine-tuning）は、拡散モデルやフローモデルを人間の好みや特定のタスク目標（意味的な整合性、視覚的品質、動きなど）に適合させるための重要なメカニズムとなっています。しかし、既存の手法は、PPOやGRPOといった自己回帰型の大規模言語モデル（LLM）から継承された方策勾配（Policy-gradient）の仕組みをそのまま引き継いでいることが多く、これが問題となっています。拡散モデルは、LLMとは異なり、生成されたサンプルに対して扱いやすい尤度（Likelihood）を提供しないため、この転用は困難を伴います。

その結果、現在のアプローチは、以下の2つの複雑な経路を通じてこの扱いにくさを回避しようとしています：

1. 軌跡ベースの手法（Trajectory-based methods）： サンプリングされた軌跡に沿った確率的な1ステップのデノイジング遷移から尤度を構築します。これには、高価な確率的ロールアウト、軌跡の保存が必要であり、中間的なデノイジング状態が現在の状態よりもクリーンな終端に近いとは限らないため、更新の分散が高くなる傾向があります。
2. ELBOベースの手法（ELBO-based methods）： 最終的なサンプルの周辺尤度を証拠下限（ELBO）を用いて近似します。これらの手法は、訓練をフルロールアウトサンプラーから切り離すことはできますが、依然として尤度ベースの方策勾配の定式化に由来しており、推定された方策比（Policy ratio）や尤度近似の計算オーバーヘッドを保持しています。

本研究が提示する中心的な問いは、「拡散モデルの効果的な報酬微調整において、尤度推定は本当に必要なのか、それともモデルの更新をネイティブな訓練表現に対して直接作用させるように簡略化できるのではないか」という点です。

手法：報酬ベースの速度マッチング（RVM）

著者らは、拡散モデルの速度場（Velocity field）に対して直接作用する、シンプルで軌跡に依存しない更新メカニズムである**報酬ベースの速度マッチング（RVM）**を提案しています。

コアとなる目的

方策勾配の目的関数を構築し、扱いにくい尤度比を近似する代わりに、RVMは報酬微調整を速度場に対する回帰問題として扱います。生成されたエンドポイントのグループ $\{x_0^i\}$ が与えられたとき、各サンプルは単一の中間状態 $x_t^i$ へと前方ノイズ付加（Forward-noised）され、速度ターゲット $v_i = \epsilon_i - x_0^i$ を持ちます。モデルの速度 $v_\theta(x_t, t)$ は、以下の2つの項からなる損失関数を用いて更新されます：

$$\mathcal{L}_{\text{RVM}} = \frac{1}{2} \mathbb{E} \left[ r_i \| v_\theta(x_t^i, t) - v_i \|_2^2 + \beta(r_i) \| v_\theta(x_t^i, t) - v_{\text{anc}}(x_t^i, t) \|_2^2 \right]$$

ここで：

• $r_i$ (報酬重み): 報酬 $R(x_0^i)$ から導出された符号付きの選好信号。正の報酬は、サンプルに関連する速度方向を強化し（$v_\theta$ を $v_i$ に引き寄せる）、負の報酬は、それを抑制します（$v_\theta$ を $v_i$ から遠ざける）。
• $v_{\text{anc}}$ (アンカー速度): 参照速度場（例：凍結された参照モデル、または現在のモデルのEMA）からのドリフトを制御するオプションの項。これにより、微調整中の過度な方策ドリフトを防ぎます。
• 効率性: この手法はサンプルあたり1つの中間状態のみを必要とするため、完全なデノイジング軌跡の保存や尤度比の計算を回避できます。

理論的統一

本論文は、RVMが最近の微調整手法を特殊なケースとして回収する一般的なフレームワークであることを示しています：

• RAM (Reinforce Adjoint Matching): サンプリング方策がオンポリシー（$\pi_{\text{old}} = \pi_\theta$）であり、アンカーが凍結された参照速度（$v_{\text{anc}} = v_{\text{ref}}$）で、アンカー強度が1である場合、RVMと更新が等価であることが示されています。
• DiffusionNFT: アンカーがEMA更新された速度であり、アンカー強度が報酬依存である場合のRIVの特殊なケースであることが示されています。
• ELBOベースの方策勾配: 重要度重み（Importance weights）と時間依存の重み付け係数が省略された場合、ELBO近似の対数比に依存するEPG（Exact Policy Gradient）手法は、正確にRVMへと還元されることが示されています。

この統一性は、速度損失の具体的な代数的な形式よりも、報酬の設計とアンカーのメカニズムのデザインの方が重要であることを示唆しています。

主な貢献

1. RVMの導入: 方策比の推定や軌跡の保存を必要とせず、報酬のフィードバックを拡散モデルのネイティブな速度表現に直接組み込む、シンプルで軌跡に依存しない手法を導入しました。
2. 理論的統一: RVMが最近の手法（RAM, DiffusionNFT）を一般化し、ELBOベースの方策勾配を速度回帰へと還元することを証明し、焦点を生理学的な損失の代数から、報酬とアンカーのデザインへとシフトさせました。
3. 実証的な効率性と性能: 速度ベースの手法が、軌跡ベースのベースライン（FlowGRPO, DanceGRPO）と同等またはそれ以上の性能を発揮しつつ、訓練コストを大幅に削減できることを実証しました。
4. 報酬設計の洞察: ビデオ生成において、標準的な選好報酬は静止した出力を好む傾向があることを特定しました。著者らは、意味のある動きを明示的に促すために、オプティカルフローに基づく動的追跡（Dynamic-Tracking: DT）報酬を導入し、動的な度合い（Dynamic degree）と全体的なビデオ品質を大幅に向上させました。

実験結果

著者らは、テキスト・トゥ・イメージ（Stable Diffusion 3.5）、テキスト・トゥ・ビデオ（Wan2.1-T2V-1.3B）、およびイメージ・トゥ・ビデオ（SkyReels-I2V）モデルを用いてRVMを評価しました。

• 性能: Wan2.1-T2V-1.3Bにおいて、RVMはVBench総合スコア（84.13）で最高値を記録し、FlowGRPO（75.91）やDanceGRPO（79.46）といった軌跡ベースの手法を上回りました。特筆すべきは、RVMが75.00の動的度合い（Dynamic Degree）を達成した一方で、軌跡ベースの手法は55〜58にとどまった点です。
• 効率性: RVMは訓練コストを劇的に削減しました。Wan2.1において、RVMは525 GPU時間（8×H100）を必要としたのに対し、FlowGRPOは1,159、DanceGRPO/TaRoSは6,171を必要としました。これは、2.2倍から11.8倍のコスト削減に相当します。
• アブレーション研究:
  • 損失のバリアント: RVM、RAM、およびDiffusionNFTは同等の性能を示し、特定の速度損失の形式よりも、報酬とアンカーのデザインの方が重要であることを裏付けました。
  • 報酬設計: 動的追跡（DT）報酬の追加が、動きの品質を向上させる主要な要因であり、動的度合いを約5.5から75.0へと引き上げました。
  • 少ステップ生成: RVMで微調整されたモデルは、アグレッシブなステップ削減（例：4ステップ推論）に対する優れた堅牢性を示し、ベースモデルが急激に劣化する場面でも高い品質を維持しました。

意義と主張

本論文は、拡散モデルのスケール可能な報酬微調整は、尤度ベースの方策最適化としてではなく、ネイティブな速度表現において構成される方が適切であると主張しています。著者らは、軌跡ベースの手法の複雑さや尤度近似の必要性は不要であると論じています。

著者らが強調する主な要点は以下の通りです：

• 単純性: シンプルな速度マッチング損失を用いることで、方策比や軌跡の保存なしに効果的な微調整が可能になります。
• 損失よりも報酬: 速度損失の関数形式の選択は二次的なものであり、決定的な要因は、報酬をどのように更新の重みに変換するか、およびモデルをどのようにアンカーするかです。
• ビデオにおける動き: 一般的な選好報酬は静止したビデオを招く可能性があります。高品質なビデオ生成には、明示的な動的追跡が不可欠です。

本研究は、拡散モデルのポストトレーニングにおける将来のスケーラビリティは、より精緻な方策損失の定式化ではなく、報酬の仕様とアンカーのデザインに焦点を当てるべきであることを示唆しています。