🤖 machine learning

MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

本論文は、誘導された瞬時速度予測器を構築することによって、順方向プロセスにおける強化学習手法であるDiffusionNFTをMeanFlow生成器に適応させた新しいフレームワークであるMeanFlowNFTを導入するものであり、これにより、高速な数ステップサンプリングを維持しつつ、画像および動画生成において既存の数ステップおよびマルチステップのRLチューニング済みモデルをも大幅に凌駕する効率的な報酬最適化を可能にする。

原著者： Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットの芸術家に「ネオンに照らされたサイバーパンクな街並みを走る、洗練された車」の絵を描く方法を教えようとしていると想像してください。人工知能の世界では、現在のトップアーティストたちは「拡散（ディフュージョン）」や「フロー（流動）」と呼ばれる手法を使っています。これは、大理石の塊を削り出す彫刻家のようなものだと考えてください。彼らは、まずノイズの混じった粗い石の塊（ランダムな静止画）から始まり、最終的な像を明らかにするために、一歩ずつ慎重に微調整を加えていきます。問題は、このプロセスが遅いことです。本当に優れた絵を作るために、ロボットは50歩、あるいは100歩もの小さなステップを踏み、一回削るごとに作業を確認しなければならないかもしれません。それは、部屋を横切る際に、1インチ（約2.5センチ）刻みの歩幅で進むようなものです。目的地には着きますが、あまりにも時間がかかりすぎます。

これを高速化するために、科学者たちは最近、「MeanFlow」という新しいトリックを考案しました。MeanFlowは、ロボットに「一定の時間にわたる平均的な速度」を予測させることで、小さなステップを踏む代わりに、大きな動きを学習させます。これは、ロボットが部屋を横切る際に、一歩ずつ足を引きずるのではなく、自信を持って大きく跳躍する方法を学ぶようなものです。これにより、わずか数ステップで高品質な画像を生成できるようになります。しかし、落とし穴があります。この「速いロボット」に、人間が実際に何を「好むか」を教えるのは非常に困難なのです。通常、AIにより創造性を高めさせたり、ルールに従わせたりするために、私たちは「強化学習（RL）」と呼ばれる手法を用います。しかし、現在私たちが持っている最高のRL手法は、この「速い、跳躍するロボット」ではなく、従来の「遅い、一歩ずつ進むロボット」のために設計されています。この速いロボットに、古い遅いロボット用のレッスンで教えようとするのは、まるで亀向けの指示書を使ってチーターに走る方法を教えるようなもので、数学的な整合性が取れないのです。

ここで、新しい論文「MeanFlowNFT」が登場します。研究者たちは、シンプルかつトリッキーな問いを投げかけました。「私たちは、この速い、跳躍するロボットに対して、従来の遅いロボット向けの効率的なRL手法を用いて、スピードを落とすことなく、さらに優れたものへと教え込むことができるだろうか？」

その答えは、力強い「イエス」であり、その方法は以下の通りです。チームは、たとえロボットが「平均速度」（大きな跳躍をするため）を予測するように訓練されていても、その平均速度と、従来のRL手法が必要とする「瞬間的な速度」（ある特定の瞬間における速度）の間には、隠れた数学的なつながりがあることに気づきました。彼らは、「誘導された瞬間速度予測器（induced instantaneous-velocity predictor）」という巧妙な架け橋を構築しました。このように考えてみてください。ロボットの脳は、長いロードトリップ（平均速度）を計画するように訓練されています。研究者たちは、その長い旅の計画を見て、車が特定の瞬間に時速何キロで走っているか（瞬間速度）を即座に算出できる特別な「翻訳機」を作成したのです。

そして、彼らはこの翻訳機を使って、従来の効率的なRL手法を用いてロボットを教育しました。ロボットは、翻訳機のスピードメーターの読み取り値に基づいてフィードバック（報酬）を学びますが、レッスンが終われば、ロボットは元の「平均速度」の脳に戻って画像を生成します。つまり、ロボットは超高速の能力を失うことなく、より賢くなり、人間の好みに適合するように学習できるのです。

結果は目覚ましいものでした。画像生成（Stable Diffusion 3.5-Mediumなど）や動画生成（Wan2.1など）でテストしたところ、新しいMeanFlowNFTモデルは、一貫して従来の高速モデルを上回りました。実際、画像生成において、8つの異なる品質指標のうち6つで、他のトップティアのモデルを凌駕しました。さらに驚くべきことに、動画生成において、4ステップのMeanFlowNFTモデルは、VBenchと呼ばれる品質テストで84.33というスコアを記録しました。これは、はるかに低速な50ステップのモデル（LongCat-Video RL）が記録した82.57よりも高い数値です。

この論文は、この手法が単なる理論上の話ではなく、実践においても有効であることを証明しています。この「翻訳機」のトリックを使うことで、複雑な確率計算を必要とすることなく、トレーニングプロセスを高速かつ効率的に保ちながら、高度な強化学習の恩恵を受けることができました。ロボットはより良い跳躍を学習し、かつてよりもはるかに短い時間で、より美しく正確な画像や動画を作り出せるようになったのです。それは、チーターに歩き方を教えるのではなく、地形の優れた地図を与えることで、どこに大きな足を踏み出すべきかを正確に理解させ、より速く走れるように教えるようなものなのです。

技術要約: MeanFlowNFT

1. 問題提起

拡散モデル（Diffusion models）およびフロー・マッチング（Flow Matching）モデルは、高品質な画像および動画生成における支配的なパラダイムとして確立されています。しかし、これらは多くの連続的なステップにわたって瞬時速度（instantaneous velocities）を積分することに依存しているため、推論時間が長くなるという課題があります。MeanFlowは、時間間隔における**平均速度（average velocity）**を予測することでこのボトルネックに対処し、わずかなステップでの高品質な生成を可能にします。

同時に、強化学習（RL）は、生成モデルを人間の好みに適合させるための標準的な手法となっています。DiffusionNFTは、逆プロセス（reverse-process）の軌跡や尤度推定を回避する効率的なフォワードプロセスRLフレームワークを導入しましたが、これは瞬時速度を最適化するものです。ここに重大なギャップが存在します。MeanFlowは平均速度を用いてサンプリングを行うため、最適化対象（瞬時速度）とサンプリングメカニズム（平均速度）の間に不一致が生じ、MeanFlowに対してフォワードプロセスRLを適用することは非自明です。中心となる問いは、「学習済みのMeanFlowモデルを、効率的なフォワードプロセスRLで微調整することで、優れた数ステップ生成を実現できるか」という点です。

2. 手法: MeanFlowNFT

本論文は、MeanFlowジェネレーター向けに特別に設計された最初のフォワードプロセスRLフレームワークであるMeanFlowNFTを提案しています。核心となる革新は、**MeanFlow恒等式（MeanFlow identity）**を用いて、平均速度と瞬時速度の間のギャップを埋めることにあります。

2.1 理論的基礎

この手法は、区間 $[s, t]$ における瞬時速度 $v(x_t, t)$ と平均速度 $u(x_t, s, t)$ を関連付けるMeanFlow恒等式に基づいています：
$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$
ここで、 $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$ です。

2.2 誘導された瞬時速度予測器（Induced Instantaneous-Velocity Predictor）

MeanFlowネットワークに直接瞬時速度を予測させるのではなく、著者らは誘導された瞬時速度予測器 $V_\theta$ を構築します：
$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$
ここで、 $u_\theta$ は学習可能な平均速度ネットワークです。項 $\hat{v}_\theta$ は空間微分の方向として機能し、 $s=t$ におけるネットワークの瞬時速度によって近似されます。

2.3 最適化目的関数

本フレームワークは、この誘導された予測器 $V_\theta$ に対してDiffusionNFTスタイルの目的関数を適用します。学習プロセスは以下の通りです：

暗黙的パラメータ化: 固定された参照モデル（ $V^{old}$ ）と学習対象のモデル（ $V_\theta$ ）に基づき、報酬 $r$ とガイダンス強度 $\beta$ によって重み付けされた「ポジティブ」な予測器（ $V^+_\theta$ ）と「ネガティブ」な予測器（ $V^-_\theta$ ）を構築します。
フォワードプロセス損失: これらの誘導された予測器と条件付き速度 $v_t$ との間の、報酬で重み付けされた二乗誤差を最小化します：
$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$
デカップリングされたサンプリング: 決定的なのは、最適化は瞬時速度空間（ $V_\theta$ ）で行われますが、推論は依然として平均速度 $u_\theta$ に基づいて行われる点です。これにより、MeanFlow本来の数ステップサンプリングの効率性が保持されます。

2.4 実装の詳細

学習の安定性と計算効率を確保するため、著者らは3つの主要な設計上の選択肢を導入しています：

有限差分微分: 全微分項 $\frac{d}{dt}u$ は、高価なヤコビアン・ベクトル積（JVP）を避けるため、時間 $t$ に関する中心差分を用いて近似されます。
共有微分項: 学習の崩壊を防ぐため、学習対象の予測器と参照用予測器は、同一の推定された微分項（ $\frac{dt}{dt}u^{old}$ ）を共有します。これにより、最適化を不安定にする微分差の項が排除されます。
条件付き速度の方向: 有限差分の方向には、学習対象の瞬時速度 $\hat{v}_\theta$ ではなく、フォワードプロセスの条件付き速度 $v_t$ （追加コストなしで利用可能）を使用しており、これが安定性を向上させています。

3. 主な貢献

MeanFlowに対する初のフォワードプロセスRL: MeanFlowNFTは、MeanFlowジェネレーターにフォワードプロセスRLを適用した初のフレームワークです。誘導された瞬時速度予測器にDiffusionNFTスタイルの目的関数を適用することで、基礎となる平均速度を効果的に最適化することに成功しました。
理論的保証: 著者らは、理想的な設定において、最適な誘導予測器がDiffusionNFTの改善されたポリシーターゲットを回収することを証明しています。さらに、このポリシー改善が平均速度ネットワークに確実に転移し、MeanFlowのポリシーが厳密に向上することを証明しています。
効率性と性能: 本手法は、DiffusionNFTの尤度フリーかつソルバーに依存しない性質を維持しつつ、MeanFlowの数ステップサンプリングの効率性を保持しています。

4. 実験結果

実験は画像生成（Stable Diffusion 3.5-Medium）および動画生成（Wan2.1 1.3B）を用いて行われました。

画像生成 (SD3.5-M): MeanFlowNFT（4ステップ）は、数ステップのベースライン（DMD, CDM, AnyFlow）および最新の数ステップRL手法（Rdm, RTDMD）を一貫して上回りました。特筆すべきは、6つの指標（ImageReward, CLIPScore, OCRなど）において、40ステップのDiffusionNFTベースラインと同等またはそれ以上の結果を達成しながら、関数評価回数を10倍削減したことです。
動画生成 (Wan2.1): わずか4回のサンプリングステップで、MeanFlowNFTは7つの指標のうち5つにおいて、数ステップモデルの中で最高の結果を達成しました。また、50ステップのLongCat-Video RLベースラインをすべての報告された指標（例：VBenchスコア 84.33 対 82.57）で上回りました。
テスト時スケーリング: 本モデルは、サンプリングステップ数が増加するにつれて（2から32まで）、一貫した性能向上を示します。ステップ数に関わらずレイアウトやコンテンツの高い一貫性を維持しており、AnyFlowベースラインよりもステップ間の一貫性において優れています。

5. 意義と主張

本論文は、MeanFlowNFTが平均速度ジェネレーターの効率性と、フォワードプロセスRLによるアライメント能力の間のギャップを正常に埋めたことを主張しています。最適化（瞬時空間）とサンプリング（平均空間）をデカップリングすることで、本手法はMeanFlowの速度上の利点を損なうことなく、優れた数ステップ生成を可能にします。

著者らは、MeanFlowNFTが高性能を得るためにマルチステップのRLチューニング済みモデルが必要であるという概念に疑問を投げかけ、既存の数ステップジェネレーターを凌駕することを示しています。結果は、正しい理論的架け橋（MeanFlow恒等式）があれば、数ステップモデルが品質と効率の両面でマルチステップのRLチューニング済み拡散モデルを上回り得ることを示唆しています。この研究は基礎的な一歩として提示されており、著者らは、提案した誘導予測器の構成が他のフローマップモデル（例：コンシステンシー・トラジェクトリー・モデル）や他のフォワードプロセスRL目的関数にも拡張できる可能性があると述べていますが、これらは今後の課題として残されています。