🤖 machine learning

Velocity Scheduled Flow Matching

本論文は、標準的なフロー・マッチングにおける一定速度の仮定を緩和し、推論時に学習済みモデルを再利用するか、あるいは特定の制動プロファイルを用いてゼロから学習することにより、最適化された積分スケジュールを通じてサンプリングコストの削減と生成品質（FID）の向上を実現する、速度スケジューリング・フロー・マッチング（VSFM）という手法を提案する。

原著者： Vitalii Bondar

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vitalii Bondar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

完璧な猫の絵を描こうとしているところを想像してください。しかし、あなたはまず、砂嵐が流れるテレビ画面のような状態からスタートします。AI画像生成の世界では、「フロー・マッチング（Flow Matching）」と呼ばれる人気のある手法があり、それはこの変化のためのGPSのような役割を果たします。フロー・マッチングは、ニューラルネットワークに対し、ぼやけたノイズから鮮明な猫へと、一歩ずつ導く方法を教えます。

長い間、誰もが、このGPSはぼやけたスタート地点から鮮明な終着点まで、一定の速度で移動するように指示すべきだと考えてきました。それは、車道でアクセルを踏んだりブレーキをかけたりすることなく、ただ一定の速度で巡航し続ける、直線道路を走る車のようです。

しかし、この論文の中で、ヴィタリー・ボンダール（Vitalii Bondar）は、シンプルで遊び心のある問いを投げかけます：「もし、一定の速度で走らなくてもいいとしたら？」 もし、道が滑らかな時はスピードを上げ、道が曲がりくねって危険な時はスピードを落とすことができたらどうでしょうか？

大きなアイデア：加速と減速

著者は、「速度スケジューリング・フロー・マッチング（Velocity Scheduled Flow Matching: VSFM）」と呼ばれる新しい手法を紹介しています。画像を一定のペースで動かすことを強制する代わりに、VSFMでは「速度プロファイル」を選択できます。AIに対して、旅の初期の混沌とした部分では急いで進み、最終的な詳細な画像に近づくにつれて、優しくブレーキをかけるように指示できるのです。

ジェットコースターを想像してみてください。

従来の方法（リニア）： 電車は駅から丘の頂上、そして下りにかけて、一定の退屈な速度で移動します。
新しい方法（VSFM）： 電車は最初の丘を猛スピードで駆け上がり（そこでは線路が単純です）、鋭く曲がりくねったループが底部にある直前には、ゆっくりと這うような速度まで減速します（精度が最も重要になる場所です）。

「魔法」のトリック：再学習は不要

ここがこの発見の最も素晴らしい部分です。これらの新しい速度プロファイルを使用するために、AIをゼロから再学習させる必要はないことを著者は発見しました。もし、すでに一定の速度で走ることを学んだ学習済みのAIを持っているなら、単に、どのように動くかを指示する「スケジュール」を変更するだけでよいのです。

これは、ルートをすでに知っているカーナビアプリを持っているようなものです。道路を作り直したり、アプリに運転の仕方を教え直したりする必要はありません。ただ、「前半は高速レーンを使って、出口では速度を落として」と伝えるだけです。この論文は、非一様な時間スケジュールに基づいてAIの指示を統合するだけで、追加のコンピューター学習時間を一銭も費やすことなく、より優れた画像を得られることを示しています。

結果：減速が救世主に

著者は、32x32ピクセルの画像データセットであるCIFAR-10を用いてテストを行いました。彼らは、モーションプランニング（ロボットやアニメーターが物体を滑らかに動かす方法など）から引き出された6つの異なる「速度プロファイル」を試しました。

結果は、FID（Fréchet Inception Distance）と呼ばれるスコアで測定されました。数値が低いほど、より高品質でリアルな画像であることを意味します。

「コースティング（滑走）」プロファイル： このプロファイルは、速く始まり、緩やかに減速します。これを既存のモデルに推論時（画像を生成する際）に適用したところ、FIDが最大で**19.8%**低下しました。これは、品質における劇的な向上です！
ゼロからの学習： 著者がこの「コースティング」速度を用いて新しいモデルを特別に学習させた場合、わずか4ステップ（非常に高速な生成）でFIDが**17.4%低下し、50ステップでは10.4%**低下しました。

なぜこれが機能するのか？（「曲がりくねった道」の比喩）

論文では、これを「局所的な打ち切り誤差（local truncation error）」という概念を用いて説明しています。あなたが道を歩いていて、大きな歩幅で進んでいると想像してください。

平坦で真っ直ぐな道（画像の初期のノイズ部分）では、大きな歩幅でも問題ありません。何も見逃すことはありません。
鋭く急なカーブがある道（画像の細部が形成される最終段階）では、大きな歩幅で進むと、つまずいて曲がり角を外してしまいます。

「リニア（線形）」な手法（一定速度）は、あらゆる場所で同じサイズのステップを踏むことを強制します。しかし、「ブレーキ」プロファイル（「コースティング」や「一様減速」など）は、道が曲がりくねる時（旅の終盤）に、小さく慎重なステップを踏むように指示します。

論文は、「スムーズ・ランディング（滑らかな着陸）」プロファイル（非常に唐突に停止するもの）が、いくつかのケースで失敗した理由についても述べています。なぜなら、それは最初の方で巨大なステップを踏んでエネルギーを無駄にし、その後、最後の数ステップにすべての精度を詰め込もうとしたからです。「コースティング」プロファイルが最も効果的だったのは、それが完璧なバランスを見つけたからです。つまり、緩やかなスタートと、スムーズで慎重なフィニッシュを見つけたのです。

論文が「そうではない」と述べていること

著者は、この手法が何に該当しないのかについても注意深く指摘しています。

これは、AIが画像自体をどのように学習するかという数学的仕組み（「結合」や「補間体」は、変わらず真っ直ぐな線のままです）を変更することではありません。
これは、AIにさらに多くの層を追加したり、ネットワークを大きくしたりすることではありません。
これは魔法によって機能するのではなく、コンピュータがステップを計算する方法（オイラー積分器）の特定の数学的仕組みによって機能するものです。

どれほど確かなのか？

論文は、これらの数値がCIFAR-10における実際の実験によって測定されたものであるため、非常に高い自信を持っています。

**19.8%**の改善は、公開されている学習済みモデルにこの手法を適用した際に観察されました。
**17.4%**の改善は、ゼロから新しいモデルを学習させた際に測定されました。
著者は、これがコンピュータがエラーを計算する特定の方法によるものだと示唆していますが、これはあくまで局所的な説明（一度に一歩ずつの挙動を見るもの）であり、よりグローバルな挙リズムや、より大規模で複雑な画像（高解像度の写真など）においてどのように振る舞うかを正確に証明するには、さらなる研究が必要であることを認めています。

要約すると、この論文は、AIに対して「ゴールに近づいたら速度を落として」と伝えるだけで、追加の学習コストをかけることなく、大幅に優れた画像を、より速く得られることを示唆しています。これは、旅全体をよりスムーズにするための、スケジュールに対するシンプルな調整なのです。

技術要約：速度スケジューリング・フロー・マッチング (VSFM)

問題提起

フロー・マッチングは、ノイズ $x_0$ とデータ $x_1$ の間の線形補間における条件付き速度をニューラルネットワーク $v_\theta(x, t)$ に回帰させるように学習する、連続時間生成モデリングのフレームワークである。標準的なフロー・マッチングは、補間を直線 $x_t = x_0 + t(x_1 - x_0)$ に固定しており、これは暗黙的に、軌道を終始一定の速度で移動することをサンプラーに強いるものである。

サンプリングのコストは、常微分方程式（ODE） $dx/dt = v_\theta(x, t)$ を積分するために必要な関数評価回数（NFE）によって決定される。低NFE領域（例：4〜50ステップ）では、オイラー法のような単純な積分器を用いて軌道を効率的に辿る必要がある。本論文は、一定速度の仮定は恣意的な設計上の選択であり、特に速度場が最も激しく変化するデータ多様体の近傍における離散化誤差の特性と一致していない可能性があると主張している。

手法

1. 一般化された学習ターゲット

著者らは、条件付きターゲットを一定の変位から時変の形式へと一般化した**速度スケジューリング・フロー・マッチング（VSFM）**を導入する：
$u_t(x | x_0, x_1) = v(t) \cdot (x_1 - x_0)$
ここで、 $v: [0, 1] \to \mathbb{R}_{\ge 0}$ は、 $\int_0^1 v(t) dt = 1$ を満たす非負の速度プロファイルである。この制約により、総変位は $x_1 - x_0$ のまま維持され、 $v(t)$ は移動速度を制御する。

学習目的関数は、移動プロファイル $\alpha(t) = \int_0^t v(s) ds$ によって決定される位置 $x_t$ において、一定の大きさを持つ変位 $(x_1 - x_0)$ を回帰する：
$L_{VSF M}(\theta) = \mathbb{E}_{t, x_0, x_1} \left[ \| v_\theta(x_t, t) - (x_1 - x_0) \|^2 \right]$
極めて重要な点は、速度プロファイル $v(t)$ が、損失の大きさの重み付けとしてではなく、位置 $x_t$ の分布を通じてのみ学習に影響を与えることである。これにより、 $t=1$ 付近での $v(t)^2$ による重み付けに伴う数値的不安定性が回避される。

2. 多項式速度プロファイル

本研究では、運動計画の境界値問題から導出された6つの多項式プロファイルを用いてVSFMを具体化している：

ベースライン: 線形 ( $v(t)=1$ )。
制動（Braking）サブファミリー: 単調減少する速度（一様減速、コースティング、スムーズ・ランディング）。これらは $t=0$ 付近で高速に移動し、 $t=1$ で停止するように減速する。
対称（Symmetric）サブファミリー: 両端で速度がゼロになる（イーズイン・アウト、最小ジャーク）。

3. 推論時の再スケジューリング（学習不要）

主要な貢献は、事前学習済みの線形フロー・マッチング・モデルに対して、再学習なしで任意の許容可能なプロファイルを適用できることである。

メカニズム: 事前学習されたモデル $v_\theta$ は、線形軌道 $x_\tau = x_0 + \tau(x_1 - x_0)$ 上で学習されている。新しいプロファイルの下でサンプリングするために、著者らは適応された場 $\tilde{v}(x, t) = v(t) v_\theta(x, \alpha(t))$ を定義する。
実装: 変数変換 $\tau = \alpha(t)$ により、ODEは $dx/d\tau = v_\theta(x, \tau)$ となる。サンプラーは、非一様なグリッド $\tau_i = \alpha(i/N)$ 上でこのODEを積分する。
アルゴリズム: 更新ステップは $x_{i+1} = x_i + v_\theta(x_i, \tau_i) \cdot \Delta \tau_i$ である。ここで $\Delta \tau_i = \alpha((i+1)/N) - \alpha(i/N)$ である。これは、実質的に非一様な時間グリッド上で標準的なオイラー・サンプラーを実行することと同義である。

4. 離散化誤差の分析

論文は、性能向上をオイラー積分器の局所打ち切り誤差に帰属させている。ステップ $i$ における誤差は $(\Delta \tau_i)^2 \cdot \frac{d^2x}{d\tau^2}$ に比例する。

$\frac{d^2x}{d\tau^2}$ （場の変化）は、速度場が最も非線形となる $\tau=1$ （データ多様体）の近傍で最大となる。
制動プロファイルは $\tau=1$ 付近で小さな $\Delta \tau_i$ （小さなステップ）を割り当てることで、主要な誤差源を抑制する。
対称プロファイルは中間地点に大きなステップを集中させるが、これはノイズからデータへの生成において、端点がクリティカルな非線形性を持つ場合には効果が低い。

主な結果

実験は、クラス条件付きUNetと固定ステップのオイラー積分器を用い、CIFAR-10 (32x32) に対して行われた。

1. スクラッチからの学習

**コースティング（Coasting）**プロファイルの下での学習が最良の結果をもたらした：

4 NFE: FIDが**17.4%**減少（ベースラインの42.86に対し35.39）。
50 NFE: FIDが**10.4%**減少（ベースラインの9.25に対し8.29）。
一様減速もベースラインより改善したが、スムーズ・ランディングは、初期のステップが大きすぎるため、低NFEでは性能が低下した。
対称プロファイルは高NFEでわずかな利得を示したが、低NFEではベースラインに劣った。

2. 推論時の適応（学習不要）

公開されているTorchCFMのチェックポイント（線形学習済み）に、再学習なしでコースティングプロファイルを適用した場合：

50 NFE: FIDが**19.8%**減少（ベースラインの5.47に対し4.38）。
32 NFE: FIDが**18.6%**減少（ベースラインの6.43に対し5.23）。
100 NFE: 一様減速が最良のFID（3.89, -16.0%）を達成した。
スムーズ・ランディングは、32 NFEにおいて（大きな初期ステップが打ち切り誤差を導入するため）当初は性能が悪化したが（7.43 vs 6.43）、より高いNFE予算では改善した。

意義と主張

本論文は、速度プロファイルが、フロー・マッチングにおける数ステップのサンプリングを改善するためのシンプルかつ低コストなレバーであると主張している。主な意義は以下の2点にある：

学習不要の適応: 線形フロー・マッチングの事前学習済みモデルを、追加の学習やアーキテクチャの変更を必要とせず、単に積分スケジュール（速度プロファイル）を変更するだけで、特定のNFE予算に合わせて最適化できることを示している。
理論的洞察: 標準的なフロー・マッチングにおける一定速度の仮定が、オイラー積分においては最適ではないことを特定した。ステップサイズを局所的な打ち切り誤差に合わせて調整することで（すなわち、場の変化が激しい場所でステップを小さくすることで）、特に低NFE領域において顕著な品質向上を実現できる。

著者らは、これらの知見がオイラー積分器およびノイズからデータへの生成タスクに特有のものであると注記している。画像から画像へのタスク（ソースが構造化されている場合）や、主要な打ち切り誤差を相殺する高次ソルバーを使用する場合では、結果が異なる可能性があることを示唆している。本研究はCIFAR-10と多項式プロファイルに限定されており、より高解像度のデータセットでの再現や、学習された（あるいは非多項式の）プロファイルの探索が今後の課題であるとしている。