💻 computer science

VDE: Training-Free Accelerating Rectified Flow Model via Velocity Decomposition and Estimation

本論文は、静的なキャッシュ特徴を再利用するのではなく、速度成分を分解して推定することで推論速度を向上させる、整流フローモデル向けのトレーニング不要な加速手法 VDE を紹介し、これにより視覚品質のわずかな低下で大幅な加速を実現する。

原著者： Junwen Tan, Jinglin Liang, Hongyuan Chen, Shuangping Huang

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

原著者： Junwen Tan, Jinglin Liang, Hongyuan Chen, Shuangping Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑な絵、例えば賑やかな街並みを描こうとしていると想像してください。ただし、それは一筆一筆、小さな筆致で描かなければなりません。完璧な結果を得るためには、各筆致のたびに作業を確認し、絵の具を調整する50のステップを踏む必要があるかもしれません。これには長い時間がかかります。

現代のAI画像・動画生成器（整流流モデルと呼ばれる）は、まさにこのように動作します。彼らは驚くほど才能ある芸術家ですが、画像を生成するために非常に多くの小さなステップを踏むため、非常に遅いのです。

この論文は、**VDE（Velocity Decomposition and Estimation：速度分解と推定）**という新しいトリックを紹介しています。これにより、AI芸術家は作品の質を損なうことなく、はるかに速く作業できるようになります。その仕組みを、簡単な比喩を用いて説明しましょう。

従来の方法：「凍結された設計図」

従来の手法は、前のステップからの描画の一部をキャッシュ（保存）し、それを再利用することで速度向上を図ろうとしていました。

比喩: あなたが道を進んでいると想像してください。従来の方法は、「10秒前にいた場所からの地図をコピーして、道が変わっていないと仮定する」と言います。
問題点: 世界は動的です。角を曲がったり、景色が変わったりすれば、その古い地図はもはや正しくありません。AIは現在の絵に合わなくなった古い特徴を再利用しようと試みるため、ぼやけたテクスチャや奇妙な歪みが生じます。まるで、昨日あなたに合ったサイズのコートを今日も着ようとするようなものです。昨日のサイズが今日も合うとは限りません。

新しい方法（VDE）：「賢いナビゲーター」

著者たちは、古い地図をコピーするのではなく、AIが自身の動きを2つの単純な部分に分解することで、次にどこへ向かうかを予測できることに気づきました。

AIの動き（その「速度」）を、道路を走る車だと考えてください。VDEはこの動きを2つの成分に分割します。

「前方への」推進力（平行成分）: これは車がまっすぐ前に進む分量です。
- 発見: この論文は、この「前方への推進力」が非常に滑らかで予測可能に変化することを発見しました。車の加速のように、過去2秒間の速度がわかれば、単純な数学（直線を引くようなもの）を使って、次の1秒間の速度を簡単に推測できます。
- トリック: エンジン全体を再計算するのではなく、VDEは直前の数ステップに基づいて素早い数学的推測を行うだけです。
「横方向への」流され（直交成分）: これは車が進路を維持するために行う微妙な左右の調整です。
- 発見: この論文は、短い期間においては、この「横方向への流され」がほとんど変化しないことを発見しました。まるで、数秒間ステアリングホイールが全く同じ位置に留まっているようなものです。
- トリック: VDEは、この「横方向」の方向を再計算することなく、数ステップにわたって再利用するだけです。

実際の VDE の動作

VDE は**「チェックインと推定」**という戦略を使用します。

アンカー（チェックイン）: 数ステップごとに、AI は完璧な実データを得るために、完全で遅い計算を行います。これはドライバーがGPSを確認し、先の道路を確認するために停車するようなものです。
推定（ショートカット）: その間のステップでは、AI は重労働を行いません。代わりに、「前方への」数学的推測と「横方向への」再利用を使用して、次のステップを瞬時に算出します。
結果: AI は重い作業をスキップし、以前よりも2〜3倍速くなります。

なぜ優れているのか

この論文は、画像と動画の生成において、3つの異なるAIモデル（Flux、Qwen-Image、Wan2.1）でこれをテストしました。

速度: AI を2〜3倍高速化しました。例えば、作成に12秒かかっていた画像が、約4秒で完了するようになりました。
品質: VDE は、古い静的な地図ではなく、現在の入力（車が今実際に走っている道路）に基づいて動きを計算するため、絵は遅い高品質版とほぼ同じように見えます。
比較: 単に古い部分を「再利用」する他の手法は、しばしばぼやけたり破損したりした画像（伸びた顔や溶けたテクスチャなど）をもたらします。VDE は詳細を鮮明に保ちます。

まとめ

この論文は、AI の動きを「予測可能な前方部分」と「安定した横方向部分」に分解することで、AI が不要な重計算を行うのをやめさせると主張しています。盲目的に古い作業をコピーする代わりに、AI は賢く軽量な数学を用いて次のステップを推測し、高品質な画像や動画を時間の数分の一で生成できるようにします。

技術概要：速度分解と推定によるトレーニング不要な整流流モデルの加速（VDE）

1. 問題定義

整流流（Rectified Flow: RF）モデルは、画像、動画、3D 生成において最先端のパフォーマンスを達成しています。しかし、通常数十回の反復サンプリングステップを必要とするため、高い推論遅延が実用的な展開を妨げています。

既存のトレーニング不要な加速手法は、主に「キャッシュと再利用」のパラダイムに依存しています。これらのアプローチは、以前のステップからの中間特徴（例えば、アテンション出力や残差）を保存し、冗長な計算をスキップするために再利用します。著者は、この戦略に根本的な欠陥があることを特定しました：「キャッシュと入力の不一致」です。キャッシュされた特徴は静的である一方、モデルの入力はサンプリング軌道中に動的に変化するため、古くなった特徴を再利用すると、出力と入力の不一致が生じます。この不一致は誤差を伝播させ、テクスチャの軟化や構造的な不整合など、視覚的忠実度の低下を招きます。

2. 手法：速度分解と推定（VDE）

本論文は、トレーニング不要な手法である「速度分解と推定（Velocity Decomposition and Estimation: VDE）」を提案します。これは、「キャッシュと再利用」から「分解と推定」へと加速パラダイムを転換するものです。静的な特徴を再利用するのではなく、VDE は現在の入力からモデルの速度を直接予測するための軽量な推定関数を構築します。

中核メカニズム

この手法は、現在の潜在入力 $x_t$ に対して分解されたとき、モデルが予測する速度ベクトル $v_t$ が堅牢な時間的規則性を示すという観察に基づいています。

速度分解:
速度 $v_t$ は、以下の 2 つの成分に一意に分解されます：
- 入力 $x_t$ と平行な平行成分。
- $x_t$ に垂直な直交成分。
数学的には、以下のように表されます：
$v_t = \alpha_t x_t + \beta_t \|x_t\| u_t$
ここで：
- $\alpha_t$ と $\beta_t$ はスカラー係数です。
- $u_t$ は直交方向を表す単位ベクトルです（ $u_t \perp x_t$ ）。
時間的規則性（経験的知見）:
広範な分析を通じて、著者はサンプリングの「安定フェーズ」（初期のウォームアップ後）において 2 つの安定したパターンを観察しました：
- 予測可能な係数: スカラー係数 $\alpha_t$ と $\beta_t$ は、連続するステップ間で強い局所的線形性を持って滑らかに変化します。これにより、最近の履歴値からの線形外挿によって、これらを信頼性高く推定できます。
- 安定した直交方向: 単位ベクトル $u_t$ は、短い間隔（コサイン類似度 > 0.99）でほぼ一定に保たれます。これにより、実質的な誤差なしに最も最近の直交方向を再利用することが可能になります。
VDE アルゴリズム:
VDE は「アンカーと推定」モードで動作します：
- アンカーステップ: 周期的な間隔（例： $n$ ステップごと）で、モデルの完全なフォワードパスが実行されます。速度を分解して、真のタプル $(\alpha_t, \beta_t, u_t)$ を取得します。
- 推定ステップ: アンカー間のステップでは、モデル計算なしで速度を推定します：
  - 係数 ( $\hat{\alpha}_t, \hat{\beta}_t$ ): 最も最近の 2 つのアンカーステップからの係数に基づき、線形外挿によって推定されます。
  - 方向 ( $\hat{u}_t$ ): 最も最近のアンカーステップから再利用されます。
  - 合成: 推定された速度 $\hat{v}_t$ は、現在の入力 $x_t$ と推定された成分を用いて解析的に再構成されます：
    $\hat{v}_t = \hat{\alpha}_t x_t + \hat{\beta}_t \|x_t\| \hat{u}_t$

このアプローチは本質的に入力適応的であり、推定された出力が現在の入力 $x_t$ から新たに構築されるため、古くなった特徴への依存を排除します。

3. 主要な貢献

問題の特定: 本論文は、既存のキャッシュベースの加速手法における忠実度損失の根本原因を「キャッシュと入力の不一致」として特定し、トレーニング不要な加速を「入力 - 出力マッピング推定問題」として再定義します。
新たなパラダイム: 静的な特徴の再利用を動的な分解と推定に置き換える VDE を導入します。これにより、古くなったキャッシュに起因する出力 - 入力不一致を根本的に排除します。
経験的発見: 著者は、速度を平行成分と直交成分に分解することで、係数の局所的線形性と方向の安定性という強い時間的規則性が明らかになり、高精度かつ低コストな推定が可能になることを実証しました。
性能: 広範な実験により、VDE が視覚品質の最小限の損失で大幅な高速化（2.04 倍〜3.22 倍）を達成し、TeaCache や EasyCache などの最先端のベースラインを上回ることを示しました。

4. 実験結果

著者は、画像生成モデル（FLUX.1 [dev]、Qwen-Image）と動画生成モデル（Wan2.1）において VDE を評価しました。

画像生成（FLUX.1）:
- VDE-fast は 3.01 倍の高速化（16 NFEs）を達成し、SSIM を 0.7240（EasyCache-fast）から 0.8267 に向上させ、LPIPS を 0.3197 から 0.1997 に削減しました。
- VDE-slow は 2.21 倍の高速化を達成し、T=50 ベースラインとほぼ同等の視覚品質を維持しました。SSIM で最良のベースライン（EasyCache-slow）を 19.5%、PSNR で 30.3% 上回りました。
画像生成（Qwen-Image）:
- VDE-slow は 2.04 倍の高速化を達成し、LPIPS は 0.069 でした。これは最良のベースラインと比較して 52.2% の誤差削減を表します。
- 完全な T=50 ベースラインの ImageReward スコア（1.295）と一致し、高い知覚的忠実度を示しました。
動画生成（Wan2.1）:
- VDE は 2.50 倍の高速化（40 NFEs）を達成し、VBench スコアを 80.43 に維持しました。これは元のモデル（81.30）と同等であり、他の加速手法よりも優れています。
定性的分析: 視覚的比較により、キャッシュ手法はしばしばテクスチャの劣化や構造的な不整合を示すのに対し、VDE は T=50 ベースラインと同等のグローバルな構成や細部（形状、陰影）を保持することが示されました。

5. 意義と主張

本論文は、VDE が生成モデルの加速に対する新たな視点を提供すると主張しています。特徴の再利用から動的推定へと転換することで、現在のトレーニング不要な手法を悩ませているキャッシュと入力の不一致を効果的に緩和します。

著者は、VDE が以下の特性を持つことを強調しています：

トレーニング不要: 追加のデータや最適化サイクルを必要としません。
入力適応的: 現在の入力状態に基づいて出力を構築するため、高い忠実度を保証します。
スケーラブル: 異なる解像度、アスペクト比、モデルアーキテクチャ（DiT ベースの画像および動画モデル）間で良好に一般化します。
効率的: 分解と推定は単純な算術演算のみを含み、スキップされたフォワードパスによる節約と比較して、計算オーバーヘッドは無視できるほど小さいです。

この研究は、VDE が優れた速度と忠実度のトレードオフを提供し、高品質な整流流モデルの実時間または計算制約のあるシナリオにおける実用的な展開を可能にすると結論付けています。