技術的サマリー：CAB（修正 Adams-Bashforth）

問題提起

フローモデルと拡散モデルは、高忠実度な画像および動画合成における支配的なパラダイムとして確立されています。しかし、その実用的な展開は、サンプリング段階における高い計算コストによってしばしば妨げられています。この段階では、学習された逆時間常微分方程式（ODE）を多数のニューラルネットワーク評価（NFE）にわたって数値的に積分する必要があります。トレーニング不要の加速手法は存在しますが、それらは低 NFE 領域（通常 6〜20 ステップ）において重要なトレードオフに直面します。DDIM などの第一階手法は頑健ですが、品質を確保するには多くのステップを必要とし、既存の高次ソルバ（DPM-Solver++、UniPC、STORK など）は、ステップ予算が厳しく制限されている場合に、不安定性、過剰平滑化、または構造的歪みをしばしば引き起こします。さらに、多くの高次ソルバは特定のモデルパラメータ化（例えば、拡散における log-SNR）に依存するか、モデル依存の統計量を必要とするため、フローおよび拡散の両方のアーキテクチャにおける汎用性が制限されています。

手法

著者らは、追加のトレーニングやモデル固有の統計量を必要とせずに、フローモデルと拡散モデルの両方を加速するように設計されたトレーニング不要のサンプリャー**CAB（Corrected Adams-Bashforth）**を提案します。この手法は、以下の 2 つの主要な構成要素からなります。

1. 逆時間 ODE の整流

核心的な理論的洞察は、フローモデルと拡散モデルの両方の逆時間ダイナミクスを共通の座標系に変換できるという点です。状態 $x_t$ を $y_t = x_t / s_t$ に再スケーリングし、ノイズ対信号比 $\rho_t = \sigma_t / s_t$ を用いて時間を再パラメータ化することで、著者らは「整流された」ODE を導出します。この $\rho$ 座標系では、特定のノイズスケジューリング（$s_t, \sigma_t$）によって引き起こされる線形ドリフトが除去され、ダイナミクスは学習されたノイズ場 $\epsilon_\theta$ に直接駆動される単純な形に帰着します：
$$\frac{d\hat{y}_\rho}{d\rho} = \epsilon_\theta(s_t(\rho)\hat{y}_\rho, t(\rho))$$
この変換により、VP、VE、整流フローパスを含む多様なモデルファミリーのサンプリングダイナミクスが、単一の明示的 ODE 定式化の下で統合されます。

2. 修正 Adams-Bashforth 積分

誘導された非一様な $\rho$ グリッド上で、CAB は多段 Adams-Bashforth（AB）予測器を適用します。大きなステップサイズ（低 NFE）における標準的な AB 手法の精度不足に対処するため、CAB は軽量な補正項を導入します。

• 予測: 明示的な AB 予測器（2 次または 3 次）が、過去の速度評価に基づいて次の状態を推定します。
• 補正: この手法は、「外挿欠陥」を計算します。これは、現在の学習された速度と、直前の 2 ステップからの速度の線形ラグランジュ外挿との間の不一致として定義されます。
• 更新: 最終的な更新は、この欠陥に比例する重み付けされた補正項を加算します：
  $$y_{t_{i+1}} = y^{pred}_{t_{i+1}} + \gamma_i h_i (\epsilon_i - \epsilon^{ext}_i)$$
  ここで、$\epsilon^{ext}_i$ は外挿された速度、$\gamma_i$ はモデル固有の重みです。重要なのは、この補正が過去のステップですでに計算された速度評価を利用しており、追加の NFE を 0 で行う点です。

理論的解析により、追加の補正にもかかわらず、この手法は基礎となる Adams-Bashforth ソルバの形式的な収束次数を保持することが証明されています（CAB-2 の場合、大域誤差は 2 次；$\gamma_i = O(h_i)$ の場合、CAB-3 は 3 次）。

主な貢献

1. 統合フレームワーク: CAB は、そのダイナミクスを共通のノイズ対信号座標系に整流することにより、フローマッチングと拡散モデルの両方に適用可能な単一のトレーニング不要サンプリャーを提供します。
2. オーバーヘッドゼロの補正: この手法は、仮想ステップや複雑な複数評価補正に依存する手法とは異なり、追加のネットワーク評価を必要とせずに低 NFE における安定性と精度を向上させる補正メカニズムを導入します。
3. 理論的保証: 著者らは、修正されたスキームが基礎となる Adams-Bashforth 手法の局所打切り誤差と大域収束次数を保持することを示す証明を提供します。
4. 実証的パフォーマンス: 広範な実験により、CAB がさまざまなベンチマークにおいて、困難な 6〜20 ステップの領域で品質と NFE のトレードオフを改善することが示されました。

実験結果

著者らは、CAB を無条件画像生成（CIFAR-10、ImageNet）、クラス条件付き生成（ImageNet 上の DiT）、高解像度テキストから画像への合成（QWEN-Image）、およびテキストから動画への生成（HunyuanVideo）において評価しました。

• 低 NFE 領域（6〜20 ステップ）: CAB は、FID（Fréchet Inception Distance）および知覚的品質の点で、強力なトレーニング不要のベースライン（DDIM、DPM-Solver++、UniPC、STORK）を一貫して上回ります。例えば、DiT/ImageNet において 6 NFE で、CAB-3 は FID 14.81 を達成し、DPM++ の 26.64 や STORK の 51.52 と比較して優れています。
• 定性的改善: 視覚的比較は、CAB がより鮮明なディテールを生成し、構造的完全性（例：顔の特徴、物体の境界）をよりよく保持し、低ステップ設定における競合他社と比較してノイズアーティファクトや過剰平滑化を軽減することを示しています。
• 高解像度および動画: QWEN-Image（1024x1024）において、CAB-3 は 4〜10 NFE で最高の ImageReward スコアを達成します。動画生成（HunyuanVideo）において、CAB-2 は低ステップ数で優れたテキスト - 動画の整合性と時間的整合性を示します。
• 効率性: 実行時間とメモリオーバーヘッドは、標準的な AB ソルバと同様に無視できるレベルであり、補正は保存された過去の評価に依存しているためです。

意義と主張

本論文は、CAB が生成モデリングにおける「低 NFE のジレンマ」に対するシンプルかつ効果的な解決策を提供すると主張しています。ODE ダイナミクスの整流と欠陥補正戦略の適用により、CAB は精度、安定性、および汎用性の間で有利なバランスを達成します。著者らは、この手法が単一の重み $\gamma$ 以外の追加トレーニングやモデル固有のハイパーパラメータチューニングを必要とせず、既存のサンプリャーに対する実用的なドロップイン代替手段であることを強調しています。

この研究は、ODE をノイズ対信号座標に整流することが、学習されたベクトル場を大幅に滑らかにし、より正確な多段積分を容易にすることを示唆しています。この手法は頑健性を向上させますが、著者らは謙虚に限界を認めています：非常に少ないステップ数（例：$N=6$）と非常に曲率の高いダイナミクスを伴う極めて困難な領域では、幾何学的な追跡のズレが発生する可能性があり、これは補正が剛性または急激に変化するシステムに関連する失敗モードを完全に排除するものではないことを示しています。それでもなお、CAB は、リソース制約や遅延に敏感なアプリケーションにおいて、高忠実度な生成モデルをよりアクセスしやすくするための重要な一歩を表しています。