技術要約：二次のドリフティング・モデル（Second Order Drifting Models）

問題提起

ドリフティング・モデルは、フローベースや拡散モデルが推論時に数百回のニューラル関数評価（NFE）を必要とするという計算上の非効率性を解決するために設計された、一歩（one-step）生成モデルの一種である。ドリフティング・モデルは、分布適合のプロセスを訓練フェーズへと移行させることで、一歩での生成を可能にするが、根本的なスペクトル・ボトルネックに直面する。

一次のドリフティング・モデルの訓練ダイナミクスは、カーネルに基づくドリフト場によって支配されている。先行研究 [49] で示されているように、このカーネル平滑化はフーリエ領域においてローパスフィルタとして作用する。その結果、生成される分布のターゲット分布への収束は、周波数に依存することになる：

• 低周波モードは急速に収束する。
• 高周波モード（微細な構造）は、指数関数的に、あるいは（ガウスカーネルの場合は指数関数的に、ラプラシアンカーネルの場合は多項式的に）極めて緩やかに減衰する。

この「スペクトル剛性（spectral stiffness）」はボトルネックとなり、モデルが一歩での推論という効率性を維持しつつも、データ分布の微細な特徴を正確に捉えることを困難にしている。これが、一歩での推論の効率性にもかかわらず、生成サンプルの忠実度を制限する要因となっている。

手法：二次のドリフティング・モデル

著者らは、一歩での推論を犠牲にすることなく、このスペクトル剛性を緩和するために、補助的な速度変数を導入することで、ダイナミクスを構成空間から位相空間（phase space）へと引き上げる二次のドリフティング・モデルを提案している。

1. 位相空間の定式化

サンプル位置 $x$ を一次の常微分方程式（ODE） $\dot{x} = V_{p,q}(x)$ によって直接進化させる代わりに、本モデルは速度 $v$ を導入し、ダイナミクスを以下の二次のシステムとして定義する：
$$\begin{cases} \frac{dx}{dt} = v \\ \frac{dv}{dt} = V_{p,q}(x) - \gamma(t)v \end{cases}$$
ここで、$V_{p,q}(x)$ は標準的なカーネルベースのドリフト場であり、$\gamma(t)$ は時間依存の減衰係数である。

2. ネステロフ加速との理論的関連性

著者らは、密度残差 $\rho_t = q_t - p$ の線形化されたダイナミクスをフーリエ領域で分析している。

• 一次の場合： 残差は $\partial_t \hat{\rho}_t(\omega) = \lambda(\omega)\hat{\rho}_t(\omega)$ として進化する。ここで $\lambda(\omega)$ はカーネルのスペクトルによって決定される。小さい $|\lambda(\omega)|$（高周波）は、収束の遅延を招く。
• 二次の場合： 提案されたダイナミクスは、フーリエ空間における以下の二次のODEを導く：
  $$\partial^2_t \hat{\rho}_t(\omega) + \frac{\alpha}{t} \partial_t \hat{\rho}_t(\omega) - \lambda(\omega)\hat{\rho}_t(\omega) = 0$$
  この方程式は、**ネステロフの加速勾配法（Nesterov's accelerated gradient method）**の連続時間極限に対応している。慣性の導入により、システムはカーネルのスペクトル剛性を克服し、高周波モードの減衰を加速させることができる。著者らは、一定の減衰（ヘビーボール法）も助けにはなるものの、すべての周波数を同時に臨界減衰させることはできないため、時間依存の減衰スケジュール（$\alpha/t$）を採用していると述べている。

3. セミインプリシット（半暗黙的）訓練アルゴリズム

これを実用的に実装するために、著者らは粒子ダイナミクスのためのセミインプリシットな離散化を導出している：

1. 速度の更新： $v^{(i)}_{n+1} = (1 - \frac{\alpha}{n+1})v^{(i)}_n + \eta_1 \cdot V_{p,q_n}(x^{(i)}_n)$
2. 位置の更新： $x^{(i)}_{n+1} = x^{(i)}_n + \eta_2 \cdot v^{(i)}_{n+1}$

訓練中、ネットワーク $f_\theta$ は、元のドリフティング・モデルと同様に、ドリフト対象に対してストップグラディエント操作を用いながら、初期ノイズ入力と $N$ ステップの慣性ドリフト後の最終位置との間の損失を最小化するように更新される。極めて重要な点は、推論時にはモデルが依然として**一歩の生成器（1-NFE）**であり、ノイズからデータへ直接マッピングを行うことである。

主な貢献

1. 加速の観点： 本論文は、一次のドリフティングにおけるスペクトル不均衡がローパスバイアスであることを特定し、これに対抗するためにモメンタムを導入した。
2. 二次のダイナミクス： カーネルの制約的なスペクトルから収束率を理論的に切り離す、ネステロフ加速を回収するフーリエダイナミクスを備えた位相空間の定式化を提案した。
3. アルゴリズムと検証： 一歩での推論特性を維持しながら、収束性、安定性、および高周波の忠実度を経験的に向上させる実用的なセミインプリシット訓練アルゴリズムを開発した。

実験結果

著者らは4つの異なるドメインでこの手法を評価し、一貫して一次のドリフティング・ベースラインに対する改善を示した：

• 合成分布適合（Swiss Roll）： 急峻な曲率の追跡を必要とする2Dスイスロール多様体において、二次のモデルはより低いKLダイバージェンスとMMDを達成した。フーリエ解析により、一次のベースラインと比較して高周波モードにおける誤差が大幅に減少していることが確認された。
• 画像生成（MNIST）： Diffusion Transformerバックボーンを使用し、二次のモデルは、1-NFEの推論を維持しながら、より低いFréchet Inception Distance（FID: 48.2 vs. 59.5）を達成した。
• 時系列データ生成（動的システム）： LorenzおよびFitzHugh–Nagumoシステムにおいて、モデルはイベント条件付き分布における低いKLダイバージェンスによって示される通り、優れた軌道生成品質を実証した。
• ロボット制御： 操作タスク（Can, Tool Hang, Lift）において、二次のポリシーはDiffusion Policyや一次のDrifting Policyと同等またはそれ以上の成功率を達成したが、訓練エポック数は大幅に少なかった（例：Canタスクにおいて16エポック vs. 3050エポック）。

意義と主張

本論文は、二次のドリフティング・モデルが、カーネル駆動型の生成フローに固有のスペクトル剛性を緩和するための原理的なメカニズムを提供すると主張している。ドリフティング・モデルを最適化理論（特にネステロフ加速）に結びつけることで、本研究は、なぜ慣性を加えることが訓練ダイナミクスを改善するのかについて理論的な正当性を与えている。

著者らは、このアプローチが訓練の効率性（微細な詳細の高速な収束）と推論の効率性（単一ステップの生成）の間のギャップをうまく埋めるものであることを強調している。彼らは、この手法を既存のドリフティング・フレームワークに対するシンプルかつ効果的な拡張として位置づけており、反復的な推論の計算コストを負うことなく、複雑な構造の高精度な再構成を必要とするタスクにおいて性能を向上させている。

限界： 著者らは、現在の定式化は主にドリフティング・モデルの訓練ダイナミクスを加速するために設計されていることを控えめに述べている。この特定の二次のリフティングをより広範な生成フレームワークのクラスに適用できるかどうかは、今後の研究課題である。