技術要約：ドリフティングによる生成モデリング

問題提起

生成モデリングの本質的な課題は、事前分布 $p_{prior}$（例：ガウスノイズ）のプッシュフォワードがデータ分布 $p_{data}$ に一致するように、写像 $f$ を学習することである。すなわち、$f\#p_{prior} \approx p_{data}$ である。拡散モデルやフローマッチングといった既存のパラダイムは、複雑なプッシュフォワード写像を、実行可能な一連の変換へと分解することで、推論時に反復的にサンプルを洗練させることでこれを達成しているが、このアプローチはサンプルごとに多数のニューラルネットワーク評価（NFE）を必要とし、高い計算コストを招く。

ワンステップの生成器を作成しようとする既存の試みは、学習済みのマルチステップモデルを蒸留するか、学習中に確率微分方程式（SDE）または常微分方程式（ODE）の軌道を近似することに依存していることが多い。著者らは、反復プロセスを推論から学習時へと根本的にシフトさせ、SDE/ODEの定式化に頼ることなく、単一のニューラル関数評価（1-NFE）による高品質な生成を可能にする新しいパラダイムを提案する。

手法：ドリフティングモデル（Drifting Models）

核心となる貢献は、生成モデリングを、学習プロセスそのものにおけるプッシュフォワード分布の進化として定式化するドリフティングモデルである。

1. 学習時の進化

学習を、単に静的な損失を最小化するために重みを更新することと捉えるのではなく、反復的な最適化（例：SGD）によって生成されるモデルのシーケンス $\{f_i\}$ を、一連のプッシュフォワード分布 $\{q_i\}$ と見なす。各イテレーションにおいて、サンプル $x_i = f_i(\epsilon)$ は、パラメータの更新によって $x_{i+1} = f_{i+1}(\epsilon)$ へと暗黙的に「ドリフト（漂流）」する。目標は、このドリフトが自然に分布 $q$ を $p_{data}$ へと導くメカニズムを定義することである。

2. ドリフティング・フィールド（Drifting Field）

この進化を制御するために、著者らはドリフティング・フィールド $V_{p,q}(x)$ を導入する。これは、現在の生成分布 $q$ とターゲットとなるデータ分布 $p$ に基づいて、サンプル $x$ の変位ベクトル $\Delta x$ を計算する関数である。

• 平衡条件： このフィールドは、$p = q$ の場合にのみ $V_{p,q}(x) = 0$ となるように設計されている。分布が一致したとき、サンプルはドリフトを停止し、平衡状態に達する。
• 反対称性： フィールドは $V_{p,q}(x) = -V_{q,p}(x)$ を満たす。この性質により、分布が入れ替わるとドリフトの方向が反転し、$p=q$ のときに $V=0$ となることが保証される。

3. 引力と斥力による具体化

本論文で使用される具体的なドリフティング・フィールドは、平均シフト（mean-shift）アルゴリズムに着想を得ており、$p$ からの正のサンプルと $q$ からの負のサンプルを用いて構築される：
$$V_{p,q}(x) = V^+_p(x) - V^-_q(x)$$
ここで：

• $V^+_p(x)$ は、$x$ をデータ分布 $p$ へ引き寄せる引力である。
• $V^-_q(x)$ は、$x$ を生成分布 $q$ から遠ざける斥力である。
• これらの力は、カーネル関数 $k(x, y)$（具体的には $\ell_2$ 距離に基づく指数カーネル）を用いて計算され、安定性を確保するためにソフトマックス演算を通じて正規化される。

4. 学習目的関数

学習目的関数は、平衡時における不動点関係 $f(\epsilon) = f(\epsilon) + V_{p,q}(f(\epsilon))$ から導出される。損失関数は、現在の予測と「凍結されたターゲット」（予測値にドリフトを加えたもの）との間の距離を最小化する：
$$L = \mathbb{E}_{\epsilon} \left[ \| f_\theta(\epsilon) - \text{stopgrad}(f_\theta(\epsilon) + V_{p,q}(f_\theta(\epsilon))) \|^2 \right]$$
この定式化により、オプティマイザはサンプルをドリフトさせたバージョンへと移動させることで、分布を進化させることができる。決定的なのは、勾配が分布 $q$ 自体に対してバックプロパゲーションされないことであり、これにより分布の微分に伴う複雑さを回避している。

5. 特徴空間とガイダンス

• 特徴空間： 高次元データを扱うため、ドリフティング損失は、学習済みの自己教師ありエンコーダ（例：ResNet型のMAE）を用いた特徴空間で計算される。これにより、意味的に類似したサンプルが近くに保たれ、より豊かな勾配信号が得られる。
• Classifier-Free Guidance (CFG)： 本手法は、学習中に無条件のデータサンプルを負のサンプル分布に混合することで、CFGを自然にサポートしており、再学習なしで制御可能な生成を可能にする。

主な貢献

1. 新しいパラダイム： プッシュフォワード分布が学習中に進化するフレームワークである「ドリフティングモデル」を導入し、推論時の反復の必要性を排除した。
2. ドリフティング・フィールド： データへの引力と現在の生成からの斥力によって制御され、生成分布とデータ分布が一致したときに平衡に達する、新しい損失メカニズムを提案した。
3. 最先端のワンステップ生成： 単一パスのネットワークが、マルチステップの拡散モデルやフローベースのモデルと同等、あるいはそれ以上の性能を達成できることを示した。
4. モード崩壊に対する堅牢性： トイ実験により、本手法はモード崩壊に対して堅牢であることが示唆されている。生成分布があるモードに崩壊した場合でも、データ分布内の他のモードからの引力がドリフトを継続させ、分布を進化させるよう押し続ける。

実験結果

著者らは、潜在空間およびピクセル空間の両方において、ImageKit 256×256 でドリフティングモデルを評価している。

• 潜在空間： 標準的なSD-VAEトークナイザを使用し、モデルは 1-NFE FID 1.54（より大きなL/2モデル）を達成した。これは、従来のすべてのワンステップ手法（例：iMeanFlow, AdvFlow）を上回り、マルチステップの拡散モデル（例：250ステップのSiT-XL/2によるFID 2.06）に匹敵する。
• ピクセル空間： 潜在トークナイザを使用せずに、モデルは 1-NFE FID 1.61 を達成した。これは、従来のピクセル空間におけるワンステップ手法（例：StyleGAN-XLのFID 2.30）を大幅に上回り、マルチステップのピクセル空間モデルとも競合する。
• ロボット制御： 拡散ポリシー（Diffusion Policy）の設定において、ワンステップのドリフティングモデルは、様々なロボット操作タスクにおいて、マルチステップの拡散ポリシー（100 NFE）と同等またはそれを上回る性能を発揮した。

意義と主張

本論文は、高品質で効率的な生成モデリングのための新たな機会を切り開くと主張している。反復的なニューラルネットワークの学習を、分布の進化メカニズムとして再定義することで、本研究は生成タスクにおけるSDE/ODE定式化の必要性に疑問を投げかけている。

著者らは、本手法が以下の特性を持つことを強調している：

• 自然に ワンステップ推論（1-NFE） を許容し、デプロイ時の計算コストを大幅に削減する。
• 学習済みのマルチステップモデルからの蒸留に依存せず、ゼロから学習する。
• 拡散やフローマッチングとは概念的に異なる代替案を提供し、推論時ではなく、学習時の更新ルール（$x_{i+1} = x_i + \Delta x_i$）に焦点を当てている。

著者らは理論的な保証については謙虚な姿勢を保っており、$p=q \implies V=0$ は証明されているものの、その逆（$V \to 0 \implies p \to q$）は経験的であり、特定の非退化性の仮定の下でのみ成立するものであり、任意のベクトル場に対して保証されるわけではないと述べている。彼らは、本研究を、分布進化メカニズムの他の実現方法を探求するための出発点と捉えている。