技術的サマリー：拡散モデル、スコアベースモデル、フローマッチング生成モデルの統一測度論的視点

問題定義

生成モデルは、$\mathbb{R}^d$ 上の複雑なデータ分布 $\rho_{\text{data}}$ からサンプルを生成するメカニズムを学習することを目的とする。過去 10 年間で、変分オートエンコーダ（VAE）、敵対的生成ネットワーク（GAN）、および正規化フローなど、異なるパラダイムが登場してきたが、近年の進展は、単純な参照分布（例えばガウス分布）を時間依存の力学系を通じてデータ分布へと進化させる手法に収束している。

この分野は、密接に関連しながらも表記法が異なるいくつかのファミリーに分裂している。

1. 拡散モデル: 離散時間マルコフ連鎖（DDPM）または連続時間確率微分方程式（SDE）を通じて導入されることが多い。
2. スコアベースモデル: SDE の時間反転を通じて定式化され、スコア関数（$\nabla \log \rho_t$）の推定に依存する。
3. フローマッチング: 指定された確率経路に対して回帰することで速度場を直接学習する手法であり、明示的なスコア推定を迂回することが多い。

本調査が扱う主要な課題は、これらの手法間の関係性、同等性、および相違点を明確にする統一された枠組みの欠如である。文献は、断片化した表記法、競合する導出（離散対連続、確率的対決定論的）、および設計選択（経路、場、サンプリャ）が理論的保証と実用的性能（安定性、サンプリング速度、尤度計算）にどのように影響するかに関する不明瞭さに悩まされている。

手法：統一測度論的枠組み

著者は、拡散、スコアベース、およびフローマッチングモデルを確率輸送の事例として解釈する統一された技術的視点を提案する。この枠組みは、以下の 3 つの中核的な設計選択に基づいている。

1. 確率経路 $(\mu_t)_{t \in [0,1]}$

すべての手法は、ターゲットデータ分布 $\mu_0$ と扱いやすい参照分布 $\mu_1$（通常はガウス分布）を接続する中間分布の族を定義する。

• 拡散/スコア: 経路は、前方のノイズ付加プロセス（離散マルコフ連鎖または連続 SDE のいずれか）の周辺分布として暗黙的に定義される。
• フローマッチング: 経路は、結合 $\pi(x_0, x_1)$ と補間規則（例えばアフィン補間）を通じて明示的に定義される。これにより、経路は固定された拡散の副産物ではなく、直接的なモデル化の選択となる。

2. 学習された場

手法は、輸送を駆動するために学習するベクトル場によって異なる。

• スコア場 ($s_\theta$): スコアベースモデルおよび拡散モデルで使用される。スコアは $s_t(x) = \nabla_x \log \rho_t(x)$ と定義される。この場は、ノイズ除去スコアマッチング（DSM）またはノイズ予測目的を通じて学習される。
• 速度場 ($v_\theta$): フローマッチングおよび連続正規化フロー（CNF）で使用される。この場は、連続の方程式を通じて決定論的輸送を定義する。フローマッチングにおいて、速度は端点条件付きの経路微分 $\dot{x}_t$ に対して回帰することで学習される。

3. サンプリング力学

生成は、$t=1$ から $t=0$ への輸送を反転させることで行われる。

• 時間反転 SDE: 時間反転理論から導出された確率的サンプリャであり、スコア場を必要とする。
• 確率フロー ODE: 前方 SDE と同じ 1 回時点周辺分布を共有するように構成された決定論的サンプリャである。これは $v_{\text{PF}}(x, t) = f(x, t) - \frac{1}{2}g(t)^2 s_t(x)$ という速度場を誘起する。
• 直接 ODE: フローマッチングにおいて、学習された速度場が直接 ODE サンプリャを定義する。

数学的統一

本論文は、測度論的言語を用いて形式的な同等性を確立する。

• 周辺分布の同等性: 確率フロー ODE と前方 SDE は、経路測度（軌道上の分布）を異にするものの、同じ 1 回時点周辺分布の族 $(\mu_t)$ を誘起する。
• 目的関数の同等性: DDPM ノイズ予測損失、ノイズ除去スコアマッチング（DSM）、および連続時間スコア SDE 目的関数は、重み付きスコア回帰問題であることが示される。これらは同じ統計的対象（摂動された周辺分布のスコア）を推定するが、パラメータ化（ノイズ対スコアの予測）および時間依存重み付けにおいて異なる。
• フローマッチングの最適性: 条件付きフローマッチング損失（端点条件付き経路微分に対する回帰）の集団最小化解は、指定された経路の連続の方程式を満たす周辺速度場 $v^*(x, t) = \mathbb{E}[\dot{x}_t \mid x_t = x, t]$ である。

主要な貢献

本論文は、以下の 4 つの主要な貢献を行う。

1. 統一された輸送視点: 拡散、スコアベース、およびフローマッチング手法を、SDE/ODE 力学およびそれに関連する偏微分方程式（フォッカー・プランク方程式および連続の方程式）を用いた確率輸送の共通枠組み内で提示する。
2. サンプリャの同等性マップ: 時間反転 SDE サンプリングと決定論的確率フロー ODE サンプリングの関係を明確にする。これらは同じ 1 回時点周辺分布（したがって同じターゲット分布）を共有するが、経路空間での振る舞いと数値的特性（例えば剛性、離散化誤差）において異なることを特定する。
3. 学習目的関数の統一視点: DDPM 様式の損失、ノイズ除去スコアマッチング、および連続時間スコア SDE 目的関数を、重み付きスコア回帰問題として関連付ける。さらに、これらを指定された確率経路下での速度回帰としてのフローマッチングと結びつけ、多くの「異なる」損失が、同じ基礎的な推定問題の再パラメータ化であることを実証する。
4. 理論と実践の架け橋: 近似、推定、離散化、および経路不一致の効果を、共通の誤差分解に整理する。この視点は、経路設計、頑健性、条件付け、および高速サンプリングにおける未解決の問題を浮き彫りにする。

結果と理論的洞察

本論文は新しい実験結果を提示するものではないが、既存の理論的結果を統合して構造的結論を導き出す。

• スコア対速度: スコアパラメータ化は拡散の時間反転にとって自然であるのに対し、速度パラメータ化は決定論的輸送にとって自然であり、より直接的な数値制御を提供する。
• 経路設計というノブ: 確率経路の選択（拡散におけるノイズスケジューリング、フローマッチングにおける結合/補間）は、数値的安定性とサンプリング効率の主要な決定要因である。「直線化された」経路（Rectified Flow など）は剛性を低減し、粗い離散化を可能にする。
• 誤差源: 生成誤差は以下に分解される。
  1. 近似誤差: 真の場を表現するニューラルネットワークの能力。
  2. 推定誤差: 有限データおよび最適化の限界。
  3. 離散化誤差: SDE/ODE の求解から生じる数値バイアス。
  4. 経路不一致: 学習経路とサンプリング力学の間の不一致。
• 尤度計算: 確率フロー ODE は、瞬間変数変換の公式を通じて尤度計算を可能にし、拡散モデルを尤度ベースの正規化フローと接続する。ただし、スコア近似および数値積分誤差のため、実際にはしばしば近似となる。

意義と主張

著者は、拡散、スコアベース、およびフローベースの手法の境界が曖昧になっているこれらの分野の方法的収束により、統一された調査が時機を得たものであると主張する。この研究の意義は以下の点にある。

• 断片化の解消: 文献における「断片化した表記法と競合する導出」に対処し、多くの手法が主に経路の選択、学習された場（スコア対速度）、およびサンプリング力学（SDE 対 ODE）の違いによってのみ異なることを示す。
• 実用的重要性: 手法を学習された力学として捉えることは、数値解析を重要にする。離散化バイアス、剛性、およびソルバの選択は、サンプルの品質とコストに実質的に影響を与える。特に、条件付け制約が誤差を増幅する可能性のある逆問題において顕著である。
• 理論的明確さ: 測度論的視点を採用することで、終点法則の等価性、1 回時点周辺分布の等価性、および経路測度の等価性を区別する。これにより、形式的な類似性（例えば、SDE と ODE サンプリャが周辺分布を共有するが経路測度は共有しないこと）の過剰な解釈を防ぐ。
• 将来の方向性: 統一された視点は、原理的な経路設計、結合された学習・サンプリング分析、および非ユークリッド空間または離散空間への一般化といった未解決の問題が、特定の手法の孤立した課題ではなく、すべてのパラダイムに共通する課題であることを示唆する。

本論文は、拡散、スコアベースモデル、およびフローマッチングが、確率輸送の補完的なパラメータ化であると結論づける。経路の直線化（フローマッチングにおける）などの進展は、これらが場、経路、およびソルバという共通の言語内で分析される限り、他の分野にも情報を提供すると考えられる。