技術要約：シミュレーションフリーかつ有限時間での拡散モデル

問題提起

生成拡散モデルは様々な領域で最先端の性能を達成しているが、シミュレーションフリーな学習と有限時間での生成の間にある根本的なトレードオフに直面している。

• シミュレーションフリーな学習は、参照となる確率微分方程式（SDE）をシミュレートすることなく学習目的関数を評価することを可能にし、計算コストを大幅に削減する。従来のスコアベースモデル（SBM）は、参照としてオルンシュタイン＝ウーレンベック（OU）過程を用いることでこれを実現している。しかし、OU過程は漸近的（$T \to \infty$）にのみ事前分布に近づくため、高次元データに対して有限時間での生成を行うには非効率または不正確になる。
• 有限時間での生成は、参照プロセスが規定された有限の時間ホライゾン内で、経験的なデータ分布と事前分布を接続する必要がある。シュレディンガー・ブリッジのような手法はこの目的を達成するが、対応するフォッカー・プランク方程式が解析的に困難であるため、一般に学習中に参照SDEのシミュレーション（例：暗黙的スコアマッチング経由）を必要とする。

本研究が取り組む核心的な課題は、これら両方の特性を同時に満たす参照プロセスを構築することである。すなわち、参照SDEのシミュレーションなしで学習を可能にしつつ、固定された有限時間内に事前分布と経験分布を接続するプロセスを構築することである。

手法

著者らは、従来の設計手順を逆転させるフレームワークを提案している。まず参照SDEを指定して誘導される分布を分析するのではなく、まず扱いやすい時刻依存の条件付き分布の族 $\{\rho_t\}_{t \in [0,1]}$ を規定し、その後にこれらの分布を周辺分布として実現する参照SDEを構築する。

1. 参照プロセスの構築

$\mu$ を経験分布、$\pi$ を事前分布とする。著者らは、以下の条件を満たす条件付き分布の族 $\rho_t(z|x)$ を定義する：

1. 正則性: $\rho_t$ は時間および空間に関して $C^{1,2}$ である。
2. 扱いやすさ: $\rho_t(\cdot|x)$ からのサンプリングが直接可能である。
3. 境界条件: 誘導される周辺分布 $p_t(z) = \int \rho_t(z|x)\mu(x)dx$ は、$p_0 = \pi$ および $p_1 = \mu$ を満たす。

これらの条件に基づき、著者らは $\rho_t$ がフォッカー・プランク方程式を満たすような係数 $\alpha(t, z, x)$（条件付きドリフト）および $b(t, z)$（拡散係数）を導出する：
$$\partial_t \rho_t = -\nabla_z \cdot [\alpha(t, z, x)\rho_t] + \frac{1}{2} \sum_{i,j} \partial_{z_i}\partial_{z_j} [\Gamma_{ij}(t, z)\rho_t]$$
ここで $\Gamma = bb^\top$ である。参照プロセス $P$ は、以下のSDEによって定義される：
$$dZ_t = a(t, Z_t)dt + b(t, Z_t)dW_t, \quad Z_0 \sim p_0$$
ここで、ドリフト $a(t, z)$ は $\rho_t$ に関する $\alpha$ の期待値である。

2. シミュレーションフリーの目的関数

ギルサノフの定理を適用することで、参照プロセス $P$ と生成プロセス $Q_\theta$ の間のパス空間カルバック・ライブラー（KL）ダイバージェンスを再定式化できる。決定的なことは、$\rho_t$ が規定されており扱いやすいため、参照SDEをシミュレートすることなく目的関数を評価できる点である：
$$L_{SF}(\theta) = \frac{1}{2n} \sum_{i=1}^n \int_0^1 dt \, \mathbb{E}_{Z \sim \rho_t(\cdot|x_i)} \left[ \| \alpha(t, Z, x_i) - s_\theta(t, Z) \|_{\Gamma(t, Z)^{-1}}^2 \right]$$
この目的関数は、$\rho_t$ からの直接的なサンプリングと条件付きドリフト $\alpha$ にのみ依存しており、周辺分布 $p_t$ のスコア（通常、時間反転が必要であり、有限時間のブリッジにおいては困難である）を必要としない。

3. 実践的な構成

本論文では、2つのケースについて具体的な構成を提供している：

• ガウス事前分布: $\rho_t$ は、時刻依存の平均と分散を持つガウス分布として選択される。これは、デノイジング・スコアマッチングに似た形式を、有限時間ホライゾンにおいて実現するものである。
• 非ガウス事前分布: 「プッシュフォワード」構成が用いられる。定常分布 $\pi$ を持つベースとなる拡散プロセスが、時刻依存の滑らかな全単射 $\phi^x_t$ によって変換される。これにより、本フレームワークは、シミュレーションフリーの特性を維持したまま、重い裾を持つ事前分布や非ガウス事前分布（例：JohnsonのSU分布）を扱うことが可能となる。

主な貢献

1. 統一されたフレームワーク: 本論文は、シミュレーションフリーな学習と有限時間での生成を同時に達成する一般的なフレームワークを導入し、従来の拡散モデルに内在するトレードオフを解決している。
2. スコアマッチングの再解釈: 著者らは、スコアマッチングが拡散モデルの学習において基本的（ファンダメンタル）なものではないことを示している。むしろ、それはデータから事前分布への方向における参照プロセスから自然に生じる結果である。生成方向（事前分布からデータへ）に直接参照プロセスを構築することで、学習目的関数は時間反転から導かれるスコア関数に依存しなくなる。
3. Flow Matchingとの関連性: 本論文は、条件付きフローマッチング（CFM）が、提案された確率的フレームワークの微小ノイズ極限（$\epsilon \to 0$）であることを示している。これは、確率的拡散モデルと決定論的なフローベースモデルの間の理論的なつながりを提供し、CFMがパス空間KL目的関数の決定論的極限として見なせることを明らかにしている。
4. 非ガウス事前分布: 手法はプッシュフォワード構成を通じて非ガウス事前分布にも拡張されており、標準的なガウス仮定を超えた柔軟性を実証している。

結果

著者らは、標準的なガウス事前分布およびJohnsonのSU（重い裾を持つ）事前分布を用い、2次元のトイデータセット（ガウス混合、スパイラル、チェッカーボード、および2つの月型）を用いて数値実験を行った。

• 性能: 提案手法は、両方の事前分布タイプにおいて、すべてのデータセットの定性的な構造を正常に学習した。
• 効率性: 収束と離散化誤差のバランスを取るために時間ホライゾン $T$ を調整する必要がある標準的なSBMとは異なり、提案手法は固定された区間 $[0, 1]$ で動作する。実験の結果、提案手法は $T$ のチューニングを必要とせずに高品質な生成を実現したが、SBMにおける不適切な $T$ の選択はサンプル品質を低下させた。
• 比較: 結果は、大きな時間ホライゾン（$T=10$）を持つ標準的な分散保存型SBM（VP-SBM）と同等であったが、長いシミュレーション時間に伴う計算オーバーヘッドや、$T$ の選択に対する敏感さを伴わなかった。

意義と主張

本論文は、既存の拡散モデルに対する構造的な再解釈を提供すると主張している。「SDEを指定 $\to$ 分布を分析する」という設計パラダイムから、「分布を指定 $\to$ SDEを導出する」へとシフトすることで、著者らは以下を明らかにしている：

• SBMにおけるスコアマッチングへの依存は、参照プロセスを生成方向と一致させるために必要な時間反転の手順による副産物である。
• 確率的拡散モデルと決定論的なフローマッチングの区別は、ノイズレベルの問題であり、CFMは提案されたKLベースの確率的目的関数の決定論的極限である。

本研究は、条件付き分布 $\{\rho_t\}$ の設計が、生成の質に直接影響を与える、極めて重要でありながら未開拓な側面であることを示唆している。著者らは、彼らの構成原理が、従来のアプローチのような計算上のボトルネックを伴わずに、効率的な有限時間拡散モデルを設計するための堅牢な道筋を提供すると結論付けている。