技術的サマリー：確率的生成ダイナミクスの決定論的分解

問題定義

現代の生成モデルは、確率輸送の観点から捉えられることが増えています。そこでは、サンプルが単純な基底分布 $\pi_0$ からターゲットデータ分布 $\pi_1$ へと進化します。決定論的モデル（例：ノーマライジング・フロー、フローマッチング）と確率的モデル（例：拡散モデル）の間には、根本的な違いが存在します。決定論的モデルは速度場によって支配される常微分方程式（ODE）を通じてサンプルを進化させるのに対し、確率的モデルはドリフトと拡散の両方を含む確率微分方程式（SDE）を通じてサンプルを進化させます。

決定論的モデルは扱いやすい速度場を提供する一方で、確率的モデルはより豊かな密度進化を捉えます。しかし、確率的ダイナミクスが確率流 ODE のような決定論的表現に再定式化されると、ドリフト（方向的輸送）と拡散（密度の再整形）という明確なメカニズムが、しばしば単一の有効な速度場に圧縮されてしまいます。この収束により、決定論的進化と確率的揺らぎの具体的な役割が不明瞭になり、サンプリング中にこれらの効果を分析、制御、または独立して再結合することが困難になります。既存のアプローチは、確率性を外部のノイズ源として扱うか、あるいは完全に統合されたドリフトに吸収させており、輸送と拡散誘起効果を分離する構造化された決定論的表現を提供できていません。

手法：輸送 - 浸透分解

著者らは、確率的生成プロセスの決定論的速度場を、2 つの独立した相補的コンポーネント、すなわち輸送場（$u_t$）と浸透場（$d_t$）に分解する理論的枠組みを提案します。

1. 理論的導出

この分解は、確率過程の内在的な双方向構造に由来します。与えられた周辺密度経路 $\{\pi_t\}_{t \in [0,1]}$ に対して、前方ドリフト $b^\to_t$ と後方ドリフト $b^\leftarrow_t$ は、周辺スコア $\nabla \log \pi_t$ を通じて結合されます。標準的な正則性条件下において、その関係は以下の通りです：
$$b^\to_t(x) - b^\leftarrow_t(x) = \beta \nabla \log \pi_t(x)$$
ここで、$\beta$ は拡散係数です。

著者らは、分解を以下のように定義します：

• 輸送場（$u_t$）： 対称成分であり、前方ドリフトと後方ドリフトの平均として定義されます：
  $$u_t(x) = \frac{1}{2} (b^\to_t(x) + b^\leftarrow_t(x))$$
  この場は、連続の方程式（$\partial_t \pi_t + \nabla \cdot (\pi_t u_t) = 0$）を通じて周辺確率輸送を支配します。これはダイナミクスの決定論的骨格を表し、拡散を通じて局所密度幾何学を変化させることなく確率質量を移動させます。
• 浸透場（$d_t$）： 反対称成分であり、前方ドリフトと後方ドリフトの差の半分として定義されます：
  $$d_t(x) = \frac{1}{2} (b^\to_t(x) - b^\leftarrow_t(x)) = \frac{\beta}{2} \nabla \log \pi_t(x)$$
  この場は完全に周辺スコアによって決定されます。これは、古典的拡散理論における浸透速度に類似した、拡散誘起の密度依存効果を捉えます。これはサンプルごとのランダム性を表すのではなく、むしろ拡散が周辺密度をどのように再整形するかを表します。

元の前方ドリフトは、$b^\to_t = u_t + d_t$ として再構成されます。

2. ブリッジマッチング（BM）枠組み

これらの分解された場を学習するために、著者らはブリッジマッチング、すなわちフローベースの学習枠組みを提案します。単一の有効な速度場を学習する代わりに、BM は 2 つの独立したニューラルネットワーク、$u_\theta$（輸送）と $d_\phi$（浸透）を学習します。

学習目的関数は、学習された場をターゲット場と一致させる回帰損失です：
$$\mathcal{L}_{BM} = \mathbb{E}_{t, x_t} \left[ \| u_\theta(x_t, t) - u^*(x_t, t) \|^2 + \lambda_d \| d_\phi(x_t, t) - d^*(x_t, t) \|^2 \right]$$

論文では、ターゲット $u^*$ と $d^*$ を構築するための 2 つの定式化を導入しています：

• 周辺ブリッジマッチング（MBM）： 周辺分解を直接ターゲットとします。輸送ターゲット $u^*$ は、指定された経路に対する連続の方程式を満たし、浸透ターゲット $d^*$ は周辺スコア $\nabla \log \pi_t$ から導出されます。これには、通常カーネル密度推定（KDE）を介した周辺スコアの推定が必要です。
• 条件付きブリッジマッチング（CBM）： 明示的な周辺スコア推定を回避するために、扱いやすい条件付き分布 $p_t(x|z)$（例：端点間のガウス補間）を使用します。ターゲットは条件付きで定義されます：$d^*_t(x, z) = \frac{\beta_t}{2} \nabla_x \log p_t(x|z)$ および $u^*_t = v^*_t - d^*_t$。条件付け変数 $z$ に関する期待値をとることで、周辺分解が回復します。

3. サンプリングと再結合

この枠組みの主要な特徴は、サンプリング時に学習された場を再結合できることです。前方サンプリングダイナミクスは以下のように定義されます：
$$b^{BM}_t(x) = u_\theta(x, t) + \lambda_d d_\phi(x, t)$$
ここで、$\lambda_d$ は調整可能な重みです。これにより、拡散誘起の浸透効果の寄与を輸送骨格とは独立して調整できる、制御可能なサンプリングが可能になります。

主要な貢献

1. 輸送 - 浸透分解： 論文は、確率的生成ダイナミクスの形式的な分解を導出し、決定論的モデルと確率的モデルが共通の周辺輸送骨格（$u_t$）を共有する一方で、拡散誘起効果（$d_t$）がサンプルダイナミクスに統合される方法が異なることを実証しています。
2. ブリッジマッチング枠組み： 著者らは、周辺および条件付き定式化の両方を使用してこれらの分解された場を学習する学習枠組みを提案し、スコアベースの情報をフロースタイルの回帰目的関数と効果的に結びつけています。
3. 制御可能で解釈可能なサンプリング： 実験結果は、学習されたコンポーネントを異なる重み（$\lambda_d$）で再結合することで、生成プロセスに対する解釈可能な制御が可能になることを示しています。$\lambda_d$ を調整することで、生成画像の鮮明さと滑らかさの間のトレードオフが可能となり、特定の 2 次元輸送タスクにおける端点一致が改善されます。

実験結果

著者らは、ブリッジマッチングを 2 次元輸送タスク（チェッカーボード、ムーン、ガウス混合）および画像生成ベンチマーク（CIFAR-10、ImageNet-32、ImageNet-64）で評価しました。

• 2 次元輸送： 2 次元タスクにおいて、BM 変種は標準的なフローマッチング（FM）ベースラインと比較して競争力のある端点一致を達成しました。最適な浸透重み $\lambda_d$ はタスク依存であることが判明しました。複雑なマルチモーダルなターゲットの場合、浸透寄与を増加させることで一致が改善されましたが、より単純な構造の場合、パフォーマンスを低下させる可能性があります。
• 画像生成： CIFAR-10 および ImageNet サブセットにおいて、CBM モデルは CFM-Diffusion ベースラインと同等かそれ以上の生成品質を達成しました。重要なのは、最適な $\lambda_d$ が評価指標（FID、KID、IS）によって異なっていたことです。これは、分解が生成品質の異なる側面間のトレードオフを可能にするメカニズムを提供していることを示唆しています。特に、最良のパフォーマンスが必ずしも $\lambda_d = 1$（理論的再構成）で達成されたわけではないことは、サンプリング時の再結合が有限容量モデルにとって有用な自由度を提供していることを示しています。
• 可視化： ベクトル場の可視化は、$u_t$ が一貫した大規模な輸送を駆動し、$d_t$ が局所密度の再整形を担う構造化された小規模なパターンを示すことを確認しました。粒子レベルのシミュレーションは、$d_t$ が確率経路に沿って軌道をシフトさせるが、グローバルな輸送傾向を支配するわけではないことを示しました。

意義と主張

この論文は、決定論的および確率的生成ダイナミクスに対する統合的な視点を提供すると主張しています。輸送骨格を拡散誘起の密度形成から明示的に分離することで、確率が確率輸送をどのように形成するかについての解釈可能な視点を提供します。

著者らは、この分解が単なる理論的な興味の対象ではなく、制御性のための実用的なツールであると強調しています。これにより、実務家は再学習なしにサンプリング時に「浸透寄与」を調整でき、サンプル特性（例：鮮明さ対滑らかさ）に対する微細な制御が可能になり、中間状態からの一時停止、逆転、または再生などの対話的サンプリング手順を促進する可能性があります。

論文はその範囲について控えめであり、分解が最も直接的に適用されるのは場ベースの生成ダイナミクスであり、独立した場を学習することは追加のモデリングおよび計算オーバーヘッドをもたらすことに言及しています。将来の研究は、このオーバーヘッドを削減しつつ、下流アプリケーションにおける解釈可能性と制御性の利点を維持することに焦点を当てるべきであると示唆されています。