技術的サマリー：保守的フロー

問題定義

現代の生成モデルは、主に輸送のパラダイムによって定義されています。すなわち、単純な参照分布（通常はガウスノイズ）から複雑なデータ分布への写像を学習することです。スコアベースおよびフローベースの拡散モデルは、前方のノイズ付加プロセスを逆転させることで最先端の結果を達成していますが、このアプローチは本質的に、中間分布のファミリー全体にわたるグローバルな輸送写像の学習を必要とします。

著者らは、これらのモデルで使用される連続時間ダイナミクスの離散化における根本的な限界を特定しました。具体的には、連続時間ランジュバンダイナミクスは理論的には目標データ分布 $p$ を不変測度として保持しますが、その明示的な離散時間近似（例えば、Unadjusted Langevin Algorithm: ULA）は、それを正確に保持することができません。離散化誤差により、生成されたサンプルは時間経過とともに真のデータ多様体から逸脱し、生成プロセスが各ステップでデータ分布内に留まるという要件を破綻させます。

さらに、著者らは、拡張検索システムや潜在生成パイプラインなど、多くの実用的な設定において、生成が必ずしも「情報を持たない」ノイズ状態から始まるわけではないと論じます。代わりに、妥当な初期状態は、検索されたデータ点、最近傍、あるいは既に目標分布の近くまたは上に存在する潜在コードの形で存在し得ます。本論文は、そのようなシナリオにおいては、輸送（ノイズからデータへ）から不変性（データからデータへ）へのパラダイムシフトの方が、より自然かつ効率的であると提唱します。

手法

本論文は、Conservative Flows（保守的フロー）を提案します。これは、データ分布を不変に保つ離散確率ダイナミクスによって生成を行うフレームワークです。システムはデータ支持状態（$x_0 \sim p$）から初期化され、各ステップで確率法則を保持しながら進化します（すべての $j \ge 1$ に対して $x_j \sim p$）。

このフレームワークは、既存の事前学習済みフローマッチングモデルを再学習なしで直接上回る、2 つの異なる確率保存サンプリングメカニズムを導入します。

1. 修正ランジュバンダイナミクス（dMALA）

この手法は、明示的な密度 $p(x)$ が利用できない生成モデル向けに、Metropolis-Adjusted Langevin Algorithm (MALA) を適応させたものです。

• メカニズム: 学習されたスコア場 $s_\theta$ を利用するか、より実用的には、ノイズ観測からクリーンなサンプルを予測するように訓練されたデノイザー $D_\sigma$ を利用します。このデノイザーは、フローマッチング訓練で使用されたブリッジから直接導出されます。
• 修正: 不変性を回復するため、メトロポリス・ヘイスティングス修正を採用します。未知の対数密度差 $\log p(y) - \log p(x)$ を必要とする代わりに、現在の状態 $x$ と提案 $y$ の間の経路に沿って、保守的スコア場（またはデノイザーの残差）の線積分を使用します。
• 不変性の対象: このメカニズムは、ガウス平滑化分布 $p_\sigma = p * \mathcal{N}(0, \sigma^2 I)$ を保持します。ここで、$\sigma$ はデノイザーのノイズレベルによって決定されます。
• 効率性: 台形則で線積分を近似することで、受理率はデノイザーの二乗残差の関数に簡略化され、ステップあたりデノイザーの評価を 2 回のみ必要とします。

2. プレディクター・コレクターフロー

この手法は、平滑化されたバージョンではなく、元のデータ分布 $p$ を直接対象とします。

• メカニズム: 2 段階のプロセスとして動作します。
  1. プレディクター: 現在のサンプル $x \sim p$ に制御された量のノイズを加え、中間の「ブリッジ」分布 $p_\tau$（ここで $\tau < 1$）へ移動させます。
  2. コレクター: 学習されたフロー写像（または直接解写像）を適用し、ノイズの付いたサンプルをデータ分布 $p$（時間 $t=1$）へ輸送します。
• 不変性: 正確なフローモデルの下では、このカーネルは厳密に確率を保存します。この手法は、フローモデルがサンプルをブリッジからデータ多様体へ正確に写像する能力に依存します。
• 柔軟性: dMALA の局所的な受理/拒否の性質とは異なり、このアプローチは、一時的に多様体から外れ、学習されたフローを通じて戻ることで、より大きく非局所的な移動を可能にします。

主要な貢献

1. パラダイムシフト: 本論文は、生成モデルを「ノイズからの輸送」から「データ分布の定常的プロービング」へと再定義します。中心的な対象は、データ支持状態から初期化され、関連する法則を保存する確率ダイナミクスです。
2. 2 つの確率保存メカニズム: 著者らは、標準的なランジュバンダイナミクスおよびフローベース生成の離散化誤差を修正する、2 つの特定のサンプリング器（dMALA およびプレディクター・コレクター）を開発し、定式化しました。
3. 事前学習モデルの再利用: 重要な実用的な貢献として、どちらのメカニズムもゼロから新しい生成モデルを訓練する必要がないことです。両方とも、既存の事前学習済みフローマッチングチェックポイント（SoFlow、SiT など）から、必要なスコア、デノイザー、またはフロー写像を直接抽出できます。
4. 理論的修正: 本論文は、離散ランジュバンダイナミクスが目標法則を保持しないという失敗を明示的に扱い、線積分とブリッジフローによる修正のための数学的導出を提供します。

実験結果

このフレームワークは、合成スイスロールターゲット、ImageNet-256、Oxford Flowers-102 上で検証されました。

• 合成ターゲット（スイスロール）: 実験により、標準的な ULA は目標分布から逸脱するのに対し、修正されたダイナミクス（dMALA）およびプレディクター・コレクターフローは正しい多様体上に留まり、長い連鎖にわたって分布を保持することが示されました。
• ImageNet-256:
  • 両方の手法は、事前学習済みのバックボーン（SoFlow-XL/2-cond および SiT-REPA-XL）のベースラインサンプリング器を一貫して上回りました。
  • dMALA は、特に小さな平滑化レベル（$\sigma=0.3$）において、最低の Frechet Inception Distance (FID) スコアを達成し、データ分布への高い忠実度を示しました。
  • プレディクター・コレクター は、より高い Inception Score (IS) と Precision を達成し、より多様で明確なサンプルを生成することを示唆しましたが、いくつかの構成では dMALA よりもわずかに高い FID を示しました。
  • 長連鎖の挙動: 両方の手法は、連鎖長さ（$K$）の増加に伴い、事前学習済みバックボーンにおける近似誤差の蓄積と一致して、優雅に劣化しましたが、ベースラインよりも著しく優れた性能を維持しました。
• 計算効率: プレディクター・コレクター手法は、直接の ODE 積分と競合することが示されました。例えば、プレディクター・コレクター手法の 200 回ネットワーク関数評価（NFEs）は、同じバックボーンの 800 ステップ前方オイラー積分（FID 6.51）よりも低い FID（4.91）を達成しました。

意義と主張

著者らは、この研究を生成モデルのための新しいパラダイムとして位置づけています。ノイズをデータへ変換することから、学習されたダイナミクス下でデータ分布を維持することへと目標をシフトさせることで、このフレームワークは以下を可能にすると主張しています。

• 忠実なサンプル変異: プロセスをデータ多様体の高確率領域に留めることによる。
• 向上したデータ忠実度: 標準的なランジュバンダイナミクスを悩ませる離散化誤差の修正を通じて。
• 効率的な再利用: 再学習なしで既存の事前学習済みモデルを強化する能力。

本論文は、サンプリング器の有効性が、基盤となる事前学習済みフローまたはスコアベースモデルの品質に縛られるという限界を控えめに認め、スコアモデルの近似誤差は繰り返しカーネル適用を通じて蓄積され得ると指摘しています。さらに、現在の検証は連続ドメイン（画像）に限定されており、テキスト生成などの離散ドメインへのパラダイムの拡張は将来の課題として特定されています。著者らは、彼らの貢献が、逆ノイズ付加ではなく定常的プロービングを中心に組織化された生成フレームワークへの保存原理の統合であることを強調しています。