技術的サマリー：EDDY – 発散フリーなダイナミクスによる正確な周辺分散化

問題定義

拡散モデルやフローマッチングモデルは、画像、分子、テキストなどのモダリティにわたる強力な生成ツールとして確立されています。サンプルの品質を向上させるための一般的な推論時戦略はガイダンスであり、ここではドリフト項が条件や制約を満たすように調整されます。しかし、同じ条件に対して複数のサンプルを生成する場合、標準的な独立同一分布（I.I.D.）サンプリングは多様性が低く、出力が類似したモードの周りにクラスタリングする傾向があります。

この多様性の欠如に対処する既存の手法は、通常、サンプル間の相互作用を導入します。例えば、初期ノイズ潜在変数の最適化や、サンプリング中の反発ポテンシャルの追加などが挙げられます。これらのアプローチは多様性を高めることができますが、本論文は決定的な欠陥を指摘しています。それらはしばしば個々のサンプルの周辺分布を歪ませるという点です。この歪みは、多様性の増加がサンプルの忠実度の低下を代償とするトレードオフをもたらします。具体的には、目に見えるアーティファクト、プロンプトへの従順性の低下、または知覚的な劣化として現れます。核心的な課題は、条件付き分布の異なるモードを探索することを促す粒子ベースの多様性を導入しつつ、いかなる単一サンプルのターゲット周辺分布も変更しないようにすること、そして理想的には追加の学習を必要としないことです。

手法：EDDY

著者は、Fokker–Planck 方程式（FPE）の対称性を活用する学習不要のガイダンス機構であるEDDY（Divergence-free dYnamics による Exact-marginal Diversification）を提案します。

理論的基盤

この手法は、確率密度 $p_t$ の進化を支配する FPE が非自明な対称性を持つという観察に基づいています。具体的には、特定のドリフト摂動が粒子の軌道を変化させることなく、変化する周辺密度を変更しないことが可能です。

• FPE の対称性: 著者は行列 Stein 作用素を利用します。滑らかで反対称的な行列場 $A$ から作用素 $A_p(A) = \text{div}(A) + A\nabla \log p$ を通じてドリフト摂動 $\psi_t$ が構成される場合、結果としての FPE は変化しないことを証明しています。その結果、複数の相互作用する粒子の結合分布が変更されたとしても、すべての時間 $t$ において周辺分布 $p_t$ は保存されます。

アルゴリズムの構築

EDDY は、この原理をインスタンス化し、粒子間の反発相互作用を誘起しつつ周辺保存を維持するガイダンス場を構築します。

1. ペアごとの反対称行列: 各粒子ペア $(x_i, x_j)$ に対して、類似カーネル $k$ から導出された反発方向 $r^{(ij)} = -\nabla k(x_i, x_j)$ と、ベクトル $v^{(j)}$（通常は粒子 $j$ のドリフトまたはスコア）を用いて反対称行列 $A^{(ij)}$ を構成します。
   $$A^{(ij)} = r^{(ij)} \otimes v^{(j)} - v^{(j)} \otimes r^{(ij)}$$
2. 発散フリーなドリフト: 粒子 $i$ に対するガイダンス項は、これら行列に対して Stein 作用素をすべての近傍粒子に適用したものの平均です。
   $$\psi_i^{\text{EDDY}} = \frac{1}{n-1} \sum_{j \neq i} A_p(A^{(ij)})$$
   これにより、局所的に発散フリーな輸送場（したがって「EDDY」という名称）が生成され、粒子を互いに押し離して多様性を高めつつ、理論的に単一粒子の周辺が $p_t$ のまま保たれることが保証されます。

高次元における実用的な近似

テキストから画像への生成などの高次元設定では、発散項に必要なカーネルの正確な 2 階微分の計算は計算量的に実行不可能です。EDDY は、2 つの実用的な近似を採用します。

• 有限差分: ヘッセ行列 - ベクトル積の近似に使用されます。
• Hutchinson トレース推定: ラプラシアン項の近似に使用されます。
  これらの近似により、本手法は生ピクセル空間ではなく、知覚的特徴空間（例：DINO または CLIP 埋め込み）で動作することが可能になります。これらの近似により、理論的な意味での周辺保存は厳密ではなくなりますが、著者は、この手法が証明可能な周辺保存場の有限サンプル推定量として機能すると主張しています。

計算コストをさらに削減するため、ガイダンスはサンプリング軌道の初期段階、つまり高ノイズ部分（例：ステップの最初の 20%）でのみ適用されます。

主要な貢献

本論文は、4 つの主要な貢献を概説しています。

1. 理論的特定: 基礎となる周辺分布を保存する粒子ガイダンス機構を可能にする FPE の対称性の特定と証明。
2. カーネルベースの構築: これらの対称性と互換性のある反発相互作用を誘起するために、反対称ペア行列を用いた特定の構築法の導入。
3. スケーラブルな近似: 特徴空間カーネルの使用を可能にする実用的な近似（有限差分および Hutchinson 推定量）の開発により、テキストから画像への生成などの高次元タスクに本手法を適用可能にすること。
4. 実証的検証: 合成分布および最新のテキストから画像へのモデル（FLUX.1-dev および SDXL）での評価により、ベースラインと比較して分布の忠実度を維持しつつ多様性が向上することを示しています。

実験結果

著者は、EDDY を独立同一分布（I.I.D.）サンプリング、Particle Guidance（PG）、Condition-Annealed Diffusion Sampling（CADS）と比較評価しました。

• 合成 2 次元ガウス混合: 2 次元ガウス混合において、EDDY-RBF（正確な RBF カーネルを使用）は、モードのカバレッジ（多様性）を成功裡に増加させると同時に、周辺分布が I.I.D. ベースラインと区別できないことを確認する統計的検定（コルモゴロフ・スミルノフ検定、マン・ホイットニー検定、ウェルチの t 検定）をパスしました。
• テキストから画像への生成:
  • 多様性対忠実度: EDDY は、PG よりも一貫して優れたパレートフロントを達成します。一致した多様性レベル（DINO ペアワイズ類似度で測定）において、EDDY はより高いプロンプト整合性（CLIPScore）および優れた審美性スコアをもたらします。
  • アーティファクトの低減: 多様性を追求する際に PG がしばしば深刻な視覚的アーティファクト（例：歪んだ構造）を導入するのに対し、EDDY はフォトリアリズムを維持します。劣化が生じる場合でも、構造的アーティファクトではなく、軽度のぼやけとして現れます。
  • CADS との比較: CADS は条件信号を摂動させることで多様性を向上させますが、プロンプトへの従順性を著しく低下させます。EDDY は多様性を増加させつつ、強力なプロンプト忠実度を維持します。
  • テストされたモデル: 実験は、フローマッチングモデルである FLUX.1-dev と、拡散モデルである Stable Diffusion XL に対して行われました。

意義と主張

本論文は、EDDY が多様な条件付き生成に向けた原理的な道筋を提供すると主張しています。Fokker–Planck 方程式の対称性を活用することで、既存の反発サンプリング手法が抱える多様性と忠実度の間のトレードオフを解きほぐします。

著者は、EDDY が学習不要であり、ポテンシャル関数や重要度重みの学習に依存する手法とは異なり、追加のモデル学習を必要としないことを強調しています。本手法は計算オーバーヘッド（カーネル評価と近似により FLUX.1-dev 上で約 25% の実行時間増加）を伴いますが、著者は、競合する手法で見られる深刻なアーティファクトなしに高品質で多様なサンプルを達成するために、これは必要なコストであると主張しています。この研究は、周辺分布を保存することが、条件付き分布のモードを探索しながら生成出力の品質を維持するための重要な制約であることを示唆しています。