技術要約：初期化は戦いの半分である：ガイダンス・ポテンシャルの事後分布からの多様な画像の生成

1. 問題提起

拡散モデル（Diffusion Models）やフロー・マッチング（Flow Matching）モデルを含む現代の生成モデルは、高い忠実度を誇る一方で、頻繁に**モード崩壊（mode collapse）**に直面する。ランダムシードを変えても、生成されるサンプルが定型的な出力へと収束してしまうことがあり、これが創造的な可能性を制限し、極端な場合には学習データの正確な記憶（memorization）さえ引き起こす。

多様性を高めるための既存の学習不要な戦略の多くは、主に生成の軌跡（trajectory）への介入（例：ガイダンス・スケールの操作や、互いの軌跡を反発させる手法）に焦点を当てている。著者らは、これらのアプローチにおける決定的な見落としを指摘している。それは、標準的な等方性ガウス初期化（$x_T \sim \mathcal{N}(0, I)$）が、ガイダンス・ポテンシャルのランドスケープに対して無頓着であるという点である。幾何学的に、高い条件付きガイダンス・ポテンシャルを持つ領域は、生成フローにおける体積収縮率を高める。その結果、高ポテンシャル領域から初期化された異なる確率的軌跡は、単一の支配的なモードへと引き寄せられ、崩壊を引き起こす。逆に、著者らは、低ポテンシャルの盆地（basin）から初期化することで、軌跡を自然に分岐させ、多様性を維持できるという仮説を立てている。

2. 手法：多様性を誘導する初期化（DivIn）

本論文では、DivInを提案する。これは、初期ノイズの選択を固定された事前分布からの抽出としてではなく、ガイダンス・ポテンシャルの事後分布からのサンプリングとして再定義する、学習不要な推論時手法である。

2.1. 理論的定式化

著者らは、標準的なガウス事前分布を多様性に富む領域へと再重み付けする、ターゲット分布 $p_{\text{diverse}}(x_T | c)$ を以下のように定義する：
$$p_{\text{diverse}}(x_T | c) \propto \exp(-\tau \cdot U(x_T, c)) \cdot p(x_T)$$
ここで：

• $p(x_T)$ は標準的な等方性ガウス事前分布である。
• $\tau$ は、事前分布への適合性と多様性の最大化のトレードオフを制御する温度ハイパーパラメータである。
• $U(x_T, c)$ は、初期化時における条件付きガイダンスの強度を代行（proxy）するガイダンス・ポテンシャルである。

2.2. ガイダンス・ポテンシャルのプロキシ

異なる推論スケジュール（ステップ数の変化など）やアーキテクチャ（Diffusion vs. Flow Matching）に対する堅牢性とプラグアンドプレイの互換性を確保するため、ポテンシャル $U(x_T, c)$ は、一般化されたトウィーディ（Tweedie）ポテンシャルを用いて推定データ空間内で定義される：
$$U(x_T, c) = \|\hat{x}_0(x_T, c) - \hat{x}_0(x_T, \emptyset)\|^2$$
ここで、$\hat{x}_0$ はクリーンなデータの単一ステップ・デノイジング推定値を表す。この指標は、条件付きデノイジング推定と無条件デノイジング推定の間のユークリッド距離を測定する。このポテンシャルを最小化することで、条件付きガイダンスが支配的なモードに対して過度に強い引力を及ぼす初期状態を罰し、ランドスケープのより平坦な領域へと初期化をバイアスさせる。

2.3. ランジュバン動力学によるサンプリング

$p_{\text{diverse}}$ からの直接的なサンプリングは困難であるため、DivInは**ランジュバン動力学（Langevin Dynamics）**を採用し、初期ガウス事前分布からターゲット事後分布へと反復的にサンプルを遷移させる。潜在状態 $x_T$ の反復 $k$ における更新ルールは以下の通りである：
$$x_T^{(k+1)} = x_T^{(k)} - \eta \left( \tau \nabla_{x_T^{(k)}} U(x_T^{(k)}, c) + x_T^{(k)} \right) + \sqrt{2\eta}\xi^{(k)}$$
このメカニズムは、以下の3つの力をバランスさせている：

1. 多様性力 ($-\tau \nabla U$): 潜在変数を高ポテンシャルの盆地から遠ざけ、より平坦な領域へと駆動する。
2. 事前分布制約 ($-x_T$): 潜在変数を元の正規分布の有効な多様体内に繋ぎ止め、多様体外へのドリフトを防ぐ。
3. 確率的ノイズ ($\sqrt{2\eta}\xi$): ノイズを注入することで浅い局所解を脱出し、探索を促進する。

単一の最適なシードを求める決定論的な最適化手法（例：Sharpness-Aware Initialization, SAIL）とは異なり、DivInは分布の事後サンプリングを行うことで、エントロピーを保持し、真の多様性を可能にする。

3. 主な貢献

1. 初期化が決定的な要因であることの特定: 本論文は、モード崩壊が初期化のランドスケープの幾何学、具体的には条件付きガイダンスによって定義される高ポテンシャル領域への軌跡の引き寄せによって、大きく駆動されていることを明らかにしている。
2. ガイダンス・ポテンシャル事後分布の定式化: 著者らは、標準的な事前分布を再重み付けする多様性加重事後分布として最適な初期化を定式化した。これには、推論ステップの変化に対して堅牢であり、DiffusionとFlow Matchingの両方のアーキテクチャを統一する、一般化されたトウィーディ・ポテンシャルを利用している。
3. DivInアルゴリズム: ランジュバン動力学を利用してこの事後分布からサンプリングを行う、プラグアンドプレイ可能な学習不要のアルゴリズム。これは、既存の軌跡ベースの多様性向上手法とは直交するものである。
4. 理論的正当化: 本論文は、高い条件付き鋭さ（曲率）と逆過程中の急速なエントロピー損失を結びつける理論的分析（定理 A.3）を提供し、低ポテンシャル領域からのサンプリングが分布の体積を保持することを証明している。

4. 実験結果

ImageNet-1K（クラス・トゥ・イメージ）および一般的なプロンプト・データセット（テキスト・トゥ・イメージ）を用い、Stable Diffusion v1.4 および Stable Diffusion 3.5 Medium（Flow Matching）を使用して広範な実験を行った。

• 多様性の向上: DivInは、Vendi Score、Recall、Coverageといった多様性指標において、ベースラインの初期化手法（SAILなど）や軌跡ベースの手法（Particle Guidance, CADS, Interval Guidance）を一貫して上回った。
  • ImageNet (SD v1.4) において、DivInはベースモデルの 4.265 に対し、4.688 の Vendi Score を達成し、SAIL (4.549) や軌跡ベースの手法を凌駕した。
  • テキスト・トゥ・イメージ (SD v3.5) では、DivInはベースモデルの 1.803 から 1.864 へと Vendi Score を向上させた。
• 品質の保持: 多様性と引き換えに品質を犠牲にする多くの手法とは異なり、DivInは画像の忠実度を維持または向上させている。ImageNetにおいて、単独のベースラインの中で最も低い FID (16.158) を達成し、テキスト・トゥ・イメージのタスクにおいても高い CLIP および Aesthetic スコアを維持した。
• 直交性とパレート・フロント: 主要な発見は、DivInが軌跡ベースの介入に対して直交していることである。DivInを PG、CADS、または IG と組み合わせることで、多様性と品質のパレート・フロントを大幅に拡大でき、いずれの手法を用いても単独の場合より高い多様性を同等の忠実度で実現できる。
• 効率性: DivInによる計算オーバーヘッドは極めて小さい。単一のランジュバンステップ ($K=1$) を用いた場合、画像あたりの実時間（wall-clock time）への追加はわずか約3%（例：0.754秒から0.779秒へ）であり、SAIL のような決定論的な最適化手法がしばしば必要とする複雑な棄却サンプリングや二次の近似を必要としない。
• 安定性: 単一の最適なシードを求める SAIL とは異なり、DivInは多様体外の潜在変数による高周波アーティファクトを引き起こすリスクがなく、安定しており、潜在空間のガウス性を保持している。

5. 意義と主張

本論文は、初期化が「戦いの半分」であると主張している。生成の軌跡から初期化のランドスケープへと焦点を移すことで、DivInは軌跡ベースの手法が見落としているモード崩壊の根本原因に対処している。

著者らは以下を強調している：

• DivInは、標準的な拡散モデルと最新のフロー・マッチング・モデルの両方に適応可能な、普遍的でプラグアンドプレイ可能な戦略である。
• これは、軌跡の介入では捉えられない多様性の独自の源泉を提供し、標準的なサンプリングが見逃している多様なモードの発見を可能にする。
• この手法は、多様性と品質のトレードオフを効果的にバランスさせ、意味的な整合性や画像の忠実度を損なうことなく、パレート・フロントを押し上げる。
• 決定論的なシード最適化（SAILなど）に対し、確率的サンプリングを通じて分布のエントロピーを維持することで、より堅牢な代替手段を提供する。

結論として、DivInは現在、温度ハイパーパラメータに依存し、推論時のオーバーヘッドをわずかに増加させるものの、生成の多様性をどのように高めるかという点において根本的な転換を提示しており、既存のサンプリング・メカニズムに対する強力かつ直交するツールとなる。