ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

技術要約：ContrastiveCFG

問題提起
Classifier-Free Guidance (CFG) は、事後分布を鋭利化させることで条件への適合性を向上させる手法として、拡散モデルのサンプリングにおける標準となっています。しかし、CFGの一般的な応用例である「ネガティブプロンプト（NP）」では、ユーザーが単にCFGガイダンスベクトルを反転させる（すなわち、$p(x)/p(c|x)^\gamma$）ことで不要な特徴を排除しようとしますが、ここには重大な欠陥があることが本論文で指摘されています。ガイダンスを反転させると、確率分布が逆転してしまいます。ガイダンススケール $\gamma$ が増加するにつれ、この反転した分布が周辺データ分布を支配するようになり、サンプルが低密度領域へと漂流したり、元のデータサポートの外側へと完全に逸脱したりします。これにより、サンプル品質の著しい低下やアーティファクトが発生します。Dynamic Negative Guidance (DNG) のような最近の手法は、補完的な条件を用いることでこれを緩和しようと試みていますが、正の条件と負の条件が互いに排他的でない場合（例：重なり合うテキストプロンプト）、しばしば課題に直面し、望ましい概念を損なうことなく不要な概念を完全に除去することに失敗します。

手法
著者らは、ContrastiveCFG (CCFG) を提案します。これは、ノイズ対照推定（Noise Contrastive Estimation: NCE）から派生した**対照損失（contrastive loss）**を用いて、条件付きサンプリングを最適化問題として定式化する新しいガイダンス戦略です。

1. 核となる概念: CCFGは、確率分布を反転させるのではなく、ガイダンスを、対照損失を用いて予測されたノイズを正の条件（$c_+$）へと引き寄せ、あるいは負の条件（$c_-$）から遠ざけるための目的関数として扱います。
2. 導出:
   • 本手法は、学習済み拡散モデルを用いてデータ分布 $p_\theta(x)$ をパラメータ化し、無条件（または代替）の予測に基づくノイズ分布 $q(x)$ を定義します。
   • 正のガイダンスにおいて、モデルは予測ノイズ $\epsilon$ が条件付きノイズ $\hat{\epsilon}_{c}$ と一致するように促すと同時に、無条件ノイズ $\hat{\epsilon}_{\emptyset}$ とは区別するように、損失を最小化します。
   • 負のガイダンスにおいては役割が逆転します。モデルは、予測ノイズを不要な条件 $\hat{\epsilon}_{c_-}$ から遠ざけつつ、無条件のベースラインには近い状態を維持するように、損失を最小化します。
3. サンプリング戦略:
   • 著者らは、対照損失の勾配に基づいた、デノイジング方向 $\hat{\epsilon}$ の閉形式の更新ルールを導出しました。
   • 結果として得られるガイダンス項には、動的な重み係数（条件付き予測と無条件予測の間の距離に依存する）が含まれます。
   • 決定的な点は、現在のサンプルが負の条件との関連性を失うにつれて、負のガイダンス強度が自動的にゼロへと減衰することです。これにより、標準的なNPで見られる「過剰な反発」や分布のシフトを防ぎます。
   • 本手法は、既存の決定論的なDDIMサンプリングに最小限の計算オーバーヘッドでシームレスに統合でき、条件付きモデルおよび無条件モデルに対する追加のフォワードパスのみを必要とします。

主な貢献

• 新しいガイダンスの定式化: 本論文は、標準的なネガティブプロンプティングに内在する確率分布の反転という数学的落とし穴を回避する、対照損失ベースの拡散ガイダンスの枠組みを導入しています。
• 動的な減衰: 静的な反転手法とは異erer、CCFGは反発の強度を自動的に制御します。サンプルが不要な概念から離れるにつれてガイダンス力は減衰し、サンプリングプロセスが有効なデータ多様体内に留まることを保証します。
• 統一されたフレームワーク: 本アプローチは、正の条件と負の条件を単一の一貫した数学的定式化の中で扱うことができ、複雑な経験的調整や競合解決のためのハイパーパラメータチューニングを必要とせずに、望ましい概念への吸引と不要な概念からの反発を同時に実現します。

実験結果
著者らは、クラス条件付き生成（MNIST, CIFAR10, ImageNet-1k）およびテキストから画像への生成（StableDiffusion 1.5, SDXL）を含む多様なシナリオでCCFGを評価しました。

• クラス条件付き生成: ImageNet-1kにおいて、CCFGはCFG++, NP, DNG, Perp-Neg, SLDといったベースラインと比較して、最高の「総合精度（Overall Accuracy）」（正の適合性と負の排除の同時達成）を達成しました。例えば、似た犬種（マルチーズ vs シベリアンハスキー）を区別するように、高い審美スコアと画像品質を維持しながら不要なクラスを排除することに成功しましたが、NPは画像品質を低下させ、DNGは重なり合うクラスを完全に排除することに失敗しました。
• テキストから画像への生成 (T2I): T2Iタスクにおいて、CCFGは、正のプロンプトを歪めたりアーティファクトを導入したりすることなく、複雑で重なり合うテキストプロンプトから不要な概念を除去する優れた性能を示しました。視覚的な例では、NPはカテゴリー全体を削除してしまう傾向がある一方で（例：「イチゴ」を取り除くように指示した際に、赤い果物全般が消えてしまう）、CCCGは不要な特徴を正確にターゲットにできることが示されました。
• 定量的ベンチマーク: 提案されたPIE-Bench-Negデータセットにおいて、CCFGは正のプロンプトへの適合性（CLIP, ImageReward, HPS-v2で測定）と負のプロンプトの抑制の両方において、他の高度なネガティブガイダンス手法を上回る最先端の性能を達成しました。

意義と主張
本論文は、ContrastiveCFGが既存のネガティブガイダンス手法の限界に対する、理論的に健全かつ実用的に効果的な解決策を提供すると主張しています。確率の単純な反転を対照的な最適化目的関数に置き換えることで、CCFGは正の条件に対しては従来のCFGと同様のガイダンス効果を実現しつつ、ネガティブプロンプティングに伴うサンプル品質の低下や分布のシフトを克服しています。著者らは、本手法が、正と負の条件が重なり合うシナリオにおいても、サンプル品質を犠牲にすることなく不要な概念を忠実に除去できることを強調しており、拡散モデルにおける微細な制御のための堅牢なツールとなっています。