技術要約：Divide-and-Denoise

問題提起

学習済み拡散モデルの普及は、複数の専門化されたモデル（例：犬を学習したモデルと猫を学習したモデル）の専門知識を組み合わせることで、単一のモデルでは生成不可能な複雑なデータを生成できるという、構成（composition）における大きな機会を提供しています。しかし、これらのモデルを素朴に組み合わせることは、主に2つの課題を提示します。

1. 支配（Dominance）： あるモデルが他のモデルを圧倒し、特定の概念が無視される可能性があります。
2. 不一致（Disagreement）： モデル間で衝突が生じ、不自然な出力、オブジェクトの重複、あるいは属性の不一致（例：「犬」と「猫」が混ざり合って一つの不自然な塊になるなど）を引き起こす可能性があります。

製品密度による複合分布の定義や、ユーザー定義の空間分割（MultiDiffusionなど）といった既存のアプローチは、衝突が発生した際に各モデルの明確な特性を維持することに失敗することがよくあります。ユーザー定義の分割は手間がかかり、複雑なドメイン（タンパク質構造など）では実現不可能な場合が多く、また、生成の異なる段階におけるモデルの強みや弱みに適応することもできません。

手法：Divide-and-Denoise

著者らは、サンプリングプロセス中に複数の学習済み拡散モデルを調整するためのゲーム理論的フレームワークであるDivide-and-Denoiseを提案しています。この手法は、すべてのタイムステップ $t$ において並行して進化する、2つの結合されたプロセスを通じて動作します。

1. 分割プロセス（公平な配分）

固定された分割ではなく、この手法は最適な「分業」をオンラインで推論します。潜在画像は、$n$ 個のモデル（プレイヤー）に割り当てられる $m$ 個の特徴（財）の集合として扱われます。

• 効用（Utilities）： 各モデル $i$ には、潜在変数 $x$ の各特徴 $j$ に対して効用 $u_{ij}(x, t)$ が割り当てられます。論文では2種類の効用を定義しています。
  • スコアベース： 条件付きガイダンスと無条件ガイダンスの間のスコア差の大きさから導出されます（あらゆる条件付き拡散モデルに適用可能）。
  • アテンションベース： クロスアテンションマップから導出されます（クロスアテンションによる条件付けを持つモデルに特有）。
• 公平な分割ゲーム： 各ステップにおいて、この手法は配分行列 $Q$ を決定するために公平な分割ゲームを解きます。目的は、公平性の制約（例：比例性、羨望フリー性）に従いつつ、期待総効用（効率性）を最大化することです。
• 最適化： 配分 $Q_t$ は、時間的な滑らかさを確保するために前ステップの配分からのカルバック・ライブラー（KL）ダイバージェンスによって正則化された制約付き最適化問題を解くことで更新されます。解は双対問題を通じて導かれ、各特徴が各モデルに対して分数的な重みを持つ分解可能な配分をもたらします。

2. 複合デノイジング・プロセス

配分 $Q_t$ が決定されると、この分割に沿った複合デノイジングカーネル $p^c_t$ を構築します。

• 整合（Alignment）： 複合更新は、モデル $i$ に割り当てられた特徴のデノイジングステップを、モデル $i$ の提案に近く保ちつつ、総効用を最大化するように定式化されます。
• 更新規則： 単純化された仮定（因数分解された分布および線形効用）の下で、最適な複合平均 $\mu^c_t$ は、個々のモデルの平均の加重和とガイダンス項として導出されます。
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  ここで、$\odot$ は要素ごとの積を表し、第2項は総効用の勾配に基づくガイダンス更新として機能します。
• 仮想プレイヤー（Fictitious Player）： モデルが衝突したり、好みがなかったりする低効用領域に対処するため、「仮想プレイヤー」が導入されます。このプレイヤーは一様な効用を持ち、その提案は全モデルの平均となります。これにより、公平性の制約を課すことなく、曖昧な領域における協調を促します。

主な貢献

1. 推論時の調整アルゴリズム： 重みの共有、アーキテクチャ、または学習データを必要とせずに、異なる専門知識を持つ複数の学習済み拡散モデルを調整する方法。
2. 結合されたプロセス： （公平な分割ゲームを解く）動的な分割プロセスと、（モデルを割り当てられた領域に適合させる）複合デノイジングプロセスの統合。
3. 効用の定式化： あらゆる条件付き拡散モデル（スコアベース）に適用可能な一般的な効用の定義、およびクロスアテンションモデルのための具体的なインスタンス化（アテンションベース）。
4. 実証的検証： この手法を用いて調整されたシングルコンセプトのモデルチームが、標準的なベンチマークにおいて、既存の構成技術やマルチコンセプトモデルをも凌駕することを実証。

実験結果

本手法は、Stable Diffusion 2.0および**Diffusion Transformer (DiT)**モデルを用いた条件付き画像生成において評価されました。

• ベンチマーク： 評価は、GenEval（オブジェクトの存在と属性結合に焦点を当てたもの）、CLIP-Score、VQAScore、およびImageRewardを用いて行われました。
• パフォーマンス：
  • オブジェクト生成： 「Concepts as Objects（オブジェクトとしての概念）」設定（例：ハンドバッグとスポーツボールを含む画像の生成）において、Divide-and-Denoiseは、Averaging、Composable Diffusion、MultiDiffusionといったベースラインを大幅に上回りました。3オブジェクト生成において、GenEvalの「%images」指標で、Multi-Concept Diffusionの**14.75%およびMultiDiffusionの14.00%**に対し、**59.5%**を達成しました。
  • 属性結合： 特定の色を持つオブジェクト（例：「オレンジ色の馬」）を生成する場合、この手法は属性を正しいオブジェクトに結合することに成功し、属性の漏れやオブジェクトの消失に苦しむことが多いベースラインを上回りました。
  • 衝突解決： 競合する概念（例：「砂漠」対「雪山」）があるシナリオにおいて、本手法は多様な空間レイアウトと高品質な画像を生成し、互いに相容れない概念の混合を回避しました。
  • 公平性： 公平性の制約（比例性）の導入は、特にモデルの数が増えるにつれて指標をさらに向上させ、単一のモデルが生成を支配することを防ぎました。

意義と主張

本論文は、Divide-and-Denoiseが制御可能で再利用可能な生成モデリングのための一般的なレシピを提供すると主張しています。その意義は以下の通りです。

• 衝突の解決： 手動の介入や正解のパーティションを必要とせずに、モデル間の衝突を効果的に解決します。
• モデル非依存性： その定式化は特定のモデルアーキテクチャや条件付けメカニズムに縛られず、潜在拡散モデル（Stable Diffusion）とトランスフォーマーベースのモデル（DiT）の両方で動作します。
• 協力的相互作用： ゲーム理論的な公平性によって媒介される、学習済みモデル間の協力的相互作用が、単一の巨大なマルチコンセプトモデルを訓練することよりも優れた結果をもたらすことを明らかにしています。
• スケーラビリティ： 本手法は複数のモデル（最大4つまでテスト済み）やドメインにスケールし、テキスト-グラフ、テキスト-オーディオ、オーディオ-画像生成への拡張の可能性があります。

著者らは、本手法が計算コスト（主に分割段階）を導入するものの、実行時の最適化（分割およびガイダンスのステップを初期のタイムステップに限定するなど）によって、性能向上を維持しながらコストを大幅に削減できると述べています。