技術要約: Decoupled Guidance (DeGu)

1. 問題提起

テキストからの画像生成におけるパーソナライゼーション（個人化）は、ユーザーが提供した特定の被写体（例：特定のペットや製品）を、テキストで記述された新しいシーンの中に生成することを目指している。しかし、既存の手法は、**コンディショニングの絡み合い（conditioning entanglement）**と呼ばれる根本的な構造的制限に直面している。現在のパラダイム（Textual Inversionのような埋め込み最適化、DreamBoothのようなファインチューニング、あるいはエンコーダーベースのアプローチのいずれも）では、被写体のアイデンティティとシーンのコンテキストが単一のコンディショニング・パスウェイを通じてルーティングされる。

この統一された構造により、被写体トークンとコンテキスト・トークンが同じクロスアテンションのリソースを奪い合うことになる。著者らは、学習された被写体トークンがアテンションの予算の大部分を吸収し、コンテキスト・トークン（例：「森」、「紫色のラグ」）を系統的に抑制してしまう**アテンション崩壊（attention collapse）と呼ばれる現象を特定した。これにより、強固な忠実度と編集性のトレードオフ（fidelity–editability trade-off）**が生じる。すなわち、被写体の忠実度を高めると、必然的にテキストプロンプトの構成的指示へのモデルの遵守能力が低下し、その逆もまた同様となる。

2. 手法: Decoupled Guidance (DeGu)

この絡み合いを解決するために、著者らは、被写体のアイデンティティとシーンのコンテキストを2つの独立したガイダンス・ストリームへとルーティングするプラグアンドプレイのフレームワークである**Decoupled Guidance (DeGu)**を提案する。このフレームワークは、以下の3つのレベルで動作する。

A. 文脈に依存しない埋め込み (Context-Agnostic Embeddings: CAE)

標準的な手法では、コンテキストを含むプロンプト（例：「雪の中の sks」）の中で被写体トークンを学習させるため、埋め込みが言語的な共起関係をエンコードしてしまう。DeGuは、トークンとパディングのみを含むシーケンス（例：[SOT] [S*] [EOT]...）を用いて、学習可能なトークン $[S^*]$ を完全に孤立させて学習するCAEを導入する。

• メカニズム: テキストエンコーダーはこの孤立したシーケンスを、言語的コンテキストから自由な、被写体の視覚的アイデンティティのみを捉えた忠実度条件（fidelity condition） ($c_f$) にマッピングする。
• 対照: コンテキスト条件（context condition） ($c_e$) は、学習可能なトークンを含まない標準的なテキストプロンプトから導出される。

B. 分離型ガイダンス・ミキサー (Decoupled Guidance Mixer: DGM)

DeGuは、2つの独立したストリームからの予測を組み合わせるために、Classifier-Free Guidance (CFG) を再定式化する。単一の条件付き予測の代わりに、ノイズ予測 $\tilde{\epsilon}(z_t)$ は以下のように計算される：
$$\tilde{\epsilon}(z_t) = \epsilon(z_t) + \gamma_e(\epsilon(z_t, t, c_e) - \epsilon(z_t)) + \gamma_f(\epsilon(z_t, t, c_f) - \epsilon(z_t))$$

• メカニズム: $c_f$ と $c_e$ は別々のフォワードパスで処理され、クロスアテンション機構に対して互いに排他的なキー・バリュー（key–value）ペアを生成する。これにより、パスウェイレベルの干渉が排除される。
• 理論的根拠: この定式化は、潜在状態が与えられた下での忠実度条件と編集可能条件の条件付き独立性を仮定した場合の、積の専門家（Product-of-Experts: PoE）分布のスコアに対応している。

C. テスト時クロスアテンション・マスキング (Test-time Cross-Attention Masking: TCAM)

ストリームを分離しても、忠実度ストリーム ($c_f$) から参照背景情報が生成シーンにリークする場合がある。TCAMは、外部のセグメンテーションモデルを使用せずに、各デノイジングステップにおいてガイダンスを空間的に分割することでこれに対処する。

• メカニズム: TCAMは、忠実度ストリーム内の指定された非被写体トークン（例：[SOT] または [EOT]）のアテンションマップを反転および二値化することで、被写体マスク $M_t$ を導出する。
• 適用: 最終的なガイダンスは空間的に制約される。すなわち、$c_f$ は被写体領域 ($M_t$) にのみ適用され、$c_e$ は背景 ($1 - M_t$) に適用される。これは潜在空間のアテンションマップを利用することで、ノイズの多い潜在変数をデコードする際の不安定さを回避している。

3. 主な貢献

1. コンディショニングの絡み合いの診断: 本論文は、忠実度と編集性のトレードオフが、被写体トークンがコンテキスト・トークンを抑制する「アテンション崩壊」を特徴とする、統一されたプロンプトの構造的な帰結であるという因果関係の証拠を提示している。
2. 分離型フレームワーク: DeGuは、被写体とコンテキストを独立したガイダンス・ストリームへと明示的にルーティングする最初のフレームワークであり、推論時に忠実度 ($\gamma_f$) と編集性 ($\gamma_e$) を独立して調整することを可能にする。
3. プラグアンドプレイの統合: この手法は、基礎となるバックボーンの重みを変更する必要がない。既存のパーソナライゼーション手法（埋め込み最適化、ファインチューニング、エンコーダーベースの手法）および多様なバックボーン（U-Net、Diffusion Transformers）に、最小限のストレージオーバーヘッド（数百キロバイトのCAEトークン）で適用できる。
4. 空間的分離: TCAMの導入により、内部のアテンションマップを用いた精密な空間制御が可能となり、外部のセグメンテーションモデルやそれに伴う計算コストを排除している。

4. 実験結果

著者らは、3つのバックボーン（SD v2.1, SDXL, SD v3.5）と複数のパラダイムにわたってDeGuを評価した。

• 定量的性能: DeGuは一貫してパーソナライゼーションのパレート境界を押し上げている。SD v2.1において、Textual Inversion (TI) の総合スコアを0.4953から0.5236へ、DreamBoothを0.5127から0.5254へと向上させた。また、編集性を維持しつつ、マスクされた忠実度指標（MDINO）を最大+0.0786向上させた。
• 汎用性: この手法は、埋め込み最適化、ファインチューニング、およびエンコーダーベースの手法の双方で性能を向上させた。また、Diffusion Transformer (DiT) アーキテクチャを使用するSD v3.5に対しても有効であった。
• アブレーション研究:
  • CAE単体: 統一されたストリーム内に配置した場合、アテンション崩壊が再現される。
  • DGM単体: ガイダンスは分離されるが、背景のリークが発生する。
  • 完全なDeGu: すべてのコンポーネントを組み合わせることで、高い忠実度と構成的制御が達成される。
• 推論制御: 本フレームワークは、$\gamma_f$ と $\gamma_e$ を調整することで、推論中に忠実度と編集性のバランスを動的に制御することを可能にする。これは、絡み合った手法にはない機能である。

5. 意義と主張

本論文は、コンディショニングの絡み合いが、構成的な制御可能性を制限するテキストからの画像生成パーソナライゼーションにおける構造的なボトルネックであると主張している。ガイダンス・パスウェイを分離することで、DeGuは忠実度と編集性のバランスを、固定された学習時の決定から、柔軟な推論時の選択へとシフトさせる。

著者らは、彼らのアプローチが以下の点において優れていることを強調している：

• トレードオフを解決するためにモデルの容量を増やす（例：トークンを追加する）のではなく、条件がどのように適用されるかを再構築している。
• アーキテクチャに依存せず、U-NetとDiffusion Transformerの両方のバックボーンで効果的に動作する。
• 被写体のアイデンティティとシーンへの適合性を独立して調整するための原理的なメカニズムを提供し、既存の手法で見られる「アテンション崩壊」を解決している。

本研究は、ベースモデルの再学習を必要とせずに既存のパーソナライゼーション手法を強化するモジュール型の拡張として提示されており、高忠実度かつ編集可能な画像生成のためのスケーラブルなソリューションを提供している。