技術概要：テキストから画像への生成におけるアテンション特徴空間の直交負方向ガイド

問題定義

テキストから画像（T2I）モデルは高品質な画像の生成において著しく進歩しましたが、特定の物体や属性の不在を明示的に強制することは依然として根本的な課題です。既存の戦略は顕著な限界を有しています：

• プロンプト否定： 「no」や「without」などの単語を単に挿入するだけでは失敗することが多く、場合によっては否定された概念が、否定なしの場合よりもさらに頻繁に生成されてしまいます。
• 生成・編集パイプライン： これらの手法はまず画像を生成し、その後、編集モデルを使用して不要な概念を除去します。しかし、編集モデルは空間的・構造的完全性を維持するように訓練されているため、シーンの大幅な構造再編を必要とする概念の除去には苦戦します。
• 標準的な負方向ガイド： Classifier-Free Guidance (CFG) やその変種（NAG、NASA など）といった手法は、負のプロンプトからの線形減算を通じて生成を誘導します。しかし、これらはしばしば負の信号全体を減算するため、望ましくない概念が十分に抑制される前に、正のプロンプトとの整合性や画像全体の品質が低下してしまいます。

手法

著者は、マルチモーダル拡散トランスフォーマー（MM-DiT）アーキテクチャ（例：FLUX-dev、FLUX-schnell）に基づく整流フロー T2I モデル向けに、トレーニング不要な直交負方向ガイドを提案します。この手法は、アテンション特徴空間内で動作し、望ましくない概念を抑制しながら、望ましい意味論を保持します。

中核メカニズム

この手法は、MM-DiT ブロック内の画像からテキストへのアテンション出力（$Z_{I2T}$）に介入します。これらはクロスモーダル相互作用を仲介します。プロセスは 2 つの並列ブランチを含みます：

1. 正のブランチ： 元の生成プロンプト（$P^+$）に基づいてアテンション出力を計算します。
2. 負のブランチ： 抑制すべき概念を指定する補助的な負のプロンプト（$P^-$）に基づいてアテンション出力を計算します。重要なのは、このブランチが空間的整合性を確保するために、正のブランチからの画像側特徴（$Q_I, K_I, V_I$）を再利用しつつ、独自のテキスト側特徴を使用する点です。

直交減算

負のアテンション出力（$Z_{I2T}^-$）を正の出力（$Z_{I2T}^+$）から直接減算するのではなく、この手法は負の信号のうち正の信号に対して直交する成分のみを分離して除去します。修正されたアテンション出力 $\widehat{Z}_{I2T}^+$ は以下のように計算されます：

$$\widehat{Z}_{I2T}^+ = Z_{I2T}^+ - \alpha \cdot \left[ Z_{I2T}^- - \mathrm{proj}_{Z_{I2T}^+}(Z_{I2T}^-) \right]$$

ここで：

• $\alpha$ はガイドスケールです。
• $\mathrm{proj}_{Z_{I2T}^+}(\cdot)$ は、負のベクトルを隠れ次元に沿って正のベクトル onto 射影することを示します。

直交成分のみを減算することで、この手法は正のプロンプトと整合する意味論的方向を干渉することなく、望ましくない概念に固有の情報を抑制します。この処理は、特定のタイムステップ $\tau$ からすべての MM-DiT ブロックに適用されます。

主要な貢献

1. 直交負方向ガイド： アテンション特徴空間における新規のトレーニング不要な介入であり、負のガイド信号の直交成分のみを除去することで望ましくない概念を効果的に抑制し、プロンプトの整合性と画像品質を保持します。
2. 多様な概念抑制ベンチマーク（DCS-Bench）： 著者は、6 つの意味カテゴリ（例：場所/シーン、イベント/動作、共存する物体）にわたる 200 の抑制シナリオからなる新しいベンチマークを導入します。知覚的品質（例：「ぼやけた」）に焦点を当てた従来のベンチマークとは異なり、DCS-Bench はモデルが幻覚を起こしがちな具体的で自然に発生する概念を抑制する能力を評価します。
3. 包括的な評価： FLUX-dev、FLUX-schnell、および Stable Diffusion 3.5 Large における広範な実験により、この手法が既存の負方向ガイドのベースライン（CFG、NASA、NAG、VSF）および生成・編集パイプライン（Kontext、Qwen-Image-Edit、OmniGen2）を上回ることを実証しました。

実験結果

定量的パフォーマンス

VLM ベースの指標（負の概念抑制、プロンプト整合性、画像品質）を用いると、提案手法は優れたトレードオフを達成します：

• 抑制： FLUX-dev において、この手法はすべての先行する負方向ガイド手法に対して、負の概念抑制を少なくとも 15% 改善しました。
• 整合性と品質： 画像品質やプロンプト整合性を低下させる線形減算手法とは異なり、直交負方向ガイドは両方の指標で元のモデルに匹敵する高いスコアを維持します。
• 人間による評価： 111 人の参加者による研究において、この手法は**70.81%の選好スコアを達成し、2 番目に優れたベースライン（NAG の 46.22%）を18.78%**上回りました。

定性的観察

• 多概念抑制： 単一の負のプロンプトに複数の概念をリストすることで、複数の概念を同時に抑制できます。
• 調整可能な抑制： ガイドスケール $\alpha$ を変化させることで、ユーザーはシーンを破壊することなく概念を徐々に除去しつつ、抑制の強度を連続的に制御できます。
• 失敗事例： 概念がシーンの構造に深く統合されている場所/シーンやイベント/動作のカテゴリでは、この手法は時に苦戦します（例：「プロフェッショナルな写真スタジオ」から「ソフトボックスライト」を完全に除去できない場合など）。

意義と主張

この論文は、概念抑制と意味論的忠実性の間のトレードオフに対処することで、制御可能な T2I 生成において直交負方向ガイドが重要な前進を遂げたと主張しています。著者は、自らの手法が以下の点に重点を置いていると強調しています：

• 再トレーニングや追加のパラメータを必要としない。
• 最新の整流フロー・トランスフォーマーアーキテクチャにシームレスに統合される。
• プロンプト否定や事後編集と比較して、概念除去のためのより明示的なメカニズムを提供する。
• DCS-Bench による評価の新たな基準を確立し、現在の手法が多様で現実世界の抑制シナリオに対して不十分であることを浮き彫りにする。

著者は結論として、この手法がすべての構造的編集タスクの万能薬ではないこと（逐次編集には生成・編集パイプラインが依然として好まれる可能性があること）を認めつつも、特定の概念の不在に関するユーザーの制約に厳密に従う画像を生成する能力を大幅に向上させることを述べています。