ISAC: Training-Free Instance-to-Semantic Attention Control for Multi-Instance Generation

技術要約: ISAC (Instance-to-Semantic Attention Control)

問題提起
近年のオープンウェイト・テキスト画像生成（T2I）拡散モデルは、マルチインスタンスのプロンプトに対して苦戦しており、頻繁に2つの主要な失敗モードを示します。それは、カウントの失敗（要求されたオブジェクトの欠落または結合）と、意味論的な混同（類似したオブジェクト間での属性の漏洩）です。著者らは、これらの失敗の原因が拡散プロセスの初期デノイジング段階にあると突き止めました。既存のトレーニングフリーなガイダンス手法（Attend-and-ExciteやSelf-Crossなど）は、トークンレベルで概念を分離するためにクロスアテンション（CA）に依存していますが、これらは個別のインスタンス領域がすでに形成されていることを前提としています。しかし、初期のデノイジング段階では、トークンに条件付けられた意味論はしばに粗く、絡み合っているため、CAベースのガイダンスでは、特に意味的に類似したオブジェクト（例：「犬と羊」や「2頭の馬」）に対して、信頼できるインスタンス境界を切り出すことが困難になります。

手法
本論文は、階層的な「インスタンス・ファースト」の生成戦略を強制する、トレーニングフリーかつモデルに依存しない目的関数であるISAC (Instance-to-Semantic Attention Control) を提案しています。ISACは、デノイジングの軌跡に沿って、構造形成と意味の結合を分離することで機能し、以下の2段階のアプローチを用います。

1. フェーズ1：インスタンス形成 ($L_{ins}$)

   • 観察: セルフアテンション（SA）マップは、トークンの意味論が未発達な初期デノイジング段階においても、クラスに依存しないインスタンスのレイアウトを露出させます。
   • メカニズム: 本手法は、SAマップを$N$個のグループ（$N$は要求された総インスタンス数）にクラスタリングし、クラスに依存しないインスタンス・レイアウトを導出します。分離を確実にするため、生成されたインスタンスマスク間に**最大ピクセル単位の重複（MPO）**ペナルティを適用し、重複領域を反発させます。
   • 精緻化: CAマップからフォアグラウンド・ゲートを構築して、クラスタリングを関連領域に限定します。また、空間的な一貫性を向上させるために、正規化された空間座標をSA特徴量と結合します（例：K-meansを使用）。

2. フェーズ2：インスタンス認識の意味的分離 ($L_{sem}$)

   • メカニズム: フェーズ1で安定したインスタンス境界が確立された後、ISACはこれらの構造的信号をクロスアテンション・マップに注入します。
   • 目的: 「反発と結合（repel-and-bind）」の損失が適用されます。異なるインスタンスを参照するトークンは互いに引き離され（repel）、同じインスタンスを記述するトークン（例：オブジェクトとその属性）は互いに引き寄せられます（bind）。これにより、属性が特定のインスタンス領域内に結合され、他の領域へ漏洩することを防ぎます。

3. 損失スケジュール

   • ISACは、時間依存のスケジュール $\lambda_{ins}(t) = t/T$ および $\lambda_{sem}(t) = 1 - t/T$ を用いてこれらのフェーズを組み合わせます。これにより、初期ステップではインスタンス構造の確立に焦点を当て、後半のステップでは意味の割り当てを精緻化するように制御します。

主な貢献

• 定量的診断: 著者らは、意味論的な混同は、異なるカテゴリ間よりも同一のスーパーカテゴリ内（例：動物、車両）のオブジェクトペアにおいて有意に高いことを示す定量的な分析を提供し、インスタンス・ファーストの分離の必要性を検証しました。
• ISACフレームワーク: トレーニング、外部のビジョンモデル、または追加の学習データを必要としない、新しいトレーニングフリーの目的関数です。
• IntraCompBench: 同一スーパーカテゴリ内の構成（2〜5つのインスタンス）をストレス・テストするために設計された新しいベンチマークであり、カウントの失敗と意味論的な混同が最も発生しやすい領域を標的にしています。
• 幅広い適用性: 本手法は、様々な拡散バックボーン（SD1.5, SD3.5-M, Flux, Qwen-Image）および、テキスト・トゥ・イメージとレイアウト・トゥ・イメージの両方のタスクにおいて有効であることが示されています。

結果

• パフォーマンス: IntraCompBenchにおいて、ISAC（特に潜在最適化バリアントであるISACLO）は、従来のトレーニングフリー手法を大幅に上回りました。例えば、SD1.5において、同一カテゴリのプロンプトに対するマルチクラス精度は、最強のベースラインである約20%から**36%**へと向上しました。また、HRS-Benchにおける空間スコアはほぼ倍増しました（0.135から0.263）。
• カウント精度: ISACLOは、補助モデルや微調整を必要とせずに、カウントを監視する手法（例：CountGen, Counting Guidance）よりも高いインスタンス計数精度を達成しました。SD1.4において、Counting Guidanceの49%に対し、**70%**のインスタンス計数精度を達成しました。
• レイアウト・トゥ・イメージ: レイアウト・コントローラー（例：GLIGEN）に適用した場合、ISACは粗い重複バウンディングボックスを密なインスタンスマスクへと精緻化し、隣接するオブジェクトの結合を防ぎます。
• 効率性: ISACLOはバックプロパゲーションによる遅延が生じますが、潜在選択バリアント（ISACLS）は、ISACスコアに基づいてバッチから最適なサンプルを選択することで、より大きなモデル（例：Flux.2, Qwen-Image）に適した勾配フリーの代替手段を提供します。

意義と主張
本論文は、ISACが、オープンウェイトの拡散モデルと商用システム（多くの場合、独自のデータや推論ループを使用している）との間の信頼性のギャップを埋めるための、実践的で再現可能な道筋を提供すると主張しています。インスタンスの境界を確定させてから意味を割り当てることで、ISACは初期の拡散ステップにおけるマルチインスタンス失敗の根本原因に対処します。著者らは、この「インスタンス・ファースト」の階層構造は、T2Iだけでなく、ビデオやその他の構造化された生成設定においても、構造と意味を分離して制御するための有望な方向性であると強調しています。本研究は、再学習や外部の知覚モデルの計算コストをかけることなく、推論時のアテンション操作を通じて高精度なマルチインスタンス生成が可能であることを示しています。