FOCUS: テキストから画像への生成におけるマルチエンティティ世界モデリングのための最適制御

本論文「FOCUS (Flow Optimal Control for Unentangled Subjects)」は、テキストから画像への生成（T2I）モデルが抱える**「マルチエンティティ（複数対象物）生成時の不整合」**という課題を、**確率的最適制御（Stochastic Optimal Control: SOC）**の理論的枠組みを用いて解決する手法を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と課題 (Problem)

近年の T2I モデル（Stable Diffusion 3.5, FLUX.1 など）は単一の対象物に対する生成性能は高いものの、複数の対象物や属性を含むプロンプト（例：「赤い帽子をかぶった犬と青い服を着た猫」）に対しては脆弱です。

主な失敗モードは以下の通りです：

• 属性の漏洩 (Attribute Leakage): 対象 A の属性が対象 B に混入する（例：犬が青い服を着てしまう）。
• アイデンティティの絡み合い (Identity Entanglement): 複数の対象が区別されず、一つに融合してしまう。
• 対象の欠落 (Subject Omission): プロンプトに含まれる対象の一部が生成されない。

これらの問題は、モデルが「どの対象が存在し、どの属性がどの対象に属するか」という対象中心（object-centric）の表現が弱く、制約が非局所的（non-local）になっていることに起因します。既存の手法はヒューリスティックなアプローチに依存しており、統一された最適化目標や理論的裏付けが不足していました。

2. 手法 (Methodology)

著者らは、フローマッチング（Flow Matching: FM）を**確率的最適制御（SOC）**の問題として再定式化し、サンプリング過程を制御することで、忠実度（fidelity）と対象の分離（disentanglement）の間のトレードオフを理論的に管理できる枠組みを構築しました。

2.1. 確率的最適制御（SOC）の定式化

生成プロセスを、ベースとなるフローマッチングのドリフト（速度場）に制御入力 $u$ を加える問題として捉えます。

• 目的関数: 制御コスト（制御の大きさ）と、対象の絡み合いを測る実行コスト $f$（FOCUS 損失）の和を最小化します。
• 結果: 最適制御則 $u^*$ は、状態空間における勾配（アソシエイト信号）に基づいて導出され、サンプリング速度を修正するガイダンス項として機能します。

2.2. FOCUS (Flow Optimal Control for Unentangled Subjects)

SOC の実行コスト $f$ として、新しい確率的アテンション結合（probabilistic attention-binding）目的関数を提案しました。

• 仕組み: 現代の T2I モデルでは、クロスアテンションマップが空間的な分布（確率分布）として機能します。FOCUS は、各対象に対応するアテンションマップの集合に対して**ジェンセン・シャノンダイバージェンス（JSD）**を計算します。
• 目的:
  1. 対象内の一貫性: 同一対象のアテンションマップが分散せず、一極集中していること（単一モード性）。
  2. 対象間の分離: 異なる対象のアテンション分布が互いに重ならないこと（最大ダイバージェンス）。
• これにより、アテンションの重なりを最小化し、対象の明確な分離を促します。

2.3. 2 つの実装アプローチ

同じ理論的枠組みから、2 つの異なる実装が導き出されます。

1. トレーニングフリーなテスト時制御 (Test-time Controller):

   • 事前学習済みモデルの重みを固定したまま、サンプリング中にアテンション勾配に基づいて速度ベクトルをリアルタイムで修正します。
   • 単一パスの近似（On-the-fly disentanglement）を用いるため、追加の学習は不要で、既存の SDE/O DE ソルバーにそのまま適用可能です。
   • 計算コストは増加しますが、コンシューマー向け GPU でも実行可能です。

2. アジャイントマッチングによるファインチューニング (Adjoint Matching Fine-tuning):

   • 制御ネットワーク（軽量な LoRA 層など）を学習させ、テスト時のガイダンス信号を事前学習（amortize）します。
   • アジャイントマッチング (Adjoint Matching): 制御軌道全体を微分する代わりに、固定されたフォワード軌道に沿って計算された「リーン・アジャイント（lean adjoint）」信号に対して制御ネットワークを回帰させることで、効率的に学習を行います。
   • 学習済みモデルは推論時に追加のオーバーヘッドなしで、未知のプロンプトにも汎化して高い性能を発揮します。

3. 主要な貢献 (Key Contributions)

1. FOCUS 損失関数の提案: マルチエンティティの分離を確率的なアテンション分布のダイバージェンスとして定式化し、対象の絡み合いを明示的に最小化する目的関数を導入しました。
2. 2 つの実装手法:
   • 再学習不要の軽量なテスト時コントローラー。
   • アジャイントマッチングを用いた、低コストなファインチューニング手法。
3. SOC 視点の統一: 従来のアテンション操作ヒューリスティック（Attend&Excite, CONFORM など）を、フローマッチングレベルの最適制御問題として統一的に解釈し、アーキテクチャ（SD 3.5, FLUX.1, SD 1.5）に依存しない移植性を示しました。

4. 実験結果 (Results)

評価対象: Stable Diffusion 3.5, FLUX.1, Stable Diffusion 1.5
評価データセット: 2〜4 つの対象を含む 150 プロンプト（類似対象と非類似対象を含む）。

定量的評価

• テスト時制御: 全てのベースライン（Attend&Excite, CONFORM, Divide&Bind など）と比較して、FOCUS は複合スコア（Composite Score）で最高またはそれに準ずる性能を示しました。特に、人間評価（Win Rate, Elo レーティング）において、SD 3.5 と FLUX.1 の両方で最も高い勝率を記録しました。
• ファインチューニング: 学習済みモデルは、テスト時制御よりもさらに高い性能を発揮し、ベースモデルのスタイルを維持しつつ、未見のプロンプトに対しても高い汎化性能を示しました。
• データ効率: 非常に少ないデータ（1 プロンプトのみ）でファインチューニングを行っても、SD 3.5 において顕著な改善が見られました。

定性的評価

• 属性の漏洩（例：犬が猫の服を着る）が大幅に減少し、プロンプトで指定されたすべての対象が正確に描画され、空間的に明確に分離されていることが確認されました。
• 既存の手法（特に Self-Cross Guidance）で見られたような、画像の質感低下やアーティファクトの発生も抑制されました。

5. 意義と結論 (Significance)

本論文の FOCUS は、マルチエンティティ生成における「世界モデリング」の質を向上させるための、理論的に裏付けられた最初のフレームワークの一つです。

• 理論的統一: 従来のヒューリスティックな手法を、最適制御という数学的に厳密な枠組みに統合し、なぜそれらが機能するのか、またどのように改善できるかを明確にしました。
• 実用性: トレーニングフリーの手法と、軽量なファインチューニングの両方を提供することで、リソース制約のある環境から大規模な応用まで幅広く対応可能です。
• 将来展望: このアプローチは、単なる画像生成だけでなく、ストーリーテリング、科学コミュニケーション、多パネル構成など、複雑な構造的制約を必要とする分野への応用が期待されます。

要約すれば、FOCUS は「確率的最適制御」という強力な理論を T2I 生成に応用し、複数の対象を忠実に、かつ分離して描画する能力を、既存モデルのアーキテクチャを変更することなく、あるいは最小限の変更で実現した画期的な研究です。