Towards Robust Sequential Decomposition for Complex Image Editing

技術概要：複雑な画像編集に向けた堅牢な逐次分解の構築

問題定義
最近の視覚生成モデルは、人間の指示に基づく高忠実度の画像編集を可能にしました。しかし、これらのモデルは、組み合わせ的な編集操作やステップ間の依存関係を伴う複雑な指示には苦戦します。本論文は、そのような複雑性下で失敗する 2 つの代表的なパラダイムを特定します：

1. シングルターン編集： 指示されたすべての編集を一度のパスで適用しようとするアプローチ。これは複雑な指示を正確に解析できず、不完全または誤った編集につながることが多い。
2. 逐次編集： 課題をより単純なステップに分解するが、誤差の蓄積に悩まされる。初期ステップで導入された不正確さが後続のステップに伝播し、最終結果の忠実度を低下させる。

核心的な課題は、多段階の指示分解の利点と、誤差蓄積の欠点とのバランスを取ることです。

手法
著者は、統合されたコンテキスト内編集フレームワーク内で堅牢な解決策を提案します。このフレームワークでは、マルチモーダルモデルが、分解された指示とその対応する編集済み画像の交互シーケンスを生成し、コンテキスト入力全体の履歴に基づいて条件付けを行います。

• 合成データパイプライン： 複雑なタスク向けの高品質な分解データの不足に対処するため、著者は Blender 内でパイプラインを開発しました。

  • シーンの初期化： ランダムなオブジェクトと材質を備えた 3D シーンを手続き的に生成します。
  • 編集チェーンの構成： 10 の原子編集操作（オブジェクトの追加、削除、移動、回転、色/材質の変更、視点変更、背景変更など）のシーケンスを適用します。
  • ステップ間依存性の注入： 後続の操作が以前の編集結果を参照することを要求することで複雑性を導入します（例：「色を変更したオブジェクトを移動させる」または「元々椅子があった場所に本を追加する」など）。
  • グランドトゥルース： 操作が決定的であるため、パイプラインは完全に正確な分解シーケンスとターゲット画像を生成し、94,000 の高品質な編集シーケンス（60K の独立、34K の依存）のキュレーションを可能にします。

• モデルトレーニング： フレームワークは、統合マルチモーダルモデルであるBAGELを利用します。モデルは 3 つの目的でファインチューニングされます：

  1. 指示分解： 複雑な指示とソース画像を前提として、中間画像間の分解された指示を予測する。
  2. コンテキスト内編集： 分解されたテキスト - 画像ペアに基づいて、整流フロー目的を用いて中間画像とターゲット画像を生成する。
  3. シングルターン編集： 複雑な指示を使用して、ソースからターゲットまで単一ステップで編集する能力を維持する。

• 推論パラダイム： 著者は推論中に 3 つのパラダイムを実装し比較します：

  1. シングルターン編集： ソースからターゲットへの直接編集。
  2. フルコンテキスト逐次編集（FCSE）： 課題を $K$ ステップに分解し、各ステップがすべての以前のテキストおよび画像コンテキストに注意を向ける。
  3. コンテキストガイド付き逐次編集（CGSE）： 誤差蓄積を軽減する新しいパラダイム。ソース画像と分解された指示の完全なシーケンスからベース速度（$v_d$）を計算し、以前の編集結果から導出された個別の「コンテキストガイド」項を適用します。これにより、モデルは係数（$\gamma_{ctx}$）を介して歴史的編集の影響を調整でき、初期の誤差が後続のステップを汚染するのを防ぎます。

• シミュレーションから現実への転移（Sim-to-Real Transfer）： 現実世界の画像に一般化するため、モデルは合成分解シーケンスと現実世界のシングルターン編集ペア（Pico-Banana から）の混合で共同トレーニングされます。

主要な結果

• 合成ドメイン：

  • ゼロショット逐次編集は、最先端モデル（GPT-4o、Gemini 2.5 Flash Image など）において深刻な性能低下を引き起こします。
  • 合成データでのファインチューニングにより、堅牢な逐次分解が可能になります。**コンテキストガイド付き逐次編集（CGSE）**は、シングルターンベースラインおよびフルコンテキスト逐次編集を常に上回り、特にステップ間依存性を伴うタスクにおいて顕著です。
  • CGSE は、GPT による評価スコアで最高を記録し、タスクの複雑さ（チェーン長と依存率）が増加しても、類似度指標（DINO-I/DINO-D）において堅牢性を維持します。
  • 分解ステップの増加（最大 $K=5$）は、一般的にさらなる改善をもたらします。

• シミュレーションから現実への一般化：

  • 現実世界のデータとの共同トレーニングにより、合成タスクから学習された分解スキルが効果的に転移します。
  • Complex-Editベンチマークにおいて、2 ステップのコンテキストガイド付き編集で共同トレーニングされたモデルは、シングルターンベースラインおよび合成データのみでトレーニングされたモデルと比較して、優れた**指示追従（IF）とアイデンティティ保持（IP）**を達成します。
  • 人間の嗜好調査により、指示追従とアイデンティティ保持において 2 ステップ CGSE アプローチが好まれることが確認されましたが、現実の画像におけるシングルターン編集と比較して、知覚品質にわずかなトレードオフが見られました。

意義と主張
本論文は、高品質な分解編集シーケンスでトレーニングし、誤差蓄積を管理する適切に設計された推論パラダイムと統合することで、堅牢な逐次分解が達成可能であると主張します。具体的には：

• 逐次分解の実現可能性： 誤差蓄積により逐次実行が必然的に低忠実度の結果をもたらすという信念に反し、著者は適切なトレーニングとコンテキストガイド付きパラダイムを用いれば、タスクの複雑さが増加しても分解が堅牢な改善をもたらすことを実証しています。
• シミュレーションから現実への転移： 合成タスクから学習されたスキル（特に依存関係の推論と指示の分解能力）は、共同トレーニングを通じて現実世界のドメインに成功裏に転移でき、より広範なドメインにおける複雑な画像編集を強化します。
• フレームワークの有用性： コンテキスト内編集フレームワークは、異なる編集パラダイムを研究・比較するための統合された視点を提供し、分解の利点と誤差伝播のリスクのバランスを取るためにコンテキストガイド戦略が不可欠であることを明らかにします。

著者は、彼らの研究は主に意味的一貫性と指示追従に焦点を当てているが、現実世界における逐次編集された画像の知覚品質の向上は、今後の研究課題であると結論付けています。