技術的概要：計画からピクセルへ：オープンエンドな画像編集のための計画と調整の学習

問題定義

現代の拡散モデルに基づく画像編集モデルは、「車の色を赤に変える」など、明確に定義された具体的な変換には優れているが、「この広告を地方の視聴者に適応させる」など、抽象的でオープンエンドかつ長期的な指示には苦戦する。このようなタスクは、画像、テキスト、レイアウト、文脈の協調的な変更を必要とし、多くの場合、複数のサブタスクと多様なツールを伴う。従来のエージェントベースのアプローチはこれらのタスクを分解しようとするが、手作りのパイプラインや教師モデルの模倣に依存している。これらの手法は実行順序とヒューリスティクスを固定しており、計画モデルを自身の分布で訓練したり、実際の編集結果に基づいてツール選択を最適化したりすることができない。その結果、分布のシフト、汎化能力の限界、そしてオープンエンドな指示に対するスケーラビリティの欠如が生じる。

手法

著者は、長期的な画像編集を計画と調整という、密に結合された 2 つの段階に分解する経験的学習フレームワークを提案する。このシステムは編集ツールと対話し、ビジョン・ランゲージモデル（VLM）によるジャッジからの結果に基づくフィードバックを受け取り、その方策を洗練させる。

1. 段階 1：チェックリスト誘導型プランナー（自己教師あり）

入力画像 $x$ と高レベルの指示 $I$ が与えられると、マルチモーダル LLM（プランナー）は構造化された順序付きの原子サブタスクの列 $P = \{s_1, \dots, s_T\}$ を生成する。

• チェックリストの構築: 壊れやすい手作りのテンプレートに依存することなく包括的な網羅性を確保するため、プランナーには、満足すべき編集が満たすべき基準（例：製品の置換、意味的整合性）を指定するチェックリスト $C$ を用いてプロンプトが作成される。
• 自己教師あり微調整: 分布のシフトを引き起こす教師モデルの模倣の代わりに、プランナーは自己蒸留を通じて微調整される。これは、$(x, I)$ のみに条件付けられ、チェックリストによるプロンプト下で自身が生成した計画を再現することを学習するものである。これにより、トレーニングがモデルのネイティブな生成分布と整合し、安定性と汎化性が向上する。
• 推論: テスト時にはチェックリストを除去し、微調整されたプランナーが $(x, I)$ から直接構造化された多段階計画を生成する。

2. 段階 2：報酬駆動型オーケストレーター

計画 $P$ に条件付けられ、オーケストレーター（別のマルチモーダル LLM）が、各サブタスクに対して適切なツール $a_t$ と領域 $r_t$ を選択する。

• ツールセット: このフレームワークは、領域発見のための分析ツール（SAM-2、DeepSeek-OCR、Qwen-Layered、Qwen-BBox）、全体画像編集ツール（Flux Kontext、Qwen-Image-Edit）、および領域レベルの編集ツール（Flux Inpaint）を含むモジュール化されたツールセットを利用する。
• 報酬関数: 強力な VLM ジャッジが、指示への準拠、アイデンティティの保持、視覚的品質という 3 つの基準に基づいて編集された画像 $\hat{x}$ を評価する。
• 方策の最適化: オーケストレーターは、期待される軌道報酬を最大化するように訓練される。完全な軌道の評価は計算コストが高いため、著者は 2 つの近似を導入する。
  1. 加法的報酬近似: 軌道報酬を、独立したサブタスク報酬の和として近似する。
  2. 元画像からの独立性: ツールの寄与を、中間編集ではなく元画像上で評価することで推定する。
     これらの近似により、ツール - 領域ペアの報酬を事前計算することが可能となり、実行可能な方策最適化を実現する。

3. クローズドループによる洗練と推論

• 計画の洗練: オーケストレーターの訓練前に、達成可能な最大報酬が閾値 $\tau$ 未満である非実行可能なサブタスクを剪定する。その後、プランナーはこれらの洗練された計画で再訓練され、高レベルの推論を実行可能なアクション空間と整合させる。
• 検証者誘導型選択: 推論中、オーケストレーターは上位 $k$ 個のツール - 領域候補を提案する。VLM ジャッジから蒸留された軽量な検証者がこれらの中間編集をスコアリングし、最高スコアの編集が次のステップで選択される。これにより、効率性を維持しながら誤りの蓄積を軽減する。

主要な貢献

1. 長期的画像編集フレームワーク: 本論文は、抽象的な編集を調整された計画と調整の問題として定式化し、単一ステップ生成を超えた多段階推論を可能にする。
2. 自己教師ありチェックリスト誘導型計画: 構造化されたプランナーは、自身のチェックリスト誘導サンプルから分解を学習し、教師模倣と比較して分布のシフトを低減する。
3. 経験的オーケストレーター: 報酬駆動型の方策は、手作りのルールや静的なプロンプトではなく、ジャッジされた編集結果から直接ツールと領域の選択を学習する。
4. クローズドループによる洗練: システムは調整フィードバックに基づいて非実行可能なサブタスクを剪定し、計画と実行可能なアクションを整合させ、最先端のパフォーマンスを達成する。

実験結果

このフレームワークは、MadVerseデータセット（多言語広告）およびGEdit-BenchやMagicBrushなどの標準ベンチマークで評価された。

• ベースラインとの比較: 本手法は、強力な単一ステップ編集モデル（Flux Kontext、Qwen-Image-Edit）および多段階エージェントベースライン（GenArtist、LayerCraft）を上回る。単一ステップモデルは複雑な指示の実行に失敗したり、画像のアイデンティティを劣化させたりすることが多いのに対し、提案手法は高い指示追従スコアを達成しつつ、強力なアイデンティティ保持と視覚的品質を維持する。
• ユーザー調査: 人間参加者によるランダム化された A/B テストでは、ベースラインに対して提案手法の出力に一貫した好意が示された。
• アブレーション研究:
  • オーケストレーター設計: 明示的なツール選択方策を学習するようにオーケストレーターを訓練することは、ベースモデルのプロンプト作成や単一ツール順序ベースラインを使用する場合よりも大幅に優れている。
  • 計画のソース: チェックリスト誘導型自己蒸留は、教師生成計画で訓練する場合よりも低いパープレキシティと優れた分布整合性を生み出す。
  • 計画の洗練: 非実行可能なサブタスクをフィルタリングすることで、達成可能な最大平均報酬が増加し、計画と実行の間の適合性が向上したことが確認された。
  • 推論分岐: 推論中の候補分岐数（$k$）を増やすことは、指示の満足度と視覚的品質を一貫して向上させる。

意義と主張

本論文は、計画と報酬駆動型の実行を密に結合することで、単一ステップまたはルールベースの多段階ベースラインよりも一貫性があり信頼性の高い編集が得られると主張している。その意義は、手作りのパイプラインや教師模倣から、経験的学習パラダイムへと移行することにある。学習されたジャッジを通じて編集ツールの実際の結果から学習することで、システムは経験的パフォーマンスに基づいて意思決定を根拠づける。これにより、協調的な多段階変換を必要とする抽象的でオープンエンドな指示を処理することが可能となり、現在の指示ベースの画像編集システムにおける重要な限界に対処する。著者は、ツールやジャッジされた結果との相互作用を通じて手法が改善され、複雑な視覚推論タスクに対するスケーラブルな道筋を提供していると強調している。