Agent Banana: High-Fidelity Image Editing with Agentic Thinking and Tooling

本論文は、プロフェッショナルなワークフローにおける高忠実度かつ多ターン対応の画像編集を実現するため、文脈圧縮と画像レイヤー分解を導入したエージェント型フレームワーク「Agent Banana」と、4K 解像度で評価可能な新ベンチマーク「HDD-Bench」を提案し、長期的な一貫性と背景の忠実さを大幅に向上させたことを示しています。

要約

🍌「エージェント・バナナ」の解説：写真編集の「天才プロデューサー」

この論文は、**「Agent Banana（エージェント・バナナ）」**という新しい AI システムについて紹介しています。

一言で言うと、これは**「写真編集の天才プロデューサー」のような存在です。普通の AI は「指示されたらそのまま変える」だけですが、Agent Banana は「どうすれば一番綺麗に、かつ元の良さを壊さずに変えられるか」を自分で考え、計画を立てて実行する**ことができます。

まるで、高級料理店でシェフが注文を聞き、材料を選び、調理し、味見をして、必要なら作り直すような**「プロのワークフロー」**を実現したのです。

---

🎨 なぜこれが必要なの？（今までの問題点）

これまでの写真編集 AI には、3 つの大きな「弱点」がありました。

1. やりすぎ（Over-editing）:
   • 「空を青くして」と頼んだのに、空だけでなく「建物の色まで変えてしまった」なんてことがよくありました。
   • 例え話: 部屋の壁をペンキで塗り替えるつもりが、家具や床まで全部塗りつぶされてしまったようなもの。
2. 会話が続かない（Single-turn）:
   • 一度の指示で終わってしまい、「次はもっと明るくして」「じゃあ、今度は影を足して」という対話（会話）ができませんでした。
   • 例え話: 美容師に「髪を切ってください」と言っただけで、その後の「もう少し短くして」「前髪だけ整えて」という要望に応えられないようなもの。
3. 解像度が低い（Low Resolution）:
   • 4K などの超高画質の写真を扱うと、AI が処理しきれず、画像を小さくしてから拡大してしまい、ボヤけてしまうことがありました。
   • 例え話: 4K の高画質テレビで映画を見たいのに、スマホの小さな画面で見てから、無理やり拡大して投影しているようなもの。

---

🍌 Agent Banana のすごいところ（2 つの秘密兵器）

Agent Banana は、これらの問題を解決するために、2 つの「秘密兵器」を持っています。

1. 📝 「文脈折りたたみ（Context Folding）」：記憶の整理術

長い会話や作業を続ける時、AI は「さっき何をしたっけ？」と混乱しやすくなります。

• 仕組み: Agent Banana は、長い会話履歴を**「要約ノート」**のように整理して記憶します。
• 例え話: 長い旅の日記を全部読み返すのではなく、「今日は何をしたか」「どこへ行ったか」を箇条書きのメモにまとめて、必要な時だけそれを見るようにするイメージです。これにより、何十回も指示を繰り返しても、AI は「今、どこにいるか」を常に把握し続けます。

2. 🧩 「画像レイヤー分解（Image Layer Decomposition）」：パズルのように編集

これまでの AI は、写真全体を一度に塗り替えていました。でも、Agent Banana は**「必要な部分だけ」を切り取って編集**します。

• 仕組み: 写真から「変えたい部分（例えばボトル）」だけを切り取り、そこだけを編集して、元の写真にパズルのように戻します。
• 例え話: 壁紙を貼り替える時、壁全体を剥がしてやり直すのではなく、「壁紙が汚れている部分だけ」を切り取って新しいものと交換し、他の部分はそのまま残すイメージです。
• 効果: これにより、4K などの超高画質でも、背景の細かな質感や輪郭がボヤけることなく、綺麗に編集できます。

---

🛠️ 実際の動き：どうやって働くの？

Agent Banana は、2 人の「エージェント（助手）」がチームで働いています。

1. プランナー（企画担当）:
   • ユーザーの「あのボトルの青を、もっと優しい海の色にして」という曖昧な指示を聞いて、**「まずボトルを切り取る→色を変える→元に戻す」**という具体的な手順（レシピ）を考えます。
2. エグゼキューター（実務担当）:
   • プランナーの指示に従って、実際に画像を編集します。もし「色が違う！」と思ったら、自分で「失敗した」と判断してやり直し（自己反省）もします。

このチームワークにより、「やりすぎ」を防ぎ、「元の良さを残したまま」、**「何回も会話しながら」**完璧な編集を実現します。

---

📊 評価：「HDD-Bench」というテスト

彼らが本当にすごいのか、確かめるために**「HDD-Bench」**という新しいテストを作りました。

• 特徴: 4K 超高画質の画像を使い、**「3 回連続の指示」**を出して、どこまで正確に、どこまで元に戻せるかをチェックします。
• 結果: Agent Banana は、他の AI が「背景がボヤけてしまった」や「指示と違う色になった」ところを、見事にクリアしました。特に、**「変えてはいけない部分は、全く変化させない」**という点で、他を圧倒しました。

---

🌟 まとめ

Agent Bananaは、単なる「写真加工ツール」ではなく、**「写真編集のプロフェッショナルなパートナー」**です。

• 高い解像度で、細部まで綺麗に編集できる。
• 長い会話でも、文脈を忘れない。
• 必要な部分だけを変えて、他の部分は守る。

これにより、プロのデザイナーや写真家が、**「もっとこうしたい」「いや、元に戻して」という複雑な要望にも、安心して任せることができるようになります。まるで、「自分の意図を完璧に理解してくれる、最高のアシスタント」**が隣に付いているような体験ができるのです。

技術概要

Agent Banana: 高忠実度画像編集のためのエージェント的思考とツールの活用

本論文は、プロフェッショナルなワークフローにおける指示ベースの画像編集における課題を解決し、高解像度・多ターン編集を可能にする新しいフレームワーク「Agent Banana」と、その評価のためのベンチマーク「HDD-Bench」を提案するものです。

以下に、論文の技術的な概要を問題定義、手法、主要な貢献、結果、意義の観点から詳細にまとめます。

1. 問題定義 (Problem)

現在の生成系画像編集モデルは、以下の 3 つの持続的な課題に直面しています。

1. 過剰編集 (Over-editing): ユーザーの意図を超えてコンテンツを変更し、不要な領域まで改変してしまう。
2. 多ターン編集の信頼性低下: 既存モデルは主に単ターン（1 回きり）の編集に特化しており、多ターン（複数回）の対話を行うと、オブジェクトの忠実性が損なわれたり、背景が徐々に劣化（ドリフト）したりする。
3. 解像度と評価の乖離: 現在の評価ベンチマークは約 1K 解像度で実施されることが多いが、実際のプロフェッショナルなワークフロー（写真、VFX、映画など）では 4K 以上の超高解像度画像が扱われており、解像度の低下やテクスチャの劣化が深刻な問題となっている。

2. 手法 (Methodology)

Agent Banana は、高レベルの推論・計画とツール使用能力を統合した、階層的なエージェント型フレームワークです。これは Vision-Language Models (VLM) の進歩を活用し、以下の 2 つの主要なメカニズムを備えています。

2.1 コンテキスト折りたたみ (Context Folding)

長期的な対話におけるコンテキストの爆発的増加と、LLM のトークン制限の問題を解決します。

• 階層的メモリ抽象化: 相互作用の履歴を 3 つのレベルに分解して構造化します。
  • Asset Level (ImageContext): 画像生成後の状態を、URI、テキスト記述、親 URI、変換タイプを含む軽量なセマンティックノードとして抽象化。画像の進化履歴を最小限のオーバーヘッドで追跡。
  • Execution Level (ToolContext): 単一ステップの推論における一時的な作業メモリ。ツール選択やパラメータ設定などの微細な操作を記録するが、タスク完了後は長期メモリに蓄積せず「折りたたむ」ことでノイズを排除。
  • Planning Level (ActionContext): 各ラウンド完了後に確立される永続メモリ。検証された有効な編集パス（最終意図と対応する ImageContext のシーケンス）のみを保持。これにより、数十回の対話後もエージェントがタスクの全体像を維持できます。

2.2 画像レイヤー分解 (Image Layer Decomposition: ILD)

フルイメージの再サンプリングによる詳細の損失と解像度制限を回避します。

• 局所処理パラダイム: 「分解（Decompose）→編集（Edit）→融合（Fuse）」のアプローチを採用。
• 仕組み: 動的なオブジェクト認識マスクを用いて、高解像度のオリジナル画像から対象領域を損失なく切り出し、独立したレイヤーパッチとして処理します。
• 利点: 背景や編集対象外の領域は再サンプリングされないため、ピクセルレベルの忠実性が保たれ、4K 以上のネイティブ解像度編集が可能になります。編集後はガウシアンブレンディングで元画像にシームレスに統合されます。
• 原子操作: replace（置換）, remove（削除）, add（追加）, adjust（調整）, undo（元に戻す）の 5 つの原子命令で構成されます。

2.3 エージェントの構造

• Planner: ユーザーの指示を解釈し、複雑なタスクを実行可能なサブゴールに分解し、進捗を監視します。
• Executor: 局所的な画像領域に対して原子操作を実行し、MCP サーバーを介してツールを選択・呼び出します。品質テスト（Quality Test）による自己修正・ロールバック機能を持ちます。

3. 主要な貢献 (Key Contributions)

3.1 HDD-Bench (High-Definition, Dialogue-based Benchmark)

プロフェッショナルな編集ワークフローに即した評価ベンチマークを構築しました。

• 特徴: 多ターン対話、ネイティブ 4K 解像度（約 1180 万ピクセル）、オブジェクトレベルの編集粒度、論理的な依存関係を持つ指示チェーン、および検証可能な段階的目標を備えています。
• データ生成: 人間の介入を最小限に抑えつつ、属性レベルの状態空間で編集軌跡を合成するスケーラブルなデータパイプラインを採用。状態遷移の正しさを数学的に保証し、段階的な失敗診断を可能にします。
• 評価プロトコル:
  • 状態ベース指標: 指示遵守度 (Instruction Following) と画像一貫性 (Image Consistency)。
  • Otsu マスク付き背景忠実度: 編集対象外の背景領域のみを抽出し、PSNR/SSIM/LPIPS を計算。これにより、意図しない背景の劣化を正確に測定します。

3.2 新規概念の提唱

• Prior-Induced Editing Drift (PIED): 多ターン編集において、各ターンが個別にはリアルに見えても、生成モデルの事前分布（Prior）の影響で、編集対象外の領域が徐々にモデルの好むテクスチャやスタイル統計にドリフトする現象を定義し、その測定方法を示しました。

4. 結果 (Results)

HDD-Bench および標準的な単ターンベンチマーク（ImgEdit-Bench）での評価結果は以下の通りです。

• 多ターン一貫性と背景忠実度: Agent Banana は、多ターン一貫性（IC: 0.871）と背景忠実度（SSIMOM: 0.84, LPIPSOM: 0.12）において SOTA（State-of-the-Art）を達成しました。特に、背景のドリフトを抑制し、意図しない領域の劣化を防ぐ点で他モデルを凌駕しています。
• 高解像度対応: 4K ネイティブ解像度での編集を可能にする唯一のモデル群の一つです。他のモデルが解像度を低下させたり、アップスケーリング後にアーティファクトが発生したりするのに対し、Agent Banana は高周波情報の保持に成功しています。
• 単ターン性能: 複雑な計画を前提としたアーキテクチャですが、単ターンの編集タスクにおいても主要なモデルと同等かそれ以上の精度を維持しています。
• 定性的評価: 複雑な指示（例：特定のボトルの色のみを変更し、注がれている液体や背景は変えない）に対して、意図を正確に理解し、過剰編集を防ぐ能力が確認されました。

5. 意義とインパクト (Significance)

• プロフェッショナルワークフローへの統合: 現在の生成 AI 画像編集が抱える「解像度の壁」と「多ターン編集の不安定性」という 2 つの大きな障壁を克服し、写真、グラフィックデザイン、VFX などの実務現場での利用可能性を大幅に高めます。
• 評価基準の革新: 単なる最終結果の比較ではなく、段階的な状態遷移と検証可能な中間目標に基づく評価プロトコルを確立しました。これにより、長期的な失敗モード（過剰編集、ドリフト、不可逆的な劣化）の診断が可能になります。
• 責任ある AI 開発: 編集の制御性と失敗の蓄積を測定する枠組みを提供することで、誤った視覚コンテンツの作成や同意なき操作を防ぐための監査基盤を整備し、倫理的な利用を促進します。

総じて、Agent Banana は、LLM の推論能力と VLM の知覚能力、そしてレイヤーを意識したツール使用を組み合わせることで、高忠実度かつ信頼性の高いエージェント型画像編集の実現に向けた重要な一歩を示しています。