🤖 AI

Edit-R2: Context-Aware Reinforcement Learning for Multi-Turn Image Editing

本論文は、コンテキストの希薄化と状態の汚染を軽減するためにセッションの意図を再構成することで、マルチターン画像編集を強化する強化学習フレームワークであるEdit-R2と、体系的な評価のためのMICE-Benchベンチマークを紹介する。

原著者： Yuxiao Ye, Haoran He, Fangyuan Kong, Xintao Wang, Pengfei Wan, Kun Gai, Ling Pan

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

原著者： Yuxiao Ye, Haoran He, Fangyuan Kong, Xintao Wang, Pengfei Wan, Kun Gai, Ling Pan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に才能はあるものの、少し忘れっぽいデジタルアーティストと一緒に仕事をしていると想像してください。あなたは写真を編集したいので、シンプルな指示を出します。「犬の首輪を青に変えて。」彼らは完璧にそれをこなしました。

次に、作業を続けたいと思います。「次は、犬のリードを紫にして。」彼らはそれもできました。それから、「やっぱり、犬の目を緑に変えて。」

ここに問題があります。現在のほとんどのAIアーティストは、会話が長くなると混乱してしまいます。彼らは、以前に「リードを紫にする」と頼んだことを忘れてしまったり、「それ」という言葉が画像全体ではなく、特定の対象を指しているのか分からなくなったりします。彼らは会話の流れを見失い、最終的な結果は、あなたの指示と彼ら自身のミスの混ざり合った、めちゃくちゃなものになってしまいます。

この論文では、この問題を解決するEdit-R2と呼ばれる新しいシステムを紹介しています。これは、そのデジタルアーティストに**「強力なメモ帳」と「厳格なコーチ」**を与えるようなものです。

2つの大きな問題

著者らは、AIが長い編集セッションに失敗する主な理由として、2つの要因を特定しました。

「コンテキストの希釈化（Long-Context Dilution）」（忘れっぽいアーティスト）: 指示や画像が増えるにつれ、AIは圧倒されてしまいます。それは、毎秒新しい項目を叫ばれながら、買い物リストを覚えようとしているようなものです。初期の指示（例：「すべてを紫にする」）が、新しい指示のノイズにかき消されてしまうのです。
「状態の汚染（State Contamination）」（スノーボール効果）: もしAIがステップ1で小さなミス（例：間違ったオブジェクトを変更した）を犯した場合、そのミスはステップ2へと引き継がれます。ステップ3に達する頃には、画像はあまりにも崩れてしまい、AIは回復できず、セッション全体が失敗に終わります。

解決策：Edit-R2

著者らは、強化学習（Reinforcement Learning）（ビデオゲームのように、AIがプレイし、失敗し、勝ち続けるまで何度も挑戦して学ぶプロセス）を用いたEdit-R2を作成しました。

Edit-R2の仕組みを、簡単な比喩を使って説明します。

1. 「メモ帳」（IC-CoT）

AIは画像に手を加える前に、メモを書かなければなりません。これは**イン・コンテキスト連鎖思考（In-Context Chain-of-Thought）**と呼ばれます。

何をするのか: AIは最新の指示を見るだけでなく、これまでの会話全体を要約して振り返ります。
比喩: 写真を編集している最中に、変更を加える前に、「これまでのルール：追加されるものはすべて紫にする。前のオブジェクトはリボンだった。現在の指示は本を追加することである」という要約メモを読む場面を想像してください。
結果: このメモは、散乱した履歴を一つの明確でコンパクトな指示へと「蒸留」します。これにより、AIが「紫のルール」を忘れたり、「それ」が何を指しているのか混乱したりすることを防ぎます。

2. 「コーチ」（軌跡フィルタリング / Trajectory Filtering）

トレーニングプロセス中、AIは写真を編集するための多くの方法を試行錯誤します。時として、早い段階で大きなミスを犯すことがあります。

何をするのか: システムには安全メカニズムがあります。もしAIがセッションの「ルール」（例：紫の色ルールを無視する）に違反するミスを犯した場合、システムは即座にその試行を停止します。その失敗した試行は破棄され、AIはその特定の失敗から学習することはありません。
比喩: これはバスケットボールの選手を見守るコーチのようなものです。選手が最初の一歩で躓いたら、コーチは笛を鳴らして、「ストップ。そのランは終了だ。最初からやり直そう」と言います。これにより、選手が悪癖を練習してしまうのを防ぎます。

3. 「統一された目標」

通常、AIモデルは「考えること（メモを書く）」と「実行すること（絵を描く）」を別々に訓練されます。しかし、Edit-R2はこれらを同時に訓練します。

比喩: これは、ライターとイラストレーターがひとつのチームとして機能するように訓練するようなものです。ライターは、自分が混乱したメモを書けばイラストレーターが失敗することを知っています。イラストレーターは、自分が間違ったものを描けば、ライターのメモが無意味になることを知っています。彼らは、単なる現在のターンではなく、セッション全体の最適化を目指して学びます。

新しいテスト：MICE-Bench

このシステムの有効性を証明するために、著者らはMICE-Benchという新しいテストを構築しました。

比喩: これまでのテストは、「猫を描いて」と聞くようなものでした（シングルターン）。MICE-Benchは、多ラウンドにわたる面接のようなものです。「猫を描いて。次に、その猫を青にして。次に、その青い猫に帽子を被せて。最後に、帽子を脱がせて、でも青い色は維持して。」
このテストは、以下の3つを測定します。
- 指示への追従性（Instruction Following）: 指示通りにできたか？
- コンテンツの一貫性（Content Consistency）: 触れていない部分を維持できているか？
- グローバルな認識力（Global Awareness）: 最初の方に設定した「ルール」（例：「すべては紫でなければならない」）を覚えているか？

結果

Edit-R2を他のトップAIモデルと比較テストした結果：

記憶力が向上した: 「紫のルール」を忘れたり、「それ」や「彼ら」といった代名詞に混乱したりすることはありませんでした。
一貫性を維持した: 3〜4回の編集工程を経ても、画像は元の写真のまま、要求された変更だけが加えられていました。
競合を圧倒した: 大手テック企業の強力なモデルを含む他の優れたモデルに対し、特に長時間のマルチステップ編集セッションにおいて、高いパフォーマンスを示しました。

まとめ

この論文は、AIが真に役立つ編集ツールとなるためには、すべての指示を「新たなスタート」として扱うのをやめる必要があると主張しています。Edit-R2は、AIに対して、会話を記憶し、行動する前に自分の思考を要約し、ミスがプロジェクト全体を台無しにする前に失敗から学ぶことを教えます。これにより、AIは「物忘れの激い、一度限りの芸人」から、「信頼できる長期的なクリエイティブ・パートナー」へと進化するのです。

技術要約: Edit-R2 – マルチターン画像編集のためのコンテキスト認識型強化学習

問題提起

拡散モデルや統合マルチモーダル基盤モデルによって駆動される現在のテキスト誘導型画像編集システムは、主にシングルターン設定で動作しています。これらのシナリオでは、モデルは入力画像と単一の指示を受け取り、一つの編集された出力を生成します。この定式化は、ユーザーが連続する指示を通じて反復的に画像を洗練させていく、現実的なマルチターン・インコンテキスト編集のワークフローを捉えることができていません。

このようなマルチターンセッションにおいて、モデルは2つの結合された失敗モードに直面します：

ロングコンテキストの希釈化（Long-Context Dilution）: セッションが進むにつれて、画像とテキストが交互に並ぶ履歴が増大します。初期のターンにおける疎なテキスト制約は、アテンションの減衰と、生成された画像をエンコードするために必要な膨大なビジュアルトークンの予算により、回収が困難になります。
状態の汚染（State Contamination）: 初期のターンで行われたエラー（例：オブジェクトの配置ミスや属性変更の誤り）が前方へと引き継がれ、後続の生成を劣化させ、トレーニングのロールアウトを信頼できないものにします。

既存のベンチマークや学習パラダイムは、主に**履歴非依存（history-agnostic）**であり、各ターンを直前の画像と現在の指示のみに依存する独立したタスクとして扱っており、セッションレベルの蓄積された制約を無視しています。

手法: Edit-R2

著者らは、統一マルチモーダルモデル（具体的にはBAGELをベースとしたもの）のために設計された、新しい強化学習（RL）ポストトレーニングフレームワークであるEdit-R2を提案します。Edit-R2は、マルチターン・インコンテキスト編集を**セッションレベルのマルコフ決定過程（MDP）**として定式化し、コンテキストの喪失と状態の汚染に対処するための3つのコアメカニズムを導入しています。

1. インコンテキスト連鎖思考（IC-CoT）によるセッション状態の再構築

ロングコンテキストの希釈化を軽減するため、Edit-R2は生のインターリーブされた履歴を生成器に直接渡すのではなく、IC-CoTモジュール（「理解エキスパート」）を採用し、各生成ステップの前にフルセッション履歴に対して推論を行います。

機能: このモジュールは、分散した履歴上の制約（例：「追加されるすべてのオブジェクトは紫であること」といったグローバルなルール）を統合し、代名詞（例：「それの色を変えて」）を解決することで、操作的なセッション意図を再構築し、明示的で強化された指示（ $\tilde{T}_t$ ）へと集約します。
利点: これにより、コンパクトな推論トレースが作成され、生成モジュールと、それが必要とする重要な情報の間の距離が短縮され、安定した状態表現が提供されます。

2. 統合マルチターンRL目的関数

Edit-R2は、IC-CoTの推論トレースと視覚的生成プロセスを共同で最適化します。

結合された空間: 本フレームワークは、意図再構築のための離散的なテキスト空間と、フローマッチング画像生成器の連続的な潜在空間を結合します。
報酬構造: 各ターンにおいて、以下の要素を組み合わせた複合報酬関数（ $r_t$ $r_{t}$ ）が定義されます：
- 指示遵守（Instruction Following: IF）: モデルは現在の指示を実行したか？
- コンテンツ一貫性（Content Consistency: CC）: 非ターゲットのコンテンツは保持されているか？
- グローバルな認識（Global Awareness: GA）: 出力は、以前のターンで確立されたセッションレベルの制約に従っているか？
最適化: 方策（Policy）はUnified-GRPOを用いて更新されます。これは、CoTトークンシーケンスとフロー・トラジェクトリを共同の決定として扱い、推論モジュールがダウンストリームの視覚的生成能力に対して特化して最適化されることを保証します。

3. トラジェクタリー・フィルタリング（Prefix-Valid Advantage Refinement）

状態の汚染に対処するため、Edit-R2はトラジェクタリー・フィルタリングメカニズムを実装しています。

メカニズム: 特定のターンの報酬が閾値（ $\delta$ ）を下回った場合、そのロールアウトは直ちに終了されます。そのトラジェクタリー内の後続のターンは破棄されます。
アドバンテージの精緻化（Advantage Refinement）: 方策更新のためのアドバンテージ推定は、アクティブなロールアウト（終了していないもの）のみに基づいて正規化されます。これにより、破損した低品質なトラジェクタリーが正規化のベースラインを歪め、トレーニング信号を汚染することを防ぎます。

ベンチマーク: MICE-Bench

体系的な評価を可能にするため、著者らは720のマルチターン・インスタンス（各3ターン）からなる大規模データセットであるMICE-Bench（Multi-turn In-Context Editing Benchmark）を導入します。

タスク:
- コンテンツメモリ: セッションレベルの制約への遵守をテストします（例：「追加されるすべてのオブジェクトは赤色であること」）。
- コンテンツ理解: ターンをまたいだ代名詞の照応解析をテストします（例：「それを取り除く」）。
指標: 標準的な指示遵守（IF）およびコンテンツ一致（CC）に加え、蓄積されたセッションレベルの制約への適合性を定量化する新しい指標として、**グローバルな認識（Global Awareness: GA）**を導入します。

主な結果

MICE-Benchにおける実験により、Edit-R2が既存のオープンソースおよびクローズドソースのベースラインを大幅に上回ることが示されました。

性能向上: ベースモデルであるBAGELと比較して、Edit-R2は特にコンテキストの喪失が最も深刻になる後半のターンにおいて顕著な改善を示しました：
- ターン2: IF +18%、GA +18%。
- ターン3: IF +8%、GA +15%。
アブレーション研究:
- IC-CoTを除去すると、ターン2およびターン3での性能が低下し、コンテキスト希釈を軽減する役割が確認されました。
- Text-GRPO（共同最適化）を除去すると、得られる利得が減少することから、推論モジュールと生成モジュールを共に最適化する必要性が浮き彫りになりました。
- Prefix-Valid Advantage Refinementを除去すると、全体的なパフォーマンスが低下し、破損したロールアウトをフィルタリングすることの重要性が検証されました。
定性的分析: アテンションの可視化により、Edit-R2は初期のターンからの主要なオブジェクト・トークンに対して鋭く集中したアテンションを維持しているのに対し、ベースラインモデル（BAGELなど）は、RoPEの距離減衰により、拡散し、方向を見失ったアテンションを示しています。

意義と主張

本論文は、Edit-R2が画像編集システムをセッションレベルの一貫性を持つものへと進化させる重要な一歩であると主張しています。

パラダイムシフト: 単なる局所的な編集を超え、編集の価値は将来のターンに向けたコンテキストを保持する能力に依存するという、セッションレベルのRL問題へと移行させています。
初の試み: Edit-R2は、長期間の依存関係と状態の汚染という特有の課題に対処した、インコンテキスト編集に特化した初のRLポストトレーニングフレームワークの一つとして提示されています。
評価基準: MICE-BenchとGA指標を導入することで、本研究は、これまでモデルとデータセットの両方において未開拓であった、マルチターン・インコンテキスト編集を評価するための最初の体系的かつ自動化されたプロトコルを提供します。

著者らは、MICE-Benchは2つの代表的なシナリオをカバーしているものの、本フレームワークが現実世界のインタラクティブな編集におけるより広範なユーザー意図の探索に向けた基礎を築くものであると結論付けています。また、制御可能な画像生成のリスク（例：偽情報の拡散）を認識し、モデルの重みとともに使用ガイドラインを公開することを約束しています。