RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

本論文は、主観的なクリエイティブ編集における報酬信号の欠如を解決するため、ケースごとに生成された指標に基づいて編集結果を評価する一般化報酬モデルを備えた MLLM エージェント「RetouchIQ」を提案し、指示に基づく実行可能な画像レタッチの精度と品質を大幅に向上させることを示しています。

要約

こんにちは！この論文「RETOUCHIQ」について、難しい専門用語を使わず、誰でもイメージしやすいような「料理」と「料理の先生」の話に例えて、日本語で簡単にお話ししますね。

🍳 料理の達人と、完璧な味見をする先生

Imagine（想像してみてください）：
あなたが「もっと美味しくしたい！」と料理（写真）を作りたいとします。でも、プロの料理人（写真編集ソフト）の使い方がよくわからなくて、どうすればいいか迷っている状態です。

ここで登場するのが**「RETOUCHIQ（リタッチ IQ）」**という新しい AI です。

1. 何ができるの？（料理の注文と実行）

あなたはただ「もっと美味しくして！」と頼むだけでいいんです。

• あなたの言葉： 「夜景をもっとドラマチックにして、星空が輝くようにして！」
• RETOUCHIQ の仕事： 「なるほど、夜景をドラマチックにするなら、まず『露出（明るさ）』を少し上げて、次に『彩度（色の鮮やかさ）』を調整して、最後に『色温度』を少し冷たくして青みを出そう」と考えます。

そして、プロの料理人（Adobe Lightroom という写真編集ソフト）に「この手順で調理して！」と指示を出し、実際に美味しい料理（美しい写真）を完成させます。

2. 最大の難問：「美味しい」の基準は人それぞれ

ここがこれまでの AI が困っていたポイントです。
「もっと美味しくして」と言われても、人によって「スパイシーな味」が良い人もいれば「甘辛い味」が良い人もいます。

• 昔の AI の問題点： 「正解の味（参考料理）」が一つしかないと思い込んで、「参考料理と 100% 同じ味じゃないとダメだ！」と厳しくチェックしていました。でも、写真の編集は「正解が一つではない」ので、このやり方だと AI は「あれもダメ、これもダメ」と混乱して、良い料理が作れませんでした。

3. 解決策：「万能な味見先生（Generalist Reward Model）」

そこで、RETOUCHIQ は新しい**「味見先生」を雇いました。
この先生は、単に「参考料理と比べて同じか？」をチェックするのではなく、「あなたの注文（『星空をドラマチックに』）に対して、この料理は本当に美味しくなっているか？」**を、その都度柔軟に判断します。

• 先生の判断： 「星空をドラマチックにするという注文なら、この青みと明るさは完璧！でも、このコントラストは少し強すぎるかもね」と、その場に合わせて評価基準（メトリクス）を考えながら、AI に「もっと良くしよう！」とアドバイスします。

4. すごい技術：「PGRT（先生と料理人の共演）」

さらに、このシステムには**「PGRT（ポリシー・ガイドド・リワード・トレーニング）」**という魔法のような仕組みがあります。

• 従来のやり方： 先生は「料理人が作った料理」と「わざとまずくした料理」を比べて、「どっちが美味しい？」と練習していました。でも、料理人が実際に作る料理は複雑で、わざとまずくした料理とは全然違うので、先生の練習が実戦に役立たないことがありました。
• RETOUCHIQ のやり方： 先生は、**「料理人が実際に作った料理」と、「料理人が作った料理を少しだけ変えて、わざと少しだけ良くない状態にしたもの」**を比べる練習をします。
  • これにより、先生は料理人の「癖」や「複雑な調理法」を理解できるようになり、より的確なアドバイスができるようになります。
  • 結果として、料理人（AI）も先生（評価モデル）も、お互いに成長して、より素晴らしい料理（写真）が作れるようになるのです。

🌟 まとめ：何がすごいのか？

1. 自然な言葉で指示できる： 「もっと暖かい雰囲気にして」「映画のような感じにして」と、普通の会話で写真編集ができます。
2. 正解が一つじゃない問題も解決： 「美味しい」の基準が人それぞれでも、AI が文脈を理解して、最適な編集を提案します。
3. プロのツールを使う： 単に画像を生成するだけでなく、プロが使う「Lightroom」のような本物の編集ソフトを操作して、パラメータ（明るさ、色味など）を細かく調整します。

つまり、「RETOUCHIQ」は、あなたの言葉で写真の雰囲気を完璧に理解し、プロの編集ソフトを使って、まるで写真のプロが手掛けたかのような美しい仕上がりを実現する、賢いアシスタントなのです。

これからは、難しい編集ソフトの操作を覚える必要なく、あなたの「イメージ」を言葉にするだけで、素敵な写真が作れる時代が来るかもしれませんね！

技術概要

RETOUCHIQ: 一般化された報酬モデルによる MLLM エージェントを用いた指示ベースの画像レタッチ技術

本論文は、Adobe Research と UC サンタバーバラの共同研究チームによって提案されたRETOUCHIQというフレームワークについて述べています。これは、マルチモーダル大規模言語モデル（MLLM）エージェントを活用し、ユーザーの自然言語指示に基づいて、Adobe Lightroom などの専門的な画像編集ソフトウェアで実行可能な高品質な画像レタッチを行うためのシステムです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年、MLLM は視覚理解と言語推論を統合し、外部ツールを呼び出してタスクを実行する「エージェント」としての能力を発揮しています。しかし、画像レタッチ（写真の補正や加工）の分野において、以下の課題が存在していました。

• 主観的な評価の難しさ: 画像レタッチは芸術的・主観的なタスクであり、「良い編集」の基準は一意ではありません。同じ指示に対しても、複数の異なる編集結果が正解となり得ます。
• 既存の報酬モデルの限界: 強化学習（RL）を用いたエージェントの訓練において、従来の「検証可能な報酬（Verifiable Reward）」は、固定された正解画像（Ground Truth）との画素レベルの類似度（L1/L2 距離など）に基づいてスコアを算出します。しかし、主観的な編集タスクでは、正解が一つに定まらないため、この手法は信頼性が低く、モデルの学習を阻害します。
• 分布のズレ: 既存の研究では、弱編集データ（Sub-optimal edits）を生成するために、パラメータを単純に摂動（Perturbation）させたデータを使用することが多いですが、実際のポリシーモデルが生成する複雑な編集結果との間に分布のズレが生じ、報酬モデルの精度が低下する問題がありました。

2. 手法 (Methodology)

RETOUCHIQ は、ユーザーの指示を解釈し、実行可能なパラメータ調整（Exposure, Temperature など）を生成する MLLM エージェントです。そのトレーニングパイプラインは以下の 3 つの段階で構成されます。

2.1 データ準備

• 実ユーザーデータ: 既存の研究が合成データに依存するのに対し、RETOUCHIQ は実ユーザーによる「編集前・編集後」の画像ペアと、それに対応する編集パラメータの履歴を収集しました。
• 指示と推論の注釈: 編集履歴から、MLLM アノテーターを用いて「ユーザーの意図（指示）」と「なぜそのパラメータを選んだか（推論プロセス）」を生成・注釈し、19 万組の「指示 - 推論 - 編集」ペアを構築しました。

2.2 教師あり微調整 (Supervised Fine-Tuning: SFT)

• 事前学習済みの MLLM をベースに、上記のデータセットを用いて微調整を行います。
• モデルは、入力画像とユーザー指示を受け取り、**「編集の意図を説明する推論トレース」と「実行可能なパラメータ設定（編集ステップ）」**の両方を生成するように学習します。

2.3 強化学習 (Reinforcement Learning: RL) と一般化報酬モデル (GRM)

SFT だけでは多様な指示への適応が不十分なため、RL 段階を導入します。ここでの中核となるのが**一般化報酬モデル（Generalist Reward Model: GRM）**です。

• 一般化報酬モデル (GRM):
  • 従来のルールベースではなく、編集された画像と指示を入力として受け取り、ケースバイケースで評価基準（メトリクス）を動的に生成し、その基準に基づいて画像の品質をスカラー値として評価する MLLM です。
  • 例：「秋の雰囲気」の指示であれば、「黄色・オレンジトーン」「自然な白バランス」などのメトリクスを生成し、それらに基づいてスコアを算出します。
• ポリシーガイド報酬トレーニング (Policy-Guided Reward Training: PGRT):
  • 従来の「摂動データ（Perturbed Data）」による弱編集生成では、ポリシーモデルが生成する複雑な編集結果との分布が一致しないという問題がありました。
  • PGRT では、ポリシーモデル自身が生成した結果を「弱編集（Sub-optimal）」の候補として利用し、報酬モデルをトレーニングします。これにより、報酬モデルとポリシーモデルのデータ分布を一致させ、より安定した学習を実現します。
  • ポリシーモデルと報酬モデルを交互に最適化する戦略を採用しています。

3. 主要な貢献 (Key Contributions)

1. RETOUCHIQ の提案: 画像レタッチの「主観性」に対処するため、固定された正解に依存せず、文脈を考慮した柔軟な指導を行う一般化報酬モデルを導入した、初のフレームワークです。
2. PGRT (ポリシーガイド報酬トレーニング) の提案: ポリシーモデルからの信号を活用して報酬推論を洗練させる新しい RL パラダイムを提案しました。これにより、単純な摂動データでは捉えきれない微細な知覚的差異を評価できるようになりました。
3. 高性能な結果とベンチマークの確立:
   • 既存の MLLM エージェントや拡散モデル（Diffusion Models）を上回る、意味的一貫性と知覚的品質を達成しました。
   • 専門的な編集ツールを用いた指示ベースの画像編集を評価するための新しいベンチマークRETOUCHEVALを構築しました。

4. 実験結果 (Results)

• ベンチマーク (RETOUCHEVAL & MIT-Adobe5K):
  • 品質向上、スタイル変換、ローカルレタッチの 3 つのタスクにおいて、GPT-5、Gemini-2.5 などの汎用 MLLM や、JarvisArt、MonetGPT などの既存エージェント、Flux-Pro などの拡散モデルを大幅に上回る性能を示しました。
  • 特に、拡散モデルが元の画像構造を歪めてしまうのに対し、RETOUCHIQ は元の画像のアイデンティティを維持しつつ、指示通りの編集を正確に実行しました。
• PGRT の効果:
  • 摂動データのみでトレーニングされた報酬モデルと比較して、PGRT を用いた報酬モデルは、ポリシーモデルが生成する実際の編集結果に対する評価精度が向上しました。
  • これにより、最終的なポリシーモデルの性能も最も高いレベルに達しました。
• 定性的評価:
  • 夜景のバランス調整やトーンの調和など、難しいシナリオにおいても、専門的なレベルのレタッチ結果を生成できることが確認されました。

5. 意義 (Significance)

RETOUCHIQ は、AI による画像編集の分野において以下の重要な意義を持っています。

• ブラックボックスからの脱却: 拡散モデルのような「生成」ベースの編集に対し、RETOUCHIQ は「実行可能なパラメータ調整」を生成するため、編集プロセスが透明で、制御可能（Explainable & Executable）です。
• 専門ツールとの統合: 単なる画像生成ではなく、Adobe Lightroom などのプロフェッショナルなツールを操作するエージェントとして機能し、実用的なワークフローへの統合を可能にします。
• 主観的タスクへの RL 適用: 「正解が一つではない」主観的な創造的タスクにおいて、一般化報酬モデルと PGRT を用いることで、強化学習を成功させる新しいアプローチを示しました。

結論として、RETOUCHIQ は、自然言語指示から専門的な画像編集までを可能にする、柔軟で説明可能かつ実行可能な AI アシスタントとして、プロフェッショナルな画像編集の未来を切り拓く可能性を秘めています。