CREval: 複雑な指示に基づく創造的画像操作のための自動化された解釈可能な評価手法

この論文は、複雑で創造的な指示（プロンプト）に従って画像を編集・生成するマルチモーダルモデルの性能を評価するための新しいフレームワーク**「CREval」と、それに特化したベンチマーク「CREval-Bench」**を提案するものです。既存の評価手法が抱える課題を克服し、人間のアノテーションに近く、かつ解釈性の高い自動評価を実現しています。

以下に、論文の主要な内容を技術的に要約します。

1. 背景と課題 (Problem)

近年、指示に基づく画像編集（Instruction-based Image Editing）モデルは急速に進化していますが、以下の課題が存在します。

• 複雑な創造的タスクへの対応不足: 既存のモデルは、物体の追加・削除や色の変更などの単純なタスクには強いですが、「自由なスタイルの創造的編集（例：キャラクターを特定の素材のぬいぐるみに変える、歴史的な文脈で再解釈するなど）」には依然として苦戦しています。
• 評価手法の限界: 既存のベンチマーク（ImgEdit-Bench, KRIS-Bench など）は、主に単純な操作に焦点を当てており、創造的なタスクを網羅的に評価できていません。
• MLLM スコアリングのブラックボックス化: 現在の評価では、マルチモーダル大規模言語モデル（MLLM）に画像を見て直接スコアを付けさせています。しかし、この方法は「なぜそのスコアになったか」という根拠が不明瞭（解釈性がない）であり、評価次元の網羅性が不十分になるリスクがあります。

2. 提案手法 (Methodology)

著者らは、CREval（評価フレームワーク）とCREval-Bench（評価用データセット）の 2 つを提案しました。

2.1 CREval-Bench（ベンチマーク）

複雑で創造的な画像編集を網羅的に評価するためのデータセットです。

• 規模: 800 以上の編集サンプルと、13,000 以上の評価クエリ（質問）を含む。
• 分類体系: 3 つの主要カテゴリと 9 つの創造的次元（Dimension）で構成されています。
  1. Customization（カスタマイズ）:
     • 派生キャラクター（Derivative Characters）: ちびキャラ、マスコット化など。
     • 再想像された表現（Reimagined Representations）: 切手、ポストカード、装飾品などへの転換。
     • 超現実的なファンタジー（Surreal Fantasy）: 現実存在しない生物やハイブリッド化。
  2. Contextualization（文脈化）:
     • コンテナ化されたシナリオ（Containerized Scenario）: 雪だるま、展示ケース内などへの配置。
     • 商業デザイン（Commercial Design）: パッケージ、広告、商品化。
     • 情報・物語的表現（Informational & Narrative Expression）: コミック、ポスター、インフォグラフィック化。
  3. Stylization（様式化）:
     • 芸術的スタイル変換（Artistic Style Transformation）: 油絵、水彩画などへの転換。
     • アイデンティティ・文化的変換（Identity & Cultural Transformation）: 歴史的・文化的テーマへの再解釈。
     • 素材変換（Material Transformation）: 陶器、レゴ、ぬいぐるみなど素材への変更。

2.2 CREval（評価フレームワーク）

MLLM を「スコアリング器」ではなく「質問回答（QA）の生成器・判定器」として活用する、VQA（Visual Question Answering）ベースの自動化パイプラインです。

• 3 つの核心指標:
  1. Instruction Following (IF): 指示された変更が正確に反映されているか。
  2. Visual Consistency (VC): 元の画像の重要な視覚的特徴（アイデンティティ、構図など）が保持されているか。
  3. Visual Quality (VQ): 生成された画像の質感、歪みのなさ、アーティファクトの有無。
• 評価プロセス:
  1. QA ペアの生成: 元の画像、指示、評価次元に基づき、MLLM（CoT: Chain-of-Thought を使用）が「Yes/No」形式の質問と正解を生成します。
     • 例: 「パールイヤリングは保持されていますか？（重要度：3）」
  2. 自動採点: 編集後の画像と元の画像、そして生成された質問を MLLM に提示し、回答を判定します。正解と一致すれば得点、不一致なら得点なし。
  3. 重み付き平均: 最終スコアは以下の式で計算されます。
     $$S = 0.4 \times S_{IF} + 0.4 \times S_{VC} + 0.2 \times S_{VQ}$$
     • 注記: 現在の MLLM は視覚品質（VQ）の微妙なアーティファクト検出に苦手とするため、IF と VC の重みを高く設定しています。

3. 主要な貢献 (Key Contributions)

1. CREval の提案: 複雑な指示に基づく創造的画像編集のための、完全自動化かつ解釈可能な QA ベース評価フレームワーク。MLLM の直接スコアリングの欠点（ブラックボックス性、次元の欠落）を解消。
2. CREval-Bench の構築: 3 カテゴリ 9 次元にわたる包括的なベンチマーク。800 以上のサンプルと 13K のクエリにより、多様な創造的シナリオを公平に評価可能。
3. 大規模なモデル評価: 主要なオープンソースモデル（Qwen-Image-Edit, FLUX など）とクローズドソースモデル（GPT-Image-1, Seedream 4.0, Gemini など）を対象とした包括的な実験。
4. 人間との相関検証: ユーザー調査により、CREval の自動スコアと人間の評価が強く一致することを証明し、信頼性を担保。

4. 実験結果 (Results)

GPT-4o を評価者として使用した実験結果は以下の通りです。

• 全体的な傾向: 現在のモデルは複雑な創造的タスクにおいて、指示の理解（IF）や視覚的整合性（VC）の維持に依然として課題を抱えています。特に VC（元の画像の要素保持）は多くのモデルで低いスコアでした。
• モデル別パフォーマンス:
  • クローズドソース: Seedream 4.0が総合スコアで最高性能を示し、IF, VC, VQ のバランスが優れていました。Gemini 2.5 Flash Imageがそれに続きます。
  • オープンソース: Qwen-Image-Edit-2509がオープンソースモデルの中で最高性能を記録し、Seedream 4.0 や GPT-Image-1 と同等かそれ以上の性能を示すケースもありました。**FLUX.1 Kontext [dev]**も高い性能を示しました。
  • 課題: 多くのモデルが「Surreal Fantasy」や「Informational & Narrative Expression」のような抽象度の高いタスクや、アイデンティティ保持が必要なタスクで失敗しやすいことが判明しました。
• 人間評価との整合性: 人間による評価（Human Preference）と CREval のスコアの相関が高く、本評価手法が人間の知覚と整合していることが確認されました。

5. 意義と将来展望 (Significance)

• 研究の基盤確立: 複雑で創造的な画像編集タスクを評価するための標準的なベンチマークと手法を提供し、今後のモデル開発の指針となります。
• 解釈性の向上: 「なぜそのスコアなのか」を QA 形式で示すため、開発者はモデルの弱点（例：特定の素材変換が苦手、元の顔の特徴を消してしまうなど）を具体的に特定できます。
• オープンソースの成長: 一部のオープンソースモデルがクローズドソースモデルに匹敵する性能を示しており、コミュニティの発展によるさらなる性能向上が期待されます。

この論文は、AI 画像編集の次の段階である「高度な創造性」をどう測り、どう改善するかという重要な課題に対して、技術的かつ実用的な解決策を提示したものです。