技術要約: PAINTBENCH

問題提起

現在のマルチモーダルモデルは、オープンエンドで主観的な視覚的編集（例：「空をもっと青くして」）には習熟している一方で、精密で単一の正解を持つ視覚的編集タスクには苦戦している。既存の画像編集ベンチマークの多くは、人間の判断、視覚言語モデル（VLM）によるスコアリング、あるいは知覚的指標（SSDT、LPIPS、FIDなど）に依存している。これらのアプローチは、決定論的なグラウンドトゥルース（正解）が存在するタスクには適しておらず、バイアスを導入し、正確な正解性を検証することができない。本論文は、図形を50ピクセル移動させる、特定の領域を塗りつぶす、あるいは特定のインスタンスを削除するといった、一意の正しい出力が存在するラスタ操作を、モデルが実行できるかどうかを評価する際のギャップを指摘している。

手法

PAINTBENCH: 決定論的ベンチマーク

著者らは、4つのカテゴリにわたる20の基本的な精密視覚編集操作を評価するために設計された、プロシージャル生成によるベンチマークであるPAINTBENCHを導入している。

1. 幾何学的変換: 平行移動、回転、反転、スケーリング、せん断（shearing）。
2. 構造的操作: 構築、削除、コピー、境界線、クロッピング。
3. 色の変更: 再着色、塗りつぶし、ブレンディング、グラデーション、ポイント操作。
4. 記号的推論: 比較、順序付け、パターン、カウント、凡例。

生成と設計:

• プロシージャル生成: 問題は、設定可能なパラメータ（キャンバスの寸法、オブジェクト数、背景のテクスチャ、カラーパレット）を持つランダムなシードから生成される。これにより、実質的に無限で、汚染（コンタミネーション）耐性のある評価スイートが作成される。
• 決定論的グラウンドトゥルース: 各問題は、入力画像、自然言語による指示、および決定論的な変換 $A = f(I, t)$ によって生成された一意のグラウンドトゥルース回答画像で構成される。
• 視覚的条件: ロバスト性をテストするため、すべてのタスクは、一度に一つのパラメータを変化させた8つの視覚的条件下で評価される（例：縞模様の背景 vs 無地の背景、3個から60個のオブジェクト数、非標準的なカラーパレット）。

評価プロトコル:

• ピクセルレベルの比較: 評価は「判定モデル」を一切排除している。代わりに、モデルの出力 $\hat{A}$ を、グラウンドトゥルース $A$ および入力 $I$ とピクセルレベルで比較する。
• 色の距離: ピクセルごとの正確性は、CIE Lab*空間における $\Delta E^*_{76}$（ユークリッド距離）を用いて測定される。距離が許容誤差 $t \in \{0, \dots, 10\}$ 以内であれば、そのピクセルは正しいとみなされる。
• 指標:
  • IoU@t: ピクセルの正確性に適用されるジャカード指数であり、編集の失敗（誤って編集されたピクセル）と保存領域の破損（誤って保存されたピクセル）の両方を共同で罰する。
  • mIoU (Mean IoU): 主要な要約指標であり、11のカラー許容誤差（$t=0$ から $10$）およびすべての問題にわたってIoU@tを平均化したものである。これは、カラー精度の全スペクトラムにわたるパフォーマンスを捉える。

TINYGRAFIXBENCH

合成図形を超えた汎用性をテストするために、著者らはデータ可視化編集のためのコンパニオン・ベンチマークであるTINYGRAFIXBENCHを導入している。これは、5つのチャートタイプ（棒グラフ、散布図、折れ線グラフ、ヒートマップ、ネットワーク）に対して、同様のプロシージャルかつ決定論的なフレームワークを600の問題に適用したものである。

主な結果

全体的なパフォーマンス

評価された11のモデル（ネイティブ・マルチモーダル生成器、拡散エディタ、フローマッチング・エディタを含む）全体において、パフォーマンスは極めて低い:

• 最も優れた性能を示したモデル（NANO-BANANA-2）は、わずか17.1% mIoUを達成した。
• 二番目に優れたモデル（GPT-IMAGE-2）は**16.3%**であった。
• オープンウェイトモデルは一般にスコアが低く、一部のモデル（例：HUNYUANIMAGE-3.0、INSTRUCTPIX2PIX）は多くのタスクでほぼ0%となっている。

タスクの難易度と専門化

• 最も困難なタスク: 幾何学的変換（特にせん断やスケーリング）、数式に基づく色の変更（グラデーション、ブレンディング）、およびほとんどの構造的操作は、すべてのモデルにとって一貫して困難である。
• 容易なタスク: 削除および単一色の操作（再着色、塗りつぶし）は、より扱いやすいが、依然として解決には程遠い（例：Removalは最良のモデルで約50%に達する）。
• モデルの専門化: モデルは明確な強みを示す。例えば、GPT-IMAGE-2は幾何学的および構造的タスクに優れ、NANO-BANANA-2は色の変更および記号的推論においてリードしている。特筆すべきは、NANO-BANANA-2が「Legend」タスクで47.1%を記録したのに対し、GPT-IMAGE-2は19.4%であったことである。

シーンの変化に対する感度

モデルはシーンの変化に対して非常に脆弱である：

• 縞模様の背景: 大幅なmIoUの低下を引き起こす（例：NANO-BANANA-2で-11.1%）。
• 高いオブジェクト数: オブジェクト数の増加に伴い、パフォーマンスが線形に低下する（例：NANO-BANANA-2において、オブジェクト数が3個から60個に増えると-11.9%の低下）。
• 非標準的な色: 見かけ上のmIoUスコアは安定しているように見えるが、正確なピクセル一致精度（$\Delta E^*_{76} = 0$）は非標準的なパレットに対して崩壊しており、これはモデルが特定の非標準的な色を正確に再現することに苦戦していることを示している。
• 編集領域のサイズ: モデルはターゲット領域に対して**過剰に編集（over-edit）**してしまう。小さな編集領域（< 32² ピクセル）において、モデルは要求されるよりも50〜1,400倍多くのピクセルを変更してしまい、これが急激なパフォーマンス低下を招いている。

汎用性

PAINTBENCHとTINYGRAFIXBENCHのスコアの間には、強い線形相関（$R^2 = 0.91, p < 0.001$）がある。これは、PAINTBENCHの合成ベンチマークが、応用されたデータ可視化編集タスクへと汎用される基礎的な能力を捉えていることを示唆している。

意義と主張

本論文は、PAINTBENCHが、精密なマルチモーダル視覚編集における進歩を測定するための厳格でバイアスのない基盤を提供すると主張している。主観的でオープンエンドな評価から、決定論的なピクセルレベルの検証へと移行することで、現在の最先端モデルが基本的なラスタ操作を高い精度で実行する能力を根本的に欠いていることが明らかになった。

著者らは以下の点を強調している：

1. 現在のモデルは精密な編集において「解決済み」ではない: 最良のモデルであっても、幾何学的な精度や複雑な色のロジックを必要とするタスクの大部分で失敗する。
2. 評価はタスク固有である必要がある: 集計されたランキングは、重大なモデルの専門化や失敗モード（例：色の不正確さ vs 構造的な欠落）を隠蔽してしまう。
3. プロシージャル生成は不可欠である: 静的なベンチマークは汚染（コンタミネーション）を受けやすい。動的な生成により、シーンのバリエーション（背景、オブジェクト数、色）に関する制御されたアブレーション研究が可能になる。
4. このフレームワークは拡張可能である: PAINTBENCHおよびTINYGRAFIXBENCHで使用されたアプローチは、一意の正しい出力を持つ他のドメイン（科学的可視化、エンジニアリング図面、3Dシーン操作など）にも適用できる。

結論として、オープンエンドな生成が進歩している一方で、正確で決定論的な視覚的編集を実行する能力は、依然として極めて重要な、未解決の課題である。