技術概要：テキストから画像への生成における信頼性ある評価のためのスキル整合アノテーション

問題提起

テキストから画像への（T2I）生成モデルが急速に進化するにつれ、異なるアーキテクチャ間の性能差は縮小しています。その結果、進歩を導き、特定の失敗モードを特定するために、信頼性ある評価が不可欠となっています。しかし、現在の評価慣行は、異質な評価スキルに無差別に適用される均一なアノテーションメカニズム（リッカート尺度による評価、二値質問回答（BQA）、またはペアワイズ比較など）に主に依存しています。

著者らは、この「すべてに通用する」アプローチが根本的に欠陥があると主張しています。異なる評価スキルは、空間的局在、離散的なテキスト制約、または外部ドメイン知識への依存など、明確な構造的特徴を持っています。これらの多様なスキルに均一なプロトコルを適用することは、回避可能な主観性を導入し、スキル固有の失敗モードを不明瞭にし、一貫性のない評価シグナルをもたらします。ここで提示される中心的な問いは、標準的なアノテーションメカニズムが、T2I 生成に内在する異質なスキルを均等に捉えるのに効果的かどうかです。

手法

1. スキル分類体系とタグ付け

著者らはまず、意味的忠実度と美的品質にわたる構造化された評価スキルの分類体系を確立します。この分類体系には以下が含まれます：

• 意味的スキル： 実体（数え上げ、存在）、属性（色、素材）、動作、空間配置、比較、照明、天候、視点、カメラ制御、気分、言語の複雑さ、時間、環境/ランドマーク、スタイル、固有名詞、テキスト描画。
• 美的スキル： 視覚的アーティファクトと全体的な美的品質。

これを運用可能にするため、彼らは大規模言語モデル（LLM）を搭載したスキルタグ付けエージェントを利用し、入力プロンプトを処理して以下の作業を行います：

1. 関連するすべてのスキルとサブスキルのペアを特定する。
2. 各スキルに対して構造化された検証質問（依存ノード）を生成する。
3. スキル、サブスキル、フレーズ、質問、依存関係を定義する構造化された形式を出力する。

2. スキル整合アノテーション戦略

単一のプロトコルを適用する代わりに、著者らはスキル整合アノテーションを提案します。これは、アノテーションメカニズムを特定のスキルの性質に合わせて調整するものです。彼らは、6 人の専門アノテーターと 3 つのオープンソース T2I モデル（FLUX.1-dev、Z-Image-Turbo、FLUX.2-dev）を使用して、これらの整合戦略と均一なベースラインの間で制御された比較を行いました。

主要な整合点は以下の通りです：

• 視覚的アーティファクト（空間的に局在化）： グローバルなリッカート評価をブラシベースのアノテーションに置き換えます。アノテーターはアーティファクトを含む特定の領域をマークします。指標は、マークされたピクセル数と総ピクセル数の比率です。
• テキスト描画（離散的構造）： グローバルな BQA またはリッカートスコアを単語レベルのアノテーションに置き換えます。アノテーターは期待される各単語を個別に評価し（正/誤）、余計な挿入に対して「ギャップトークン」をマークします。
• 参照依存スキル（ランドマーク、スタイル、固有名詞）： 標準的な BQA をアンカーベースのアノテーションに置き換えます。アノテーターには、生成された画像に加えて視覚的参照画像（アンカー）が提供され、判断を根拠づけることで、事前知識への依存を軽減します。
• 事実的スキル（存在、数え上げ）： 二値質問回答（BQA） を利用します。
• 美的品質： 全体的な魅力の基準としてリッカート評価を維持します。

3. 自動化評価パイプライン

スケーラビリティを可能にするため、著者らはこのプロトコルを専門のエージェントを使用した自動化パイプラインで具体化しました：

• 二値 QA エージェント： 検証質問に回答する。
• アンカーリッカートエージェント： 参照アンカーに対して生成された画像を比較する。
• 美的評価エージェント： 全体的な視覚的魅力を評価する。
• アーティファクト検出エージェント： LLM は直接画像に「ブラシ」をかけることができないため、事前学習済みモデル（PAL4VST）を使用してブラシベースのアーティファクトマスクを近似する。

主要な結果

信頼性と合意

本研究は、スキル整合プロトコルが、**アノテーター間合意（クリッペンドルフの $\alpha$）および極端な不一致率（EDR）**の点で、均一なベースラインを大幅に上回ることを示しています：

• 視覚的アーティファクト： ブラシベースのアノテーションは $\alpha = 0.82$ を達成し、リッカート評価の $0.39$ と比較されました。EDR は 62.2% から 0% に低下しました。
• テキスト描画： 単語レベルのアノテーションは（単語トークンレベルで）$\alpha = 0.96$ を達成し、BQA の $0.63$およびリッカートの$0.81$ と比較されました。EDR は 28.75% から 3.9% に減少しました。
• 参照依存スキル： アンカーベースのプロトコルは、「不確実」率を標準的な BQA の 63% から 2.5% に削減し、合意を $\alpha = 0.47$ から $0.64$（アンカーリッカート）に向上させました。

収束と安定性

スキル整合プロトコルは、少ない数のアノテーターで安定します。均一なリッカート評価は 6 人のアノテーターでも不安定なままでしたが、ブラシベースおよび単語レベルのプロトコルは 4 人のアノテーターで安定しました。これは、慎重な設計によって信頼性を犠牲にすることなくアノテーションコストを削減できることを示しています。

モデル評価の洞察

4 つのモデル（Nano-Banana、Wan-2.5-preview、FLUX.2-dev、Z-Image-Turbo）に完全なスキル適応スイートを適用した結果、集計スコアによって隠されていた微妙な性能差が明らかになりました：

• 視覚的アーティファクト： 最近のモデルはアーティファクト抑制においてほぼ飽和状態を示しており、差が縮まっていることを示唆しています。
• 固有名詞： すべてのモデルが低く評価され、オープンエンドの参照空間における生成の根拠付けの難しさを浮き彫りにしました。
• 言語の複雑さ： 高いばらつきが観察されました。Z-Image-Turbo は有意に低いスコア（0.176）を記録し、効率性と指示追従の間のトレードオフを示唆しています。

自動化と人間の合致

自動化パイプラインは、構造化された意味的スキル（例：実体、空間配置）において人間の判断と中程度から強い合致を示しました。しかし、カメラ属性、照明、美的品質については合致度が低く、汎用的な LLM はこれらの知覚的次元において依然として苦労していることを示しています。

意義と主張

本論文は、画像評価の基盤を改善することで、単にアノテーション努力を拡張するのではなく、信頼性と効率性を向上させることができると主張しています。

• 方法論的転換： この研究は、均一な評価プロトコルから原理的かつスキル整合的な設計への転換を提唱しています。アノテーション設計は評価方法論の重要な要素であるが、未だ十分に探求されていないと位置づけています。
• 規模よりも信頼性： 著者らは、アノテーションメカニズムをスキルの基盤構造に一致させることが、単にアノテーターやモデルの数を増やすよりも、より一貫性があり安定した評価シグナルをもたらすことを実証しています。
• 診断的価値： 評価を微細な、空間的に根拠のある、スキル固有のフィードバックに分解することで、提案されたプロトコルはモデルの失敗モード（例：テキスト描画エラーと空間配置エラーの区別）のより良い診断を可能にします。
• スケーラビリティ： このプロトコルが自動化パイプラインで成功裏に具体化されたことは、人間の判断の診断的価値を保持しつつ、スケーラブルで微細な評価への道筋を示唆しています。

著者らは、この研究が信頼性あるモデル評価の中心的な要素として評価プロトコルの洗練に関するさらなる研究を促し、ベンチマークがアノテーションプロセスのアーティファクトではなく、意図された能力を測定することを保証することを願って結論付けています。