テクニカルサマリー: SANEval

問題提起

Stable Diffusion、Imagen、GPT-4oなどのテキスト・トゥ・イメージ（T2I）モデルの急速な進歩にもかかわらず、複数のオブジェクト、特定の属性、および空間的関係を含む複雑なプロンプトを忠実にレンダリングする能力は、依然として大きなボトルネックとなっています。現在の評価手法には、主に以下の3つの制限があります：

1. 閉じた語彙集合（Closed-Set Vocabularies）: 既存のベンチマークは、固定されたデータセット（例：MS-COCOの80クラス）で訓練されたオブジェクト検出器に依存していることが多く、「語彙のミスマッチ」を引き起こします。これにより、現実世界のオブジェクトや希少なオブジェクトを評価することができません。
2. 診断的な粒度の欠如: 多くの指標は、単一で解釈不可能なスコア（例：CLIPScore）や、バイナリ形式の合否判定（pass/fail）を提供しており、具体的な構成上の失敗（例：オブジェクトの欠落、属性結合の誤り、または空間的エラー）を特定することができません。
3. スケーラビリティと主観性: 人間による評価はコストがかかり、標準化が困難です。一方で、FIDやISのような自動化された指標は、微細な構成上のエラーを捉えることができません。

手法: SANEvalフレームワーク

著者らは、スケーラブルで信頼性が高く、解釈可能な評価を行うためのオープンボキャブラリーかつ構成的なベンチマークであるSANEval（Spatial, Attribute, and Numeracy Evaluation）を導入しています。このフレームワークは、2つのコア技術モジュールと3つの評価軸からなるモジュール式のパイプラインで構成されています。

コアモジュール

1. プロンプト理解モジュール:

   • 特定のシステムプロンプトに導かれた大規模言語モデル（LLM）を利用して、自然言語入力を解析します。
   • 以下を含む構造化された表現を抽出します：
     • オブジェクト（Objects）: ユニークなエンティティのリスト。
     • 属性（Attributes）: 特定のオブジェクトに紐付けられたもの（色、形状、質感）。
     • 空間関係（Spatial Relations）: <object_1, relation, object_2> の形式で表されるトリプレット。
     • 数（Numeracy）: 各オブジェクトの期待されるカウント数。
   • 文法的なバリエーションや複雑な文章構造に対して堅牢であるように設計されています。

2. 拡張オブジェクト検出（OD）モジュール:

   • オープンワールド検出器（具体的にはYOLO-E）をLLMによる類義語展開と統合することで、従来の検出器の語彙制限に対処します。
   • プロセス:
     • LLMが期待されるオブジェクト名を、一連の類義語や関連用語へと展開します（例：「albatross（アホウドリ）」$\rightarrow$ {albatross, seabird, large bird}）。
     • YOLO-Eが生成された画像内のオブジェクトを検出します。
     • 検出されたラベルを展開された類義語セットと照合し、検出結果をプロンプトが意図したオブジェクトへとマッピングします。
   • このハイブリッドなアプローチは、オブジェクト検出の構造的な解釈可能性と、視覚言語モデル（VLM）の推論の柔軟性を活用しています。

評価軸

本フレームワークは、3つの異なる構成的次元を評価します：

1. 属性結合（Attribute Binding）:

   • プロセス: 検出されたオブジェクトをクロップし、VLMに「判定役」として渡して特定の属性を特定させます（例：「ベンチの色は何色ですか？」）。
   • スコアリング: LLMがVLMの予測された属性をグラウンドトゥルースと比較し、部分点（例：「ターコイズブルー」対「青」）を許容するために連続的な類似度スコア（0.0から1.0）を割り当てます。
   • 出力: 欠落または不一致の属性を特定する構造化されたフィードバックを生成します。

2. 空間関係（Spatial Relationships）:

   • プロセス: 拡張ODモジュールからのバウンディングボックスと、プロンプト理解モジュールからの空間的トリプレットを使用します。
   • スコアリング: 幾何学的な評価関数（例：オブジェクトAの中心点がオブジェクトBの左側にあるかどうかのチェック）を適用し、遵守スコアを算出します。
   • 出力: 「右側に猫がいることが期待されました：オブジェクト欠落：猫」といった明示的なエラーを報告します。

3. 数（Numeracy）:

   • プロセス: 検出されたインスタンスのカウントを、プロンプトから抽出された期待されるカウントと比較します。
   • スコアリング: 完全一致で1.0、存在はしているがカウントが異なる場合は0.5、欠落している場合は0.0とします。
   • 出力: 過剰生成または過少生成を報告します（例：「2つの余分なスーツケースが検出されました」）。

主な貢献

1. SANEvalベンチマークスイート: オープンボキャブラリー機能を備え、空間、属性、および数の遵守をカバーする、T2Iモデルのための包括的な評価フレームワーク。
2. オープンソースデータセット: アルゴリズムベースのSANEval-Simple（約5,000個のプロンプト）および人間が作成した複雑なSANEval-Hard（250個の複雑なプロンプト）を、生成された画像と診断的な適合ラベルと共に公開。
3. プラグアンドプレイのパイプライン: 評価を異なる軸に分離し、定量的なスコアと構造化された解釈可能な診断フィードバックの両方を提供する、スケーラブルな評価パイプライン。
4. 堅牢性の検証: 本フレームワークが、基礎となるLLM「判定役」の選択（Gemini Flash 2.5からLlama-4への入れ替えによるテスト）に対して堅牢であること、および類義語展開モジュールが希少なオブジェクトを検出するために極めて重要であることを実証。

結果と分析

著者らは、SANEvalフレームワークを用いて6つの最先端T2Iモデル（Imagen 3.0/4.0/4.0 Ultra, Nano Banana, Seedream 3.0, GPT Image 1）を評価しました。

• パフォーマンスの傾向: すべてのカテゴリにおいて支配的な単一のモデルは存在しませんでした。Imagen 4.0 Ultraは、数（numeracy）と微細な結合（形状/質感）において優れており、最も高い総合平均スコアを達成しました。Seedream 3.0は、空間推論と色の結合において優れた性能を示しました。
• 複雑さへの感度: プロンプトの複雑さ（オブジェクトの数）が増すにつれて、パフォーマンスは一貫して低下します。**形状の結合（Shape binding）**が最も脆弱な指標であることが特定されましたが、**色の結合（Color binding）**は最も堅牢でした。例えば、Imagen 3.0の形状精度は、単一オブジェクトのプロンプトでの約0.31から、オブジェクトが10個を超えるプロンプトでは約0.06まで低下しました。
• 既存のベンチマークとの比較: **CompBench++**に対するスピアマンの順位相関係数の分析により、空間および数のタスクにおいて統計的に有意な差（多くの場合 p-value < $10^{-20}$）が示されました。これは、SANEvalが既存の手法が見逃している失敗を捉える、補完的で非冗長な評価の視点を提供していることを示しています。
• アブレーション研究: LLMによる類義語展開モジュールを除去すると、大幅なパフォーマンス低下（例：空間スコアの相対的な75.69%の低下）と、検出されるユニークなオブジェクト数の著しい減少を招きました。これにより、オープンボキャブラリー処理の必要性が検証されました。

重要性と主張

本論文は、SANEvalが、固定された語彙や主観的なスコアリングを超えて、フィードバック駆動型のオープンワールド・ベンチマークへと移行することで、T2I評価における決定的なギャップを埋めるものであると主張しています。

• 診断的有用性: 曖昧なスコアを提供する従来のベンチマークとは異なり、SANEvalは実行可能な解釈可能なフィードバック（例：特定のオブジェクトの欠落や、誤った属性結合の特定）を提供します。これはモデルの挙動を診断するために不可欠です。
• 改善の基盤: 著者らは、このフレームワークが評価を一種の「監督（supervision）」へと変貌させ、将来的なモデル改善や、AIによるフィードバックを用いた強化学習（RLAIF）を導く可能性があると述べています。
• 謙虚な姿勢: 著者らは、SANEvalは既存の手法を改善しているものの、言語ベースの事前知識（LLM/VLM）に依存しており、それが固有のバイアスを反映している可能性があることを認めています。彼らは、本研究は評価と分析のためのものであり、新しい生成能力を追加するためのものではないことを強調しており、生成システムに対するより透明で注意深い評価を促進することを目的としています。