Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models

以下は、論文「Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models」（XTC-Bench）の詳細な技術的サマリーです。

1. 問題定義

統合マルチモーダルモデル（uMM）は、共有されたアーキテクチャおよび表現空間内で、視覚的理解（知覚）と視覚的生成（合成）の両方を実行することを目指しています。現在のベンチマークは、これらの能力を独立して評価します（例えば、理解には VQA、生成には FID/CLIP スコアなど）が、2 つのタスク間の意味的一貫性を評価するには至っていません。

核心的な課題: 画像に関する質問に答えること（理解）において優れたモデルでも、同じ詳細をプロンプトに基づいて生成すること（生成）に失敗する、あるいはその逆のケースが存在します。これは、モデル内部表現における構造的な非対称性を示しています。個別のタスクにおける高いスコアは、モデルが共有された現実に基づいて両者を統合するのではなく、タスク間で一貫して「幻覚」を学習しているという、根本的な意味的整合性の欠如を隠蔽する可能性があります。

2. 手法：XTC-Bench

著者らは、クロスタスク視覚意味的一貫性を測定するために設計された、シーングラフに基づく評価フレームワークXTC-Benchを導入します。

A. データ構築パイプライン

• ソース: COCO 2017 および Visual Genome から手動でキュレーションされた 2,000 枚の画像。
• シーングラフ抽出: 各画像に対して「リファレンスシーングラフ（$G$）」を作成するために、2 段階のパイプラインが使用されます：
  1. 物体検出とセグメンテーション: パノプティックセグメンテーションに kMaX-DeepLab を使用。
  2. 関係性予測: pairwise 関係性を予測するために Fair-PSG を使用。
  3. 精緻化:
     • フィルタリング: 誤った関係性を除去するために高信頼度の閾値を適用。
     • VLM 検証: 大規模なビジョン・ランゲージモデル（Qwen3-VL-235B）が、バウンディングボックス注釈を用いて関係性と属性を検証。
     • 属性生成: 特定の物体に対する正確な属性認識を確保するために「デュアルビュー」アプローチ（セマンティックスポットライト＋詳細クロップ）を使用。
• プロンプトとクエリの生成:
  • 生成プロンプト: シーングラフを自然言語プロンプトに線形化し、画像生成に使用。
  • 理解クエリ: シーングラフ内のすべての原子的事実（物体、属性、関係性）に対して、事実整合的な VQA 質問を生成。

B. 評価プロトコル

与えられたモデル $M$ に対して：

1. 生成: モデルがプロンプトから画像（$\hat{I}$）を生成。この画像を同じ抽出パイプラインを用いて予測シーングラフ（$\hat{G}$）として解析。
2. 理解: モデルが元の画像に基づいて VQA 質問に回答。
3. マッチング: 2 段階の意味的グラフマッチングアルゴリズム（ハンガリアンアルゴリズムを使用）を用いて、真のグラフ $G$ と予測グラフ $\hat{G}$ の間のノードとエッジを整合させる。

C. 指標

このフレームワークは、3 つの主要な指標を導入します：

1. 生成スコア（$G$）と理解スコア（$U$）: 完全な文字列一致ではなく、モデルの出力と真の値との間の意味的同等性（0–5 スケール）を評価するLLM-as-Judge（Qwen3-235B）を使用して評価。
2. 連続的クロスタスク合意（CCTA）:
   • 同じ原子的事実に対する生成と理解の回答の一貫性を測定。
   • 数式: $CCTA = \frac{\sum (1 - |g_f - u_f|)}{\sum 1}$。
   • 限界: 常に誤っている（両タスクで同じ誤りを幻覚する）モデルは、CCTA で高いスコアを獲得する。
3. 精度重み付き CCTA（AW-CCTA）:
   • 「一貫した幻覚」という欠陥に対処するため、一貫性項を平均結合精度でスケーリング。
   • 数式: $AW\text{-}CCTA = \frac{\sum (1 - |g_f - u_f|) \cdot \frac{g_f + u_f}{2}}{\sum 1}$。
   • この指標は、対称的に誤っているモデルにペナルティを課し、対称的に正しいモデルのみを評価する。

3. 主要な貢献

1. クロスタスク一貫性の形式化: 一貫性を単独の精度とは区別可能な測定可能な性質として定義し、表現の対称性を定量化するためにCCTAおよびAW-CCTAを導入。
2. XTC-Bench フレームワーク: 共有された構造化表現の下で、生成、理解、およびそれらの整合性を共同で評価する、完全自動化されたシーングラフに基づくベンチマーク。
3. 実証的発見: 現在の uMM が体系的な構造的非対称性を示すことを実証。一方のタスクでの高い性能は他方での整合性を保証するものではなく、アーキテクチャの統合のみでは意味的一貫性が保証されないことを示した。

4. 実験結果

著者らは、8 つのオープンソースモデル（BAGEL、OmniGen、Show-o、Janus-Pro など）と 2 つの商用モデル（Gemini、GPT-5）を評価しました。

• 弱い相関: 単独タスクのパフォーマンス（$G$ または $U$）とクロスタスク一貫性（AW-CCTA）の間には弱い予測関係しか存在しない。モデルは高い生成スコアを持ちながら、低い整合性を示す可能性がある。
• 「一貫した幻覚」という失敗モード:
  • MMaDA-8Bなどのモデルは、高い生の CCTA（0.630）を示したが、AW-CCTA はほぼゼロ（0.144）であった。これは、モデルが同じ誤った事実を生成し、理解していることを示しており、標準的な指標では見えない失敗モードである。
  • BAGEL-7BとGemini-2.5 Flashが最も高い AW-CCTA を達成し、よりバランスの取れた性能を示した。
• アーキテクチャに関する知見:
  • 純粋自己回帰（AR）モデル（OmniGen、Janus-Pro など）は、最も高い平均 AW-CCTA を示し、統一された次のトークン予測目的がタスクを自然により良く結合することを示唆。
  • AR + ディフュージョンモデルは、生成と理解の間に最大のギャップを示し、2 つのコンポーネント間の較正に対する感度を示唆。
  • 純粋ディフュージョンモデルは、高い生の整合性を示したが、精度重み付き整合性は低かった。
• 理解 > 生成: ほとんどのモデルは生成よりも理解で高いスコアを獲得し、現在の学習目的が生成の忠実度よりも知覚的グラウンディングを優先していることを示唆。

5. 意義と将来の方向性

• 孤立した指標を超えて: XTC-Bench は、uMM を評価するには孤立した精度を超えて、内部表現の整合性を測定する必要があることを証明。
• 診断ツール: CCTA と AW-CCTA の乖離は、「一貫した幻覚」という、安全性が重要なアプリケーションにおける危険な失敗モードに対する重要な診断指標として機能する。
• 学習への指針: 結果は、単にアーキテクチャを統合するだけでは不十分であることを示唆。将来の研究は、知覚と合成が同じ意味的基盤を共有することを保証するために、モダリティ間での学習目的の結合に焦点を当てる必要がある。
• 限界: このフレームワークは現在、自動化された教師モデル（バイアスを継承する可能性がある）と静的画像に依存している。将来の研究では、アーキテクチャ内の乖離点を特定するためのホワイトボックスプロービングの探求や、フレームワークの動画・音声への拡張が求められる。

結論として、XTC-Bench は、統合マルチモーダルモデルにおける「意味的ギャップ」を露呈するための厳密で再現性のある手法を提供し、一貫した現実を理解し生成するモデルを開発するための具体的な道筋を示す。