DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams

以下は、論文「DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams」の詳細な技術的概要です。

1. 問題定義

**図表質問応答（DQA）**は、モデルが構造化された視覚表現（例：チャート、地図、回路図、インフォグラフィック）を解釈することを要求します。最近のビジョン・ランゲージモデル（VLM）は標準的な DQA ベンチマークで高い精度を達成していますが、重大な限界が存在します：正解であっても、忠実な推論を保証するものではありません。

現在のモデルはしばしば以下に依存しています：

• テキスト相関： 質問内の言語パターンやデータセットのバイアスに基づいて答えを推測すること。
• データセットのアーティファクト： 視覚的証拠を解釈するのではなく、偽の相関を学習すること。
• グラウンディングの欠如： 答えを検証するために必要な特定の視覚領域（ラベル、軸、コネクタ、データポイント）を特定できないこと。

この「ブラックボックス」的な振る舞いは、モデルが図表の構造を真に理解しているのか、それとも単に妥当な答えを幻覚として生成しているのかを信頼性高く評価することを妨げています。予測を支える視覚的証拠を明示的に局所化する能力である**証拠に基づく推論（evidence-grounded reasoning）**を評価する標準化されたベンチマークが不足しています。

2. 手法

A. DRAGON ベンチマーク

著者らは、証拠に基づく推論を評価するために設計されたマルチドメインベンチマークDRAGONを導入します。

• データ構成： このデータセットは、6 つの確立された DQA データセットから収集された11,664 件の注釈付き質問インスタンスを集約しています：
  • AI2D（科学図表）
  • ChartQA（チャート/グラフ）
  • Circuit-VQA（回路図）
  • InfographicsVQA（インフォグラフィック）
  • MapIQ & MapWise（地理的地図）
• 注釈タスク： 標準的な QA と異なり、モデルのタスクは単に答えることではなく、答えを正当化するために必要な視覚要素に対応するバウンディングボックスを予測することです。
• 証拠タイプ： 正解の注釈には、答えを含む領域、テキストラベル、凡例、軸、コネクタ、矢印、および空間的に関連する構造が含まれます。
• 構築パイプライン：
  1. 領域初期化： 既存の注釈、または事前のバウンディングボックスがない図表に対して候補領域を生成するためのテンプレートベースの領域転送（ホモグラフィ推定と比例スケーリングを使用）を使用します。
  2. 人間による検証： 注釈者はDIAGRAMSツールを使用して、領域を検証、洗練、または追加し、「ゴールド証拠セット（$B^*$）」が答えに必要な最小限の視覚的証拠を表すことを確認します。
  3. 品質管理： 注釈者間の一致度は、完全視覚推論（CVR）（完全な連鎖の網羅）とコア証拠アライメント（CEA）（主要要素のグラウンディング）を使用して測定されます。

B. 評価フレームワーク

著者らは、推論構造がグラウンディングにどのように影響するかをテストするために、3 つの異なるプロンプト戦略を使用して VLM を評価します：

1. EDGE（Evidence Detection via Grounding）： 画像、質問、答えを受け取った直後にモデルがバウンディングボックスを直接予測する、単一ステップの直接プロンプトアプローチ。
2. SAGE（Select and Ground Evidence）： 2 段階のアプローチ。
   • 段階 1： モデルは関連する視覚要素をテキストでリストアップします（例：「2019 年の棒グラフ」、「Y 軸ラベル」）。
   • 段階 2： モデルはリストされた要素のバウンディングボックスを予測します。
3. VERGE（Verify and Refine Grounded Evidence）： 自己修正アプローチ。モデルは初期予測（EDGE のように）を生成し、その後、画像と自身の予測を再検討して座標を修正し、欠落した証拠を追加するか、ボックスの tightness を洗練させます。

C. 指標

パフォーマンスは以下の指標を使用して測定されます：

• 最大ペアワイズ IoU（MPIoU）： 予測されたボックスと正解のボックスの間の最良の重なり（いくつかの関連領域を見つける能力を測定）。
• グラウンディング IoU（GIoU）： 予測されたすべてのボックスの結合と、正解のすべてのボックスの結合との間の IoU（完全な推論連鎖の網羅を測定）。
• F1 スコア： ボックスレベルでの精度と再現率。

3. 主な貢献

1. 新しい評価タスク： 証拠に基づく推論を導入し、焦点を答えの精度から視覚的正当化の局所化へシフトさせました。
2. DRAGON データセット： 推論証拠のための微細なバウンディングボックス注釈を備えた、人間が検証したマルチドメインのテストセット（2,445 インスタンス）。
3. 体系的な分析： プロンプト戦略がモデルの視覚的証拠をグラウンディングする能力にどのように影響するかを分解するためのフレームワーク（EDGE、SAGE、VERGE）を設計しました。
4. 実証的知見： 高い答えの精度が強い証拠グラウンディングと相関しないことを示し、現在の VLM の能力における根本的なギャップを明らかにしました。

4. 実験結果

本研究では、8 つの最先端 VLM（Claude Opus 4.6、Kimi K2.5、Gemini 3 Pro、および InternVL3.5 や Qwen3.5 などのオープンウェイトモデルを含む）を評価しました。

• 弱いグラウンディング性能： 最良のパフォーマンスを示すモデルさえも、証拠グラウンディングに苦戦しています。
  • 最高の F1 スコアは低く、ChartQA で9.5、Circuit-VQA で5.7、InfographicsVQA で4.0でした。
  • MapIQ と AI2D のみ中程度の成功を示しました（例：Claude Opus 4.6 は MapIQ で約 21.8 の F1 に達しました）。
• 局所化と網羅のギャップ： モデルは完全な推論連鎖を捉えることよりも、いくつかの関連領域を見つける方が得意です。
  • MPIoU（粗い局所化）は、GIoUおよびF1（完全な証拠）よりも一貫してはるかに高い値を示します。
  • 例： Claude Opus 4.6 は MapIQ で 53.7 の MPIoU を達成しましたが、F1 は 21.8 でした。これは関連する領域は見つけたものの、重要な支援証拠を見逃していたことを示しています。
• プロンプトへの感応性：
  • プロンプト戦略（EDGE、SAGE、VERGE）はパフォーマンスに大きな影響を与えますが、単一の戦略がすべてのドメインで支配的になることはありません。
  • VERGEはしばしば局所化（MPIoU）を改善しますが、完全な証拠網羅（F1）を大幅に改善することは稀です。
  • プロンプトはモデルが領域を見つけるのを助けますが、証拠の欠如という問題を解決するものではありません。
• モデル間の格差：
  • クローズドソースモデル（例：Claude Opus 4.6）は、すべてのドメインでオープンウェイトモデルを大幅に上回ります。
  • 例： MapIQ において、Claude Opus 4.6（F1: 21.8）は InternVL3.5-38B（F1: 2.0）を圧倒的に上回りました。
• ドメインの難易度：
  • Circuit-VQAとInfographicsVQAは、高密度な構造、関係的依存関係、視覚的雑音により、最も困難なドメインです。
  • MapIQとAI2Dは、より明確な空間的レイアウトと明示的なラベルにより、比較的容易です。

5. 意義と結論

DRAGONは、マルチモーダル AI 評価における重要な盲点を解消します。モデルが視覚的証拠に基づいて推論をグラウンディングすることなく正しく答えられることを実証することで、この論文は、モデルが視覚的理解ではなくテキストの事前知識を利用する「ショートカット学習」のリスクを浮き彫りにしています。

主な含意：

• 精度よりも忠実性： 今後の DQA 研究は、答えの精度 alongside に、**推論の忠実性（グラウンディング）**を優先する必要があります。
• ベンチマークの標準： DRAGON は、モデルが予測を視覚的証拠に明示的に関連付けられるかどうかを評価するための標準化されたテストベッドを提供し、単純な答えの一致を超えた評価を可能にします。
• 将来の方向性： 著者らは、トレーニング手法（例：強化学習）が、人間が検証した領域と整合した証拠に基づく推論を生成するモデルに対して明示的に報酬を与えるべきであると提案しています。

要約すると、DRAGON は、現在の VLM が図表の質問に答えることには熟練しているものの、それらの答えを正当化するために必要な視覚的推論能力をほとんど示せていないことを明らかにしており、これらのモデルの評価とトレーニングの方法における転換が必要であることを示しています。