💬 NLP

Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation

本論文は、Chain of Evidence（CoE）を導入するものであり、これはリtrieverに依存しないフレームワークとして、視覚言語モデルを活用して反復的検索拡張生成におけるピクセルレベルの視覚的帰属を可能にし、ドキュメントのスクリーンショットを直接推論することでテキストのみの解析の限界を克服し、正確なバウンディングボックスの引用を提供するとともに、不可欠な視覚的レイアウト情報を保持する。

原著者： Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが複雑な謎を解こうとする探偵だと想像してください。過去には、手がかりを見つけるために何百ページものタイプされた報告書を読み通さなければなりませんでした。もし報告書に「容疑者はパリにいた」と書かれていれば、それを信じるしかなかったのです。しかし、もしその報告書が実際には地図、切符の写真、そして手書きのメモが混在した乱雑なチラシだったとしたらどうでしょうか？そのチラシの文字だけをタイプして書き起こせば、地図も写真も失われてしまい、手がかりがページのどこに隠れているのか全くわからなくなります。

これが、この論文の著者たちが「Chain of Evidence (CoE)」と呼ばれる新しいシステムで解決しようとしている問題です。

問題：「ボヤけたコピー」

質問に答える現在の AI システム（検索拡張生成、RAG）は、通常以下のように機能します。

あなたが質問をする。
AI がいくつかの文書を見つける。
すべての画像、チャート、凝ったレイアウトを取り除き、すべてをプレーンテキスト（ボヤけたコピーのようなもの）に変換する。
回答を提示し、「これは文書 A で見つけました」と言う。

落とし穴： 文書 A がグラフを含むスライドデッキや複雑な表を含む PDF だった場合、それをプレーンテキストに変換することは論理を破壊します。それは、材料のリストを読むだけで、混ぜ方の画像を無視してレシピを理解しようとするようなものです。さらに、AI が「文書 A」と言ったとき、その文書のどの部分が答えを持っているのかは教えてくれません。特定の文を見つけるために 50 ページを手動でスクロールしなければならないのです。これが「検証のボトルネック」です。

解決策：「ピクセルレベルの探偵」

著者たちは、文書を単なるテキストではなく画像（スクリーンショット）として扱うことでゲームを変えるChain of Evidence (CoE) を提案します。

CoE を、報告書を読むだけでなく、文書の編集されていないオリジナルの写真を見る探偵だと考えてください。

剥ぎ取りの廃止： 文書をまずテキストに変換しません。スクリーンショットを見ることで、すべてのチャート、矢印、レイアウトをそのまま保ちます。
「魔法のハイライトマーカー」： 「文書 3 にあります」と言うだけでなく、CoE は答えが存在する画像上の正確な場所に正確な枠（バウンディングボックス）を描きます。チャート内の特定の数字や段落内の特定の行を直接指し示します。
連鎖： 「監督は誰で、どこで学校に通っていたか？」など、複数のステップを必要とする複雑な質問の場合、CoE は視覚的な連鎖を構築します。「ステップ 1：監督を見つけるために文書 A のこの枠を見る。ステップ 2：学校を見つけるために文書 B のこの枠を見る」と示します。

検証方法

これが機能することを証明するために、チームは 2 つの新しい「訓練場」（データセット）を構築しました。

Wiki-CoE： Wikipedia のページをスクリーンショットに変換した膨大なコレクションです。複数のページをまたぐ必要がある質問を取り上げ、AI に答えの正確な視覚的な場所を見つけるよう教えました。
SlideVQA： 乱雑なレイアウト、矢印、複雑な図を含むプレゼンテーションスライドのコレクションです。テキストベースのシステムが通常失敗する場所であるため、これは「ハードモード」のテストです。

結果：なぜ重要なのか

この論文は、特にプレーンテキスト以外の文書において、CoE がゲームチェンジャーであることを示しています。

「どこに」がより賢い： 複雑なスライドにおいて、テキストに依存する標準的な AI システムはよく迷子になります。視覚的なレイアウトを見る CoE は、はるかに高い頻度で証拠を正確に特定しました。
信頼性： CoE は証拠の周りに枠を描くため、回答を即座に検証できます。推測する必要はありません。画面のその場で証拠を見ることができます。
特定の検索エンジン不要： CoE は、文書を見つける任意の検索ツールと連携して機能します。上位 5 つの結果（画像として）を取得し、論理を解明するだけです。

結論

著者たちは、AI が報告書、スライド、チャートなどの複雑な文書において真に信頼できるものになるためには、そのテキスト版を「読む」だけでなく、文書を「見る」必要があると主張しています。Chain of Evidence は、AI を視覚的な探偵に変え、真実を直接指し示すことを可能にし、推論プロセスを透明化し、人間が確認しやすくします。

要約： CoE は、本への曖昧な参照を与えるのではなく、本を手に取り、正確なページを開き、必要な文の周りに丸を描いて渡してくれます。

技術サマリー：反復的検索拡張生成（iRAG）のための証拠連鎖（CoE）

1. 問題定義

反復的検索拡張生成（iRAG）は、外部ドキュメントを段階的に検索・推論することで、複雑なマルチホップ質問に回答するパラダイムとして登場しました。しかし、現在の iRAG システムは、現実世界で視覚的に豊かなドキュメント（PDF、スライド、Web レポートなど）を扱う際に、以下の 3 つの重大なボトルネックに直面しています。

検証のボトルネック: 既存システムは粗粒度のテキストレベルの引用（例：「[出典：Doc-1]」）を提供します。マルチホップシナリオでは、これによりユーザーは特定の支持文句を特定するために長大なドキュメントを手動でスキャンする必要があり、高い認知的負荷が生じます。
テキスト変換における情報損失: OCR やパース処理を通じて視覚的に豊かなドキュメントを線形テキストに変換すると、空間的論理やレイアウトの手がかり（チャートの傾向、図のフロー、スライドの階層構造など）が破壊されます。多くのドキュメントにおいて、証拠はテキストそのものではなく、要素間の視覚的関係に存在するため、テキストベースの引用は本質的に不十分です。
不透明な推論連鎖: ユーザーは意思決定の軌跡を可視化できません。現在の手法は、マルチホップ軌跡において中間的な証拠が次のドキュメントの選択をどのように導くか、すなわち「証拠連鎖」を可視化していません。

2. 手法：証拠連鎖（CoE）

これらの限界に対処するため、著者は Chain of Evidence (CoE) を提案します。これは、パースされたテキストではなくドキュメントのスクリーンショットに直接動作する、リトリーバー非依存の視覚的アトリビューションフレームワークです。

コアアーキテクチャ

ビジュアルファーストパラダイム: CoE は壊れやすいテキストパースパイプラインを迂回します。これは、上流のリトリーバーから取得した候補ドキュメントのスクリーンショットのセットを受け取り、画像として処理します（ $d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$ ）。
リトリーバー非依存設計: このフレームワークは、トップ- $k$ 候補セットを返す汎用的な上流リトリーバーを前提としています。CoE は、リトリーバー固有のパラメータを導入することなく、これらの候補内で証拠を選択し、順序付けし、グラウンディングすることに焦点を当てます。
出力形式: テキスト引用の代わりに、CoE は以下の要素からなる構造化された証拠連鎖を出力します。
- 選択された候補画像の識別子。
- 証拠領域（テキスト段落、表セル、図）を特定する正確なバウンディングボックス $[(x_1, y_1), (x_2, y_2)]$ 。
- 各ホップごとの自然言語サブクエリまたは推論思考。
生成プロセス: モデルは単一の自己回帰パスを実行し、クエリと候補スクリーンショットを回答と、 $(ドキュメント, \text{バウンディングボックス}, \text{推論})$ のタプル列にマッピングする完全な証拠連鎖を生成します。

学習戦略

著者は Qwen3-VL-8B-Instruct モデルを用いた 2 段階のカリキュラム学習戦略を採用しています。

フェーズ I（シングルホップ）: モデルが単一画像内で証拠を特定する視覚的グラウンディング能力を確立することに焦点を当てます。
フェーズ II（マルチホップ）: フェーズ I のチェックポイントからウォームスタートし、トップ 5 の候補スクリーンショットにわたるマルチホップ証拠連鎖の生成を導入します。

データ拡張: 堅牢性を確保するため、学習には空間的拡張（クロッピング、変換）、解像度変化（異なる視覚密度への対応）、および証拠の順列（提示順序と論理的推論順序の分離）が含まれます。

3. データセットと評価

視覚的複雑さの異なるレベルにわたって CoE を厳密に評価するため、著者はデュアルベンチマーク戦略を導入します。

Wiki-CoE: 2WikiMultiHopQA から派生した大規模データセットで、70,418 のマルチホップ質問を含みます。これは、構造化されたレイアウト（表、インフォボックス）に対するバウンディングボックス注釈付きの Wikipedia ページの高忠実度スクリーンショットを特徴としています。
SlideVQA: 複雑な図、自由形式のレイアウト、および空間配置が意味的に重要なチャートを含むプレゼンテーションスライドの挑発的なデータセットです。

評価指標:

回答精度（EM）: 生成された回答の完全一致（Exact Match）。
証拠局在精度（Loc-Acc）: 正しい候補画像の選択と、グランドトラースとのバウンディングボックスの重なり（IoU $\ge$ 0.3）の両方を要求する統合指標。
推論連鎖精度（Chain-Acc）: 選択されたドキュメントの順序列がゴールド推論パスと一致するかどうかを検証します。

4. 主要な結果

実験により、CoE はテキストベースのベースラインおよびゼロショットのビジョン・ランゲージモデル（VLM）を大幅に上回ることが示されました。特に、視覚的レイアウト理解を必要とするシナリオにおいて顕著です。

Wiki-CoE における性能: CoE-8B は 82.3% EM、94.4% Chain-Acc、80.4% Loc-Acc を達成しました。一般的な VLM（例：GPT-5）は競争力のある回答精度を達成しますが、そのアトリビューションの品質は著しく劣ります（例：GPT-5 は Loc-Acc がわずか 31.7%）。
SlideVQA における性能: ここではビジュアルファーストアプローチの利点が最も顕著です。テキストベースのベースラインはレイアウト情報の損失により失敗します。CoE-8B は 58.8% EM、87.5% Chain-Acc、61.0% Loc-Acc を達成しました。一方、ゼロショットの Qwen3-VL-235B は 6.8% Loc-Acc に低下し、テキストベースの OCR ベースラインは図の多いスライドで著しく苦しみました。
視覚的複雑さの影響: フローチャートやデータチャートを含むスライドにおいて、CoE は OCR ベースの手法を最大 28.1% の精度差で上回り、非線形情報構造にとって視覚的アトリビューションは単なる強化ではなく必須であることを証明しました。
アブレーション研究:
- カリキュラム学習: シングルホップの事前学習フェーズを除去すると、Loc-Acc が大幅に低下します（例：Wiki-CoE で -7.3 ポイント）。これは、孤立したグラウンディングがマルチホップ推論の前提条件であることを確認しています。
- 解像度: 高解像度の入力（1536×1536）は不可欠です。解像度を 512×512 に低下させると、特にインフォボックス内の微細なテキストにおいて性能が壊滅的に低下します。
- モダリティ: テキストのみのベースライン（OCR 使用）は、視覚モデルと比較して Wiki-CoE で約 26 ポイント、SlideVQA で約 22 ポイントの性能差を示しました。これは、これらの文脈において視覚的構造が論理情報の主要な担い手であることを検証しています。

5. 意義と主張

本論文は、Chain of Evidence (CoE) が、壊れやすいテキストパースから堅牢な視覚的推論への移行を通じて、iRAG におけるパラダイムシフトを表すと主張しています。

推論の必要性としての視覚的グラウンディング: 著者は、複雑なドキュメントにおいて視覚モダリティは単なる解釈可能性の機能ではなく、推論のための基本的な要件であると論じます。空間的論理はしばしば線形テキストに優先し、それを破棄することはハルシネーションや検証不可能な回答につながります。
検証のボトルネックの解決: ピクセルレベルのバウンディングボックスを提供し、完全な推論連鎖を可視化することで、CoE は即座の視覚的検証メカニズムを提供します。これにより、ユーザーは回答が生成された「理由」を検証でき、現在の iRAG システムの不透明性に対処します。
リトリーバー非依存の解釈可能性: CoE は、任意の上流リトリーバー（語彙的、密、ハイブリッド、または視覚的）と互換性のある、ピクセルレベルで解釈可能な iRAG の解決策を確立します。これにより、推論能力とアトリビューション能力を検索メカニズムから分離します。
信頼性の高い AI: この研究は、ソースのアトリビューションと推論の透明性が不可欠な高リスク分野において、検証可能な AI システムの次世代の青写真を提供します。

著者は、視覚的セマンティクスを保持することが、信頼性が高く解釈可能なマルチホップ推論にとって重要であることを実証し、情報検索の既存のテキスト中心の見方に挑戦すると結論付けています。