Visual, OCR-Text, and Hybrid Evidence Retrieval for Document Visual Question Answering: A Controlled Failure Analysis

技術要約：文書の視覚的、OCRテキスト、およびハイブリッド証拠検索に関する研究

問題提起
文書視覚的質問応答（DocVQA）システムは、二重の失敗モードに直面している。すなわち、証拠が含まれるページを適切に検索できない場合と、正しいページが提供されているにもかかわらず正しい回答を生成できない場合である。エンドツーエンドの評価指標は、これら異なる失敗段階を混同してしまうことが多く、性能の向上が証拠選択の改善によるものか、あるいは回答生成の改善によるものかを判別することを困難にしている。さらに、近年のベンチマークはマルチモーダルな検索へと拡張されているものの、レキシカルなテキスト、高密度なテキスト、視覚的なページ埋め込み、およびそれらの融合が、検索拡張パイプラインにおいてそれぞれどのように寄与しているかを分離して検証した制御された比較研究は不足している。

手法
本研究では、DocVQAコーパス（5,000問の質問、1,207個の一意なページ）および外部検証セット（MP-DocVQA）を用い、制御された多段階評価フレームワークを採用している。実験設計では、以下のプロトコルを通じて、検索性能を回答生成から分離している。

1. 検索システム： 同一のクエリと候補ページに対して、4つの検索アプローチを評価した。

   • レキシカルOCRテキスト： BM25 (Okapi)。
   • 高密度OCRテキスト： BGE-M3 および MiniLM (sentence-transformers)。
   • 視覚的ページ検索： ColQwen（レンダリングされたページ画像を用いた、後期相互作用（late interaction）を利用する視覚言語モデル）。
   • ハイブリッド検索： BM25とColQwenのランクを組み合わせた相互ランク融合（RRF）。融合パラメータは開発用分割セットでのみ選択され、データ漏洩を防ぐために最終的なすべての評価において固定された。

2. 回答生成： Qwen2.5-VLモデル（3B、4-bit量子化）を回答生成器として使用した。検索エラーと生成エラーを切り離すため、ランダムに抽出した1,000問の質問に対し、以下の4つの証拠条件の下でモデルをテストした。

   • BM25によるトップ1ページ。
   • ColQwenによるトップ1ページ。
   • RRFによるトップ1ページ。
   • オラクル・ページ（Oracle Page）： 正解のアノテーションが付与されたページ（完璧な検索をシミュレート）。

3. 指標と分析：

   • 検索（Retrieval）： Recall@k、MRR、およびnDCGによって測定。
   • 回答品質（Answer Quality）： Exact Match、Token F1、およびAverage Normalized Levenshtein Similarity (ANLS) によって測定。
   • 失敗の分解（Failure Decomposition）： 結果を互いに排他的なグループ（例：「ゴールドページを与えた場合の生成失敗」対「検索に関連する損失」）に分類し、エラーを特定のパイプライン段階に帰属させた。
   • 診断（Diagnostics）： 低ANLSケースの目視監査および探索的なOCR診断を実施し、具体的なエラーメカニズム（例：フォーマットの不一致、数値推論の失敗）を特定した。

主要な結果

• 視覚的検索の優位性： ColQwenはすべてのOCRテキスト・ベースラインを大幅に上回った。保持されたDocVQAテストセットにおいて、ColQwenはRecall@1で0.559を達成したが、これはBM25の0.335およびBGE-M3の0.274と比較して高い数値である。この優位性は、ドメイン適応や再チューニングなしに、外部のMP-DocVQA検証セット（Recall@1: 0.8496 vs. BM25の0.7179）においても維持された。
• 融合の限界： 固定されたRRF戦略は、最強のコンポーネント（ColQwen）を上回ることはなかった。実際、RRFのRecall@1（0.5347）は、ColQwen単体よりもわずかに低かった。分析の結果、テキスト検索器（BM25）がColQlenが正しくランク付けしていたページを押し下げてしまい、融合による純増益が得られなかったことが明らかになった。
• 回答生成への影響： 優れた検索は、ダウンストリームの回答品質を直接的に向上させた。ColQwenのページを使用することで、ANLSは0.127（BM25）から0.213に上昇した。しかし、オラクル（ゴールド）ページを使用した場合でも、ANLSは0.395にとどまった。これは、エラーの大部分（完全な性能へのギャップの約60%）が、検索の失敗ではなく、証拠に対する生成器の推論能力の欠如に起因していることを示している。
• エラーの帰属： 失敗の分解により、ColQwenは「検索に関連する損失」（検索されたページは失敗したが、オラクルは成功したケース）を減少させた一方で、同時に「生成の失敗」（オラクルページが取得されたが、回答は依然として誤っていたケース）をより多く露呈させることが示された。目視監査により、低スコアの原因は、証拠の完全な欠如ではなく、回答フォーマットの不一致、正規化の問題、および数値・単位の推論失敗にあることが特定された。

意義と主張
本論文は、新しい普遍的なアーキテクチャを提案することではなく、診断的な貢献を行うものである。主な主張は以下の通りである。

1. 視覚的埋め込みは、評価されたDocVQAプロトコルにおいて、テキストのみの表現では失われる構造的・レイアウト情報を捉えることができるため、OCRテキスト・ベースラインよりも信頼性が高い。
2. 固定された融合は、特に一方のモダリティ（視覚）が他方（テキスト）を大幅に上回る場合、最強の個別検索器よりも改善を保証するものではない。
3. 検索は必要条件であるが、十分条件ではない。 正しいページが提供されている（オラクル条件）場合でも、生成段階において顕著なエラーが残っている。これは、将来のDocVQAの改善が、単なる検索メカニズムだけでなく、マルチモーダルモデルの推論および正規化能力に対処する必要があることを示唆している。
4. 評価の厳密性： 本研究は、検索指標を回答品質から分離し、オラクル条件を用いて生成モデルの「残留誤差」を定量化することを提唱している。

著者らは、視覚的検索が証拠選択を改善する一方で、この設定における信頼できる文書QAのためのボトルネックは、回答生成および推論能力へと移行していると結論付けている。