技術的サマリー：Doc-CoB

問題定義

ドキュメント理解とは、高情報密度かつ複雑なレイアウトを特徴とするドキュメント画像に対して、質問応答（QA）および情報抽出（IE）を行うことを指す。既存のマルチモーダル大規模言語モデル（MLLM）は通常、「ワンパス」戦略を採用し、画像全体を均一に処理する。このアプローチは、すべての領域が同等に重要であるという暗黙の前提に立っており、モデルが冗長な視覚情報に誤導され、誤った領域から回答を推論してしまう傾向がある。一方、一般的な視覚 QA における既存の粗いものから細かいものへの戦略は、特定の領域への直接切り取りやズームインに頼ることが多い。これは視覚的冗長性を削減する一方で、ドキュメントに固有の空間的関係性、相対的な位置関係、領域間依存関係などの重要なレイアウト情報を廃棄してしまい、レイアウトに敏感なクエリに対する失敗を招く。

ここで扱われる核心的な課題は、正確な推論に必要なグローバルなレイアウト文脈を保持しつつ、ドキュメント理解に対して粗いものから細かいものへの推論パラダイムをどのように追従させるかである。

手法：Doc-CoB

著者らは、基盤モデルアーキテクチャを変更することなく、MLLM が粗いものから細かいものへの、レイアウトを認識した視覚推論を通じてドキュメント理解を実行できるようにする Doc-CoB（Chain-of-Boxes）を提案する。このフレームワークは、視覚的プロンプトを用いて注意を誘導する、2 つの明確な段階で動作する。

1. 段階 1：キーボックスの選択

   • レイアウトアナライザー（$\Lambda$）が、ドキュメント画像（$x_I$）から候補レイアウトボックスのセット（$B$）を抽出する。
   • 各ボックスには一意の ID が割り当てられ、画像上に重ねて視覚的プロンプト画像（$X^S_1$）を作成する。
   • MLLM（$f$）に対して、クエリ（$Q$）と最も関連性の高いボックス ID の部分集合（$I_{key}$）を選択するようプロンプトする。これは、候補ボックスに対する多肢選択予測として定式化される。

2. 段階 2：焦点を絞った回答

   • 選択されたキーボックス（$B_{key}$）は、元の画像上で赤い枠で強調され、2 番目の視覚的プロンプト画像（$X^S_2$）が作成される。
   • 重要なのは、切り取りではなくドキュメント画像全体が保持される点である。これにより、関連領域を強調しつつ、グローバルな文脈と空間的関係性が保持される。
   • MLLM は、この強調された画像とクエリを条件として、最終的な回答（$A$）を生成する。

推論タスクとデータ構築

このパラダイムを支援するため、著者らはモデルのレイアウトおよび意味理解を強化する 2 つの特定の推論タスクを導入する。

• ボックス認識：モデルは、特定の視覚的ボックスを対応する ID にマッピングすることを学習する。
• ボックス推論：モデルは、与えられたクエリに対する回答において、特定のボックス ID の意味的役割を記述することを学習する。

これらの能力を訓練するため、言語アノテーターとして GPT-4o、視覚レイアウトアナライザーとして MinerU を用いた自動データ生成パイプラインが構築された。このパイプラインは、DocVQA、DeepForm、SROIE、FUNSD などを含む 9 つの既存ドキュメントデータセットを処理し、以下のデータを生成した。

• Doc-CoB フレームワーク用のトレーニングサンプル 249,601 件。
• ボックス認識用のサンプル 126,970 件。
• ボックス推論用のサンプル 269,108 件。
  これらのサンプルには中間的な視覚的監督が含まれており、証拠を含む「有益な」ボックスと、クエリに似ているが誤っている「混乱させる」ボックスが明示的にラベル付けされている。

主要な貢献

1. Doc-CoB フレームワーク：視覚的プロンプトを介して粗いものから細かいものへの、レイアウトを認識した視覚推論を MLLM に統合する、新規の 2 段階パラダイム。主要領域への焦点とグローバルな文脈の保持のバランスを取る。
2. 推論タスクとデータセット：ドキュメントレイアウト推論に特化した中間視覚的監督を備えた 24 万件以上の大規模データセットで支えられた、ボックス認識およびボックス推論タスクの提案。
3. 性能と汎化性：7 つのベンチマークおよび 2B から 40B パラメータにわたる 4 つの異なる MLLM アーキテクチャ（ドキュメント用に特別に事前学習されていないモデルを含む）において、Doc-CoB が性能を大幅に向上させることを示す広範な実験。

実験結果

本論文は、InternVL2（2B/8B）、Qwen2.5-VL、DocOwl 1.5 の 4 つの MLLM を用いて、7 つのベンチマーク（DocVQA、DUDE、DeepForm、FUNSD、SROIE、VRDU-Ad、VRDU-RF）上で Doc-CoB を評価した。

• 性能向上：Doc-CoB は、すべてのモデルおよびデータセットで一貫して性能を向上させた。特に、InternVL2-8B-CoB モデルは 6 つのデータセットで最先端（SOTA）の結果を達成し、はるかに大規模な InternVL2-40B およびクローズドソースの GPT-4o を 7 つすべてのベンチマークで上回った。例えば、DeepForm において、InternVL2-8B-CoB は 80.06% を達成し、36.33% の SFT ベースラインから大幅な改善を示した。
• アブレーション研究：
  • 2 段階パラダイムを除去し（CoB データセットのみを使用してワンパス推論を行う）、改善は見られるものの完全な 2 段階アプローチには及ばず、推論パラダイム自体の価値を確認した。
  • 特定の推論タスクを除去すると性能が低下し、現在の MLLM はターゲットとした監督なしではフレームワークを完全に活用する内在的な能力を欠いていることを示した。
  • 段階 2 における画像全体入力を切り取った画像に置き換えると、5〜15 ポイントの大幅な性能低下を招き、グローバルなレイアウト文脈の保持の必要性を裏付けた。
• 効率性：2 つの画像を処理するにもかかわらず、Doc-CoB はより低い有効解像度設定を可能にし、より高い精度を達成しながら、バニラ推論と同等かそれ以下の総トークン使用量を実現する。
• ロバスト性：異なるレイアウトアナライザー（例：OCR+K-means、Marker）を使用しても有効であり、インフォグラフィックや多ページドキュメントなどの未見ドメインへの強力なゼロショット汎化性を示す。

意義と限界

本論文は、Doc-CoB が、アーキテクチャの変更なしに、明示的でレイアウトを認識した視覚推論が MLLM のドキュメント理解能力を大幅に強化できることを実証していると主張する。また、粗いものから細かいものへの推論パラダイムとターゲットとした中間的監督の組み合わせが、ドキュメントレイアウトの固有の課題に対処する上で重要であることを強調している。

著者らが認める限界：

• ノイズの蓄積：データ生成戦略はレイアウト分析からのノイズを抑制するが、推論時のノイズは完全に排除できず、段階間で蓄積する可能性がある。
• 単一ラウンド選択：現在のパイプラインはボックス選択を 1 ラウンドのみ行う。著者らは、反復的な洗練のための自己検証メカニズムがさらにロバスト性を向上させる可能性を指摘している。
• 粒度：このフレームワークはレイアウトレベルの推論に対処するが、選択されたボックス内の OCR エラーや曖昧なテキストなどのボックス内の曖昧さには対処せず、これらは失敗の原因となっている。