技術サマリー: G2-Reader: マルチモーダル文書QAのための二重進化グラフ

問題提起

検索拡張生成（RAG）は、長い文書に対する質問応答における支配的なパラダイムとして台頭してきました。しかし、現在のRAGシステムは、テキスト、表、図が多くのページにわたって交互に配置されているマルチモーダルな長文文書（例：学術論文、スライドデッキ、教科書）に適用する場合、重大な限界に直面します。本論文は、既存のアプローチにおける2つの結合された危機を特定しています。

1. 表現の課題: 標準的なRAGパイプラインは、文書を独立したテキストチャンクへと平坦化（フラット化）してしまいます。この「フラットなチャンキング」は、文書固有の構造やクロスモーダルな整合性（例：図とそのキャプションの分離、参照テキストとの乖離）を破壊します。その結果、検索されたコンテキストは、単独では解釈が困難な意味論的な断片となってしまいます。
2. 検索の課題: 従来のRAGは、長いコンテキストにおいてワンショット（一回限りの試行）であり、脆弱です。ステップバイステップでクエリを洗練させるための反復的な検索も導入されていますが、マルチモーダルな長文設定においては、部分的な証拠にループしたり、ノイズの蓄積に伴って無関係なセクションへと漂流したりすることで、頻繁に失敗します。これは、各ステップが永続的なグローバル検索状態を持たず、現在のスニペットのみによってガイドされているために起こります。

手法: G2-Reader

これらの課題に対処するため、著者らは、証拠の表現と検索推論の両方を進化させるデュアルグラフ・システムであるG2-Readerを提案します。このシステムは、密接に結合し進化する2つのグラフを通じて動作します。

1. コンテンツグラフ ($G_C$): 構造化されたマルチモーダル表現

フラットなチャンキングの代わりに、G2-Readerは、文書固有のレイアウトとクロスモーダルな意味論を保持するヘテロジニアスなマルチモーダル・コンテンツグラフを構築します。

• 構築: 文書は、原子的な単位（段落、表、キャプション付きの図）へとパースされ、ノード集合 $V$ を形成します。エッジは、読解順序（スライディングウィンドウ）に基づいて初期化されます。
• 結合進化: グラフは、視覚言語モデル（VLM）によって駆動される反復的な進化プロセス（$T$ ステップ）を経ます。各ステップにおいて、VLMはノード属性（要約とキーワード）とグラフトポロジー（エッジ）の結合更新を行います。
  • 属性更新: VLMは、隣接ノードからのコンテキストを用いてノードの要約を豊かにし、暗黙的な参照を解決し、特徴的な要素を強調します。
  • トポロジー更新: VLMは、単純な類似性を超えた、意味のある論理的リンク（例：説明、因果関係、クロスモーダルな接地）を特定し、実質的な依存関係の疎な集合を作成します。
• 検索: 証拠は、構造を考慮したリードアウト演算子を介して検索されます。クエリに対し、ノードは類似度によってランク付けされ、上位のノードはグラフ内の即時隣接ノードを含めるように拡張され、コンテキストを考慮した証拠の組み立てが保証されます。

2. プランニンググラフ ($G_P$): エージェンティックな推論状態

プランニンググラフは、推論プロセスを明示的に固定し、証拠組み立てのための動的な状態トラッカーとして機能する有向非巡回グラフ（DAG）です。

• 初期化: 分解エージェントが、ユーザーのクエリを、依存関係をエンコードした原子的なサブクエスチョンの初期DAGへと分解します。
• 実行と洗練: システムは、トポロジカル順序に従ってサブクエスチョンを実行します。各サブクエスチョンに対して、ワーカーエージェントは$G_C$からローカルな証拠サブグラフを抽出し、中間回答を生成します。
• 検証と再計画: 証拠チェッカーが、蓄積された中間回答が元のクエリに答えるのに十分であるかどうかを評価します。
  • 十分である場合: プロセスは終了します。
  • 不十分である場合: チェッカーは具体的なギャップ（欠落したデータ、曖昧さ）を特定します。その後、デコンポーザー（分解器）が、これらのギャップを標的にするために、ノードの追加、更新、または削除を行うことで、プランニンググラフを洗練させます。
• 統合: 十分性が満たされると、リーズナー（推論）エージェントが、元のクエリと検証済みの構造化された証拠セットに基づいて最終的な回答を合成します。

主な貢献

本論文は、主に3つの貢献を主張しています。

1. 問題の特定: 現在のマルチモーダルRAGシステムにおける、断片化された証拠表現と不安定なロングコンテキスト検索という、結合された限界を形式的に特定しました。
2. デュアルグラフ・アーキテクチャ: マルチモーダル文書内の意味構造を保持するためのコンテンツグラフと、証拠の完了に向けたステップバイステップのナビゲーションを導く推論状態を維持するためのプランニンググラフを導入しました。
3. 実証的な優位性: 5つのマルチモーダルドメイン（スライド、ウェブページ、学術論文、教科書、科学グラフ）にわたるVisDoMBenchベンチマークにおいて、G2-Readerは最先端（SOTA）の性能を達成しました。

実験結果

システムは、オープンソースのQwen3-VL-32B-Instructをバックボーンとして使用し、VisDoMBenchで評価されました。

• 全体的なパフォーマンス: G2-Readerは平均精度**66.21%**を達成しました。
• ベースラインとの比較:
  • 独自のフロンティアモデルであるGPT-5（53.08%）を、13.13パーセントポイントの差で大幅に上回りました。
  • VisDoMRAG（65.01%）や、GraphRAGのような特化したグラフベースのシステム（50.86%）を含む、強力なオープンソースのベースラインを凌駕しました。
  • ゼロショット設定で使用されたベースのQwen3-VL-32Bモデル（29.90%）に対し、121%の相対的な改善を示しました。
• アブレーション研究:
  • マルチモダリティ: 視覚的な証拠を含めることで、平均精度が8.4%向上しました。
  • コンポーネントの相乗効果: コンテンツグラフとプランニンググラフの組み合わせは、個々の貢献の合計を超えるパフォーマンス向上（+4.8%）をもたらし、強い相補性を示しました。
  • 反復的な洗練: プランニンググラフの適度な洗練（最大3イテレーション）はパフォーマンスを向上させましたが、過度な洗練は収穫逓減を招きました。
  • グラフの進化: コンテンツグラフの反復的な進化（最大3ラウンド）はノード表現を改善しましたが、過剰なイテレーションによるオーバースムーシングにより、パフォーマンスは低下しました。

意義と主張

本論文は、構造化されたアーキテクチャが、強力なクローズドソースのフロンティアモデルを凌駕する力をオープンソースモデルに与え得るという仮説を、G2-Readerを通じて検証しています。複雑な証拠組み立てのための構造化された基盤を提供することで、デュアルグラフのアプローチは、中規模モデルのロングコンテキスト推論の限界を効果的に補完します。

著者らは、彼らの手法が「文書＝テキスト」から「文書＝知識」へのパラダイムシフトを実現するものであると強調しています。つまり、視覚的に豊かな文書を、明示的で再利用可能な外部知識構造へと変えるものです。このアプローチは、より制御可能な知識管理と、マルチモーダルな長文文書に対する堅牢な推論を促進します。本研究は、複雑なマルチモーダル推論タスクにおいては、生のモデルスケーリングや独自のトレーニングよりも、洗練された証拠の整理と反復的なプランニングがより効果的であることを示唆しています。