技術要約: FLOWREADER

問題提起

長くマルチモーダルな文書は、検索拡張生成（RAG）システムにとって大きな課題となります。複雑なクエリに答えるために必要な証拠は、テキスト、表、チャート、スライドの間に断片化されており、複数のセル、ページ、あるいはモダリティに分散していることがよくあります。従来の top-$k$ チャンク検索 アプローチは、このような文脈において失敗します。なぜなら、それらは証拠の断片を独立したものとして扱うからです。この独立性は、構造的なつながり、マルチホップの依存関係、あるいは（図とその解説、または表の見出しと離れた位置にある行のように）分散したソースから証拠を組み立てる必要があるというプロセスを表現することを妨げます。さらに、固定された検索ポリシーは、複雑さの異なるクエリに対して同じ計算予算を割り当てるため、非効率性を招きます。

手法

FLOWREADER は、証拠の組み立て問題を、マルチモーダル・ノードグラフ上での 最小費用流（min-cost flow） 最適化タスクとして再定義します。本システムは、以下の3つの構造化されたフェーズを通じて動作します。

1. マルチモーダル・グラフ構築（オフライン）

ドキュメント・コーパスは、有向かつ重み付きのヘテロジニアス・グラフ $G = (V, E)$ に前処理されます。

• ノード ($V$): テキスト単位 ($V_{txt}$)、視覚単位 ($V_{vis}$)、および表単位 ($V_{tbl}$) に分割されます。各ノードには、LLMによって生成された要約、インデックスキーワード、モダリティ・タグ、および埋め込みが含まれます。
• エッジ ($E$): 有向エッジは、意味的な親和性をエンコードする重みを運びます。グラフは、セマンティックな隣接関係とレイアウトに基づいてノード属性と隣接関係を反復的に洗練させる、デュアル進化プロセス（G2-Readerに着想を得たもの）を用いて構築されます。

2. マルチシグナル・ノード・スコアリングとフロー・ルーティング（オンライン）

クエリ実行時、すべてのノードに対して単一のスカラー・スコア $h_i$ が計算され、以下の3つのシグナルを集約します。

• クエリ関連性 ($r_i$): 密なコサイン類似度とBM25スコアの融合。
• 構造的伝播 ($\phi_i$): 高い関連性を持つノードのタイトなクラスターの一部であるノードを捉えるために、グラフに沿って伝播される関連性。
• 局所性拡散 ($\psi_i$): クエリのトピック的な近傍内での長距離の接続を捉える、パーソナライズされたPageRankスコア。

これらのスコアは、拡張ネットワーク $G^*$ 上の 最小費用流問題 を駆動します。

• ソースとシンク: ソースは、多様性を確保するために 最大境界関連性（MMR） を用いて、クエリに整合したノードから選択されます。シンクは、関連性と情報密度を組み合わせた「回答可能性」スコアに基づいて選択されます。
• コストと容量: エッジのコストは、意味的に不整合な遷移や、低スコアのノードを経由する回り道を罰します。容量は、接続されたノードの品質によって制限されます。
• 最適化: 線形計画法が、固定された証拠予算 $F$ をソースからシンクへとルーティングし、総コストを最小化します。最適なフローは、一連の候補証拠パス（チェーン）へと分解されます。

3. パス選択と適応的合成

分解されたフローは、しばしば重複するノードを持つ多くの候補パスを生み出します。FLOWREADER は、エントロピー正則化レプリケーター・ダイナミクス（RD） を使用して、コンパクトで冗長性のないサブセットを選択します。

• 品質・多様性ゲーム: パスは、個々のパスの品質と、ペアワイズの多様性（Jaccard非重複で測定）のバランスを取る報酬行列を持つゲームにおける戦略として扱われます。
• 選択: RD は、パスの集団を反復的に更新し、品質と多様性のトレードオフを最大化する加重最大クリークへと収束させます。
• 回答合成: 選択されたパスは、視覚言語モデル（VLM）ワーカーによって並列に処理されます。
• 二重プロセス・ゲーティング: 「システム1」のパスが初期回答を生成します。ゲートは、ワーカー間の 回答の一貫性 と フローの飽和度 を監視します。一貫性が低い、またはフローが逼巡している（証拠が不十分であることを示す）場合、単一の「システム2」精緻化パスがトリガーされます。このパスはグラフを修正し（例：ブリッジ・エッジの追加やエッジの再重み付け）、パイプラインを一度だけ再実行します。

主な貢献

1. 最小費用流定式化: 本論文は、単一のパラメータ化（ノード・スコア $h$）がソース選択、シンク選択、エッジコスト、および容量を制御する統一されたフレームワークを導入しています。これにより、従来は別々であったスコアリング、ルーティング、および選択の段階を、単一の最適化問題へと集約しています。
2. 断片化した証拠の処理: 証拠の組み立てをフロー輸送としてモデル化することで、システムはマルチホップの依存関係と構造的なつながりを明示的に捉え、top-$k$ 検索が逃してしまう部分を補完します。
3. 適応的計算: 二重プロセス・ゲートの統合により、初期の検索と合成が信頼できないと判断された場合にのみ、追加の計算リソース（システム2の精緻化パス）を割り当てることが可能になり、パフォーマンスとコストのバランスを実現しています。
4. エントロピー正則化選択: レプリケーター・ダイナミクスを用いることで、多様な証拠パスを選択するための、ゲーム理論に基づいた原理的なアプローチを提供し、高スコアだが潜在的に冗長な単一のパスへの崩壊を回避します。

実験結果

システムは VisDoMBench で評価され、5つのマルチモーダル・サブセット（SPIQA, FetaTab, PaperTab, SciGraphQA, SlideVQA）を対象としました。

• 断片化した証拠に対する性能: FLOWREADER は、断片化した証拠が支配的な2つのサブセットで最良の結果を達成しました。
  • PaperTab: 58.40（強力なベースラインである G2-Reader に対して +1.30 の改善）。
  • SlideVQA: 72.93（G2-Reader に対して +0.62 の改善）。
• 全体的な性能: 全5つのサブセットにおけるマクロ平均スコアは 65.47 であり、最強のベースライン（G2-Reader: 66.21）に 0.74 ポイントの差まで迫りました。
• 競合状況: 断片化されたタスクでは優れていましたが、他のサブセット（例：SPIQA における VisDoMRAG）では、強力なベースラインには及ばず、同等の性能にとどまりました。著者らは、SciGraphQA における性能差について、ベースラインで使用されているプロプライエタリなエンコーダーと比較して、より小さなオープンソースのエンコーダー（nomic-embed-text-v1.5）を使用していること、および、そのデータセットに共通するパラフレーズされた回答をペナルティとする厳格なエンティティ・アンカー付きプロンプトに起因すると説明しています。
• 効率性: システムは、限定された VLM コール予算内で動作します。システム2はクエリごとに最大1回のみトリガーされるため、平均 30.8～47.3 回のコールとなり、一部のベースラインに見られる無制限の再計画ループと比較して効率的です。

意義と主張

本論文は、従来の top-$k$ 検索が失敗する場面において、最小費用流 が断片化したマルチモーダル証拠を組み立てるための効果的なメカニズムであることを主張しています。スコアリング、ルーティング、および選択を単一の最適化目的の下に統合することで、FLOWREADER は、長大な文書の構造的複雑さを扱うための原理的な方法を提供します。

著者らは、このアプローチが、複雑な多段階のチューニングを必要とせずに、リトリーバル・パイプライン全体に対する 統一された制御メカニズム を提供することを強調しています。結果は、証拠が高度に断片化されている領域（表やスライドなど）では、単に生成モデルの規模を拡大することよりも、構造化されたルーティングがより重要であることを示唆しています。本研究は、RAG を固定されたヒューリスティックから、制御された計算予算内での証拠組み立てのための、学習された構造化プロセスへと進化させる一歩として位置づけられます。