LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding

技術的サマリー：LFRAG – 多モーダル文書理解のためのレイアウト指向微細粒度検索拡張生成

問題定義
多モーダル検索拡張生成（RAG）は、視覚的に豊かな文書（例：学術論文、財務報告書）からの外部知識を大規模言語モデル（LLM）に付与するパラダイムとして登場しました。しかし、既存の多モーダル RAG システムは主に粗粒度のページレベル検索に依存しています。このアプローチは、文書全体を最小検索単位として扱うため、以下のような重大な限界をもたらします：

1. 微細粒度構造の喪失： テーブルの行と列の関係や図とテキストの関連性など、ページ内の階層的意味やレイアウト構造を捉えられません。
2. 冗長なコンテキスト： 全文書を検索することで大量の無関係な内容が混入し、下流の生成における計算オーバーヘッドを増大させ、ハルシネーションのリスクを高めます。
3. 解像度の低下： ビジョン・ランゲージモデル（VLM）における固定解像度の画像パッチングは、高解像度のページをダウンサンプル化することが多く、微細な情報の喪失を招きます。

現在の解決策は、OCR によって文書をプレーンテキストに変換する（視覚的・構造的データを破棄する）か、VLM を用いて全文書をエンコードする（ページ内のレイアウトを無視する）かのいずれかです。文書を意味的に一貫したブロックに効果的にセグメント化しつつ、正確な検索のためにレイアウト情報を保持するフレームワークは存在しません。

手法：LFRAG フレームワーク
これらの課題に対処するため、著者は検索パラダイムをページレベルからブロックレベルへ移行させるフレームワーク、LFRAG（レイアウト指向微細粒度検索拡張生成）を提案します。このシステムは以下の 4 つの主要な段階で動作します：

1. レイアウトセグメンテーションと意味的ブロック集約：

   • システムはまず、レイアウト検出モデル（DocLayout-YOLO）を用いて、タイトル、図、テーブル、段落などの構造的領域を識別します。
   • 過度な断片化（例：図とそのキャプションを分離する）を防ぐため、グラフベースの意味的ブロック集約アルゴリズムが採用されます。このアルゴリズムは、重なり、垂直距離、タイプの一貫性に基づき、空間的に隣接し意味的に互換性のある領域を統合して、一貫したブロックを形成します。
   • 個々の切り出しで捉えられないグローバルな背景コンテキストを保持するため、補助的な「マスクされたページ」ブロックも作成されます。

2. 意味的・レイアウト特徴融合エンコーディング：

   • 階層的エンコーディング戦略が設計されます。ブロック画像は視覚エンコーダによってエンコードされ、一方、全文書はエンコードされてグローバル埋め込みを生成します。
   • クロスアテンション機構が、グローバルなレイアウトコンテキストをローカルなブロック表現に統合します。
   • レイアウトタイプタグ（例：<Figure>、<Table>）がエンコードされ、投影された視覚的埋め込みと連結されて、構造的認識を強化します。

3. ブロックレベルの遅延相互作用検索：

   • 検索は、遅延相互作用機構（ColBert に着想を得たもの）を利用します。クエリトークンとブロック表現は、マルチベクトル埋め込みとしてエンコードされます。
   • 関連性はMaxSim スコア（クエリトークンとブロックトークンの間の最大ドット積）を用いて計算され、早期融合なしに微細粒度のアライメントを可能にします。
   • このスコアに基づき、上位 k 個の関連ブロックが検索されます。

4. 拡張生成：

   • 検索された上位 k 個のブロックと元のクエリが、回答生成のために VLM へ入力されます。全文書ではなく正確なブロックに入力を制限することで、モデルは構造的に根拠のある証拠に基づいて動作し、ノイズを低減します。

ベンチマーク構築：LFDocQA
微細粒度の評価基準の欠如を認識し、著者はブロックレベルのバウンディングボックス注釈を備えた最初の多モーダル文書ベンチマーク、LFDocQAを構築しました。

• 構成： これは 2 つの部分集合で構成されます。LF-Docmatix（一般文書から派生）とLF-PaperTab（複雑なレイアウトを持つ学術論文から派生）です。
• 注釈： 半自動パイプラインが LLM を用いて、特定のクエリに対する真の関連ブロックを識別し、クエリが全文書ではなくレイアウト領域と明示的に対応付けられることを保証します。
• 規模： データセットには、テキスト、テーブル、チャートなど多様なコンテンツタイプを網羅する、詳細なブロックレベル注釈付きの 1,000 組の QA ペアが含まれています。

実験結果
LFDocQA および公開ベンチマーク（ViDoRe V1、VisDoMBench）における広範な実験は、以下の結果を示しました：

• 検索性能： LFRAG は最先端の性能を達成しました。LFDocQA（ドメイン内）において、ブロックレベルで最良のベースライン（ColQwen2.5-v0.2）を、nDCG@3 で4.95%、Recall@3 で**3.85%**上回りました。
• 生成性能： LFRAG は、最良のベースラインと比較して回答精度を**7.20%**向上させました。
• 効率性： 無関係なコンテキストをフィルタリングすることで、LFRAG は生成タスクにおける入力トークン消費量を**73.07%**削減しました（約 8〜10k トークンから約 1.7〜2.9k トークンへ低下）が、回答品質は維持または向上しました。
• 汎化性： このフレームワークは、公開されたページレベルベンチマークにおいて強力な汎化性を示し、ViDoRe V1 で最高の平均 Recall@5、VisDoMBench で最高の平均 ANLCS を達成しました。

意義と貢献
本論文は、以下の 3 つの主要な貢献を主張しています：

1. LFRAG フレームワーク： レイアウトセグメンテーション、意味的・レイアウト融合エンコーディング、およびブロックレベルの遅延相互作用を統合し、正確な検索と効率的な生成を可能にする新しい多モーダル RAG フレームワーク。
2. LFDocQA ベンチマーク： 既存のページレベル評価のギャップを埋め、厳密な微細粒度評価を可能にする、最初のブロックレベル多モーダル検索および QA ベンチマーク。
3. 実証的検証： ページレベルからブロックレベルへの検索への移行が、検索精度を大幅に向上させ、生成オーバーヘッドを削減し、視覚的に豊かな文書理解におけるハルシネーションリスクを軽減することを確認する広範な実験。

著者は、効果的な微細粒度検索は、恣意的な分割ではなく意味的に有意義なセグメンテーションに依存しており、複雑な文書構造の処理にはレイアウト情報の統合が不可欠であると結論付けています。今後の研究では、テーブルなどの構造化データをより適切に処理し、適応的な粒度戦略を探求するためにフレームワークを拡張する計画です。