技術要約: PIXELRAG

問題提起

検索拡張生成（RAG）は、大規模言語モデル（LLM）を外部知識に接地させるための支配的なパラダイムとなっていますが、特にオープンドメインの質問回答や検索拡張エージェントにおいて顕著です。しかし、現在のシステムは、極めて重要でありながらしばしば見落とされている前処理ステップ、すなわちHTML-to-text（HTMLからテキストへの）パースに依存しています。

既存のパイプラインは、パーサー（例：Trafilatura、mwparserfromhell）を使用して、生のウェブページからクリーンなテキストを抽出します。著者らは、このプロセスが本質的に情報の欠落（lossy）があり、脆弱であると主張しています。

1. 情報の損失: パーサーは視覚的な手がかり（強調、レイアウト）、構造化されたコンテンツ（表、チャート、インフォボックス）、および画像を取り除いてしまいます。
2. 構造の劣化: 2Dレイアウトを1Dのトークンシーケンスに変換することで、空間的なグルーピングや階層が平坦化され、リトリーバー（検索器）が回答を含む領域と周囲のテキストを区別することが困難になります。
3. パーサーの多様性: パーサーの選択はダウンストリームのパフォーマンスに大きく影響し、異なるエクストラクター（抽出器）は、回収可能なテキストの量をそれぞれ異なって破棄します。

本論文は、ウェブは本質的に視覚的であるため、RAGはテキストによる抽象化に頼るのではなく、直接ピクセル空間で動作すべきであると提唱しています。

手法: PIXELRAG

PIXELRAGは、ウェブスケールにおいて完全にピクセル空間で動作する初のエンドツーエンドRAGシステムです。これはHTMLパースを完全にバイパスし、ウェブサイトをレンダリングされたスクリーンショットとして表現します。パイプラインは主に3つのステージで構成されます。

1. データ収集とタイリング

• オフラインレンダリング: 数百万ページ（例：700万件のWikipedia記事）にスケールさせるため、システムはフェッチング（取得）とレンダリングを分離しています。アセット（HTML、CSS、画像）は、まずローカルにキャッシュされます（例：Kiwix ZIMアーカイブ、または非同期クロール経由）。
• レンダリング: ページは、Playwright（ヘッドレスChromium）を使用し、固定ビューポート幅（875px）でオフラインでレンダリングされます。非コンテンツ要素（ナビゲーション、サイドバー）は除去されます。
• タイリング: フルページのスクリーンショットは、重なりのないタイル（高さ1024px）に分割されます。これにより、Wikipediaでは約3,000万枚、ニュースコーパスでは約360万枚のタイルが生成されます。

2. インデックス構築

• 視覚的埋め込み: システムは、規模を管理するためにシングルベクトル検索アプローチを使用します（3,000万枚のタイル）。各タイルを2048次元のベクトルにエンコードするために、Qwen3-VL-Embeddingモデル（20億パラメータ）を採用しています。
• 対照学習によるファインチューニング: ベースとなる埋め込みモデルは、合成的な対照学習パイプラインを用いてスクリーンショットのデータストアに対してファインチューニングされます。
  • 合成クエリ生成: LLMがタイルの視覚的内容に基づいた自然言語の質問を生成し、回答が完全に可視化されていることを保証します。
  • 動的なハードネガティブマイニング: システムはクエリに対してトップKの候補を検索します。LLMが判定役となり、「偽のネガティブ（回答も含むタイル）」をフィルタリングし、「ハードネガティブ（トピックとしては関連しているが回答を含まないタイル）」を保持します。
  • 学習: モデルは、微細な視覚的詳細（表の構造など）の識別性を高めるために、LLMバックボーンとViT（Vision Transformer）の両方に対してLoRAを用いてファインチューニングされます。
• インデックス作成: FAISS IVFインデックスが近似最近傍探索をサポートし、効率的な検索とインクリメンタルな更新を可能にします。

3. 実行時の検索と生成

• クエリ処理: ユーザーのクエリは、同じ視覚的埋め込みモデルを使用してエンコードされます。
• 検索: コサイン類似度に基づいて、トップKのスクリーンショットタイルが検索されます。
• 生成: 検索されたタイルは、中間的なテキスト変換を経ることなく、直接ピクセル入力としてビジョン言語モデル（VLM）リーダー（例：Qwen3.5-4B）に送られ、回答が生成されます。

主な貢献

1. 初のウェブスケール・ピクセルRAG: PIXELRAGは、フルWikipediaコーパス（700万記事、3,000万タイル）およびニュースコーパス上で、HTML-to-textパース工程を排除して完全にピクセル空間で動作する初のシステムです。
2. スケーラブルなパイプラインと学習: 著者らは、合成QAペアと動的なハードネガティブマイニングを用いたスケーラブルなオフラインレンダリングパイプラインと対照学習レシピを開発し、視覚的埋め込みモデルをウェブスクリーンショットに適応させました。
3. 性能の優位性: 本システムは、テキスト中心のタスク（NQ, SimpleQA）やマルチモーダルタスク（MMSearch, LiveVQA）を含む多様なベンチマークにおいて、ピクセル空間での検索がテキストベースのRAGベースラインを一貫して上回ることを示しています。
4. 圧縮による効率化: 本論文は、画像の解像度を新たな効率化のレバーとして特定しています。VLMリーダーに低解像度を許容するように訓練することで、精度を維持しながら最大3倍のトークンコスト削減を達成しました。

実験結果

本論文では、6つのベンチマークにおいて、PIXELRAGを「検索なし」およびテキストベースのRAGベースライン（Trafilaturaおよびmwparserfromhellパーサーを使用）と比較評価しています。

• テキスト中心のタスク (NQ, SimpleQA): 驚くべきことに、PIXELRAGは、質問がテキストのみで回答可能なタスクにおいても、テキストベースのRAGを上回りました。
  • SimpleQAにおいて、PIXELRAG（ファインチューニング済み）は**78.8%**の精度を達成しました（最高のテキストベースラインであるTrafilaturaの71.6%に対し）。
  • NQ-Tablesでは、その差は顕著です（48.8% vs 35.9%）。これは、パーサーが破壊してしまう表構造を保持していることに起因します。
• マルチモーダルおよびノイズの多いタスク:
  • LiveVQA（ノイズの多いニュースコーパス）では、PIXELRAGはテキストベースラインよりも精度が**11.3%**向上しました。
  • MMSearchおよびEncyclopedic VQAにおいて、PIXELRAGは特に検索の再現率において強い向上を示しました（例：EVQAで+5倍）。
• 失敗分析: 著者らは、テキストベースのRAGにおける3つの失敗モードを特定しました。
  1. パーサーによる損失: 構造化されたコンテンツ（表）が平坦化されるか、完全に失われます。
  2. ランクの損失: 回答を含むテキストが存在するものの、「インフォボックスの置換（infobox displacement）」により低くランク付けされます（線形化されたインフォボックスはキーワードには一致しますが、特定の回答を欠いています）。
  3. リーダーの損失: 線形化されたリストや表が、行とヘッダーのマッピングを行うリーダーの能力を混乱させます。
     PIXELRAGは、2Dの視覚的構造を保持することでこれらを軽減します。
• スケーリング: パフォーマンスはVLMの能力とともにスケールします。より強力な視覚的テキスト読解能力を持つモデル（Qwen3-VL-4B以上など）では、ピクセル検索がテキスト検索を上回るクロスオーバー現象が見られます。
• エージェント的検索: マルチホップQAベンチマークであるMoNaCoにおいて、PIXELRAGは、1回の検索ステップあたりの情報密度が高いため、最も低いコスト（テキストベースラインより2〜4倍安価）で最高のF1スコアを達成しました。

意義と主張

本論文は、ウェブRAGはウェブのネイティブな視覚形態で直接動作できると主張しており、テキスト表現の必要性に疑問を投げかけています。

• 性能: ピクセル表現は、テキストパーサーが必然的に劣化させてしまう重要な2D構造の手がかり（表、インフォボックス、レイアウト）を保持するため、検索および生成の精度が高まります。
• 効率性: 画像圧縮により、精度を損なうことなく大幅なトークンコストの削減が可能となり、RAGシステムを最適化するための新しい次元を提供します。
• パラダイムシフト: VLMがピクセルとしてレンダリングされたテキストを読み取る能力が向上し続けるにつれ、ピクセルベースのRAGとテキストベースのRAGの差は広がると予想されます。これは、ウェブスケールの知識に対するネイティブな視覚的検索への移行を示唆しています。

著者らは、テキストパースが現行のLLMにとって必要な前処理ステップであったものの、VLMの進歩により、ピクセルネイティブなパイプラインが実現可能であるだけでなく、性能と効率の両面で優れていると結論付けています。