技術的サマリー：ベクトル RAG と LLM によるコンパイル版 Wiki の比較

問題定義

本論文は、研究コーパスに対する質問応答における 2 つの異なるアーキテクチャ、すなわちベクトル RAG（検索拡張生成）とLLM によるコンパイル版 Wikiとの間の定量的比較の欠如を扱っている。アンドレイ・カルパシーの「エージェント的マークダウン Wiki」などの非公式なコメントでは、取り込み時に研究を相互リンクされた Wiki にコンパイルすることが、複数論文の統合やコストの償却において優れていることが示唆されているが、標準的なチャンク・ベクトル RAG に対する事前登録された頭脳対決型の定量的比較は未発表であった。

本研究は、以下の 3 つの具体的なトレードオフを検証する：

1. 統合（Synthesis）：Wiki アーキテクチャは、複数論文にわたる知見の結びつきをよりよく行えるか？
2. 忠実度（Fidelity）：論文を Wiki ページに書き換えるプロセスは、ソースの忠実度や単一ソースの根拠付けを劣化させるか？
3. コスト：Wiki 構築の事前コストは、クエリ時のコストを安価にし、一定数の質問後に損益分岐点を生むか？

手法

本研究は、3 つのドメイン（AI 倫理と法、気候科学、精密医療）にわたる24 件の査読付き論文の固定コーパスを用いて実施された事前登録済み、二重盲検、2 人の判定者による比較である。

• 比較対象システム：
  • ベクトル RAG：単一ラウンドの「検索後生成」パイプライン。ドキュメントを考慮したマークダウンチャンク化、マルチクエリ拡張、ハイブリッド検索（密結合＋疎結合）、Cohere による再ランク付け、CRAG に着想を得た修正検証を採用。生成中は検索を行わない。
  • LLM Wiki：オフラインのコンパイルプロセスにおいて、LLM が論文を永続的な相互リンク型マークダウン Wiki（エンティティ、概念、ソース）に変換する。クエリ時には、ツールを使用するエージェントがこの Wiki を閲覧（ページの一覧表示、コンテンツの読解）して回答を生成する。
• 評価：
  • 質問：6 つの難易度段階（時系列、対立、マルチホップ、創発、政策、バイアスチェック）にわたる 13 の評価質問。
  • モデル：両システムとも回答生成にClaude Opus 4.7（xhigh）を使用。
  • 判定：回答はGPT-5.4（主要）とGemini 2.5 Pro（判定者間信頼性）により、盲検化かつランダム化された順序でスコアリングされた。
  • 評価基準：1〜10 点の 4 つの基準：groundedness（主張がソースに遡れるか）、structural_integrity（統一された物語性）、conflict_awareness（対立の認識）、inter_paper_mapping（マルチホップ統合）。
• 仮説：
  • H1（統合）：Wiki は、マルチホップ/創発質問における統合基準で RAG よりも 2.0 点以上高い。
  • H2（単一ソース）：RAG は、バイアスチェック質問における根拠付けにおいて Wiki 以上である。
  • H3（コスト）：Wiki の取り込みコスト > RAG の取り込みコスト かつ Wiki のクエリコスト < RAG のクエリコスト。

主要な貢献

1. 事前登録された比較：LLM によるコンパイル版 Wiki とベクトル RAG との定量的かつ盲検化された比較は初。
2. 評価手法の知見：LLM 判定者の行動が評価基準の具体性によって異なることを実証。inter_paper_mapping（具体的な定義）については判定者間の合意が密接であったが、structural_integrityのような全体的な基準では「天井効果による判定者」のズレが顕著であり、一方の判定者（Gemini）は Wiki に対して頻繁に 10/10 付近のスコアで飽和した。
3. 探索的分解アブレーション：Wiki の優位性が検索カバレッジに起因するのか、表現の整合性に起因するのかを分離するため、質問を部分質問に分解するDecomposition-RAG変種の事後分析を実施。

結果

1. 統合と組織化（H1）

• Wiki の優位性：Wiki はinter_paper_mapping（論文間統合）において単一ラウンド RAG を大幅に上回り、事前登録された閾値をクリアした（+6.625 vs +2.0）。
• 組織化：判定者間信頼性（IRR）調整後のstructural_integrityにおける優位性は弱く（+1.625）、+2.0 の閾値にわずかに届かなかった。
• 分解効果：分解ベースの RAG 変種は、Wiki の統合優位性の約 88% を回復し、格差を登録された閾値以下に縮小した。これは、Wiki の統合優位性の大部分がドキュメント全体にわたるより良い検索カバレッジに起因しており、RAG においてクエリを分解することで緩和可能であることを示唆している。

2. 根拠付けと忠実度（H2）

• 評価基準スコア：RAG は、バイアスチェック段階における単一事実の根拠付けに関する事前登録されたテストを満たし（RAG > Wiki）、H2 を達成した。
• 主張レベル分析（事後）：原子的主張の詳細な分析により、メカニズムの逆転が明らかになった。RAG は全体的な評価基準で高いスコアを獲得したが、Wiki が引用した主張は、引用されたテキストによって厳密に支持される可能性が RAG に比べて約 2 倍高く、支持されない可能性は 4〜5 倍低かった。
• 解釈：RAG はチャンクを検索した後、その範囲を超えて統合・推測する傾向がある（全体的な一貫性は生むが、厳密な整合性は低下する）。一方、Wiki は「主張の形状」をしたアーティファクトに証拠を事前に配置するため、引用の精度は高まるが、これは元の PDF の忠実度を保証するものではない（Wiki 自体がコンパイル品であるため）。

3. コストの非対称性（H3）

• クエリコスト：Wiki の期待されるコスト優位性は完全に失敗した。Wiki は RAG よりもクエリあたり21 倍多いトークンを消費した（165 万トークン対 7.8 万トークン）。
• 償却：クエリあたりのコストが高いため、取り込みコストを償却する「損益分岐点」は数学的に不可能（負の N）である。「事前コンパイルはクエリを安価にするために手数料を支払う」というコストの直感は、テストされた設定下では否定された。
• 取り込みコスト：テレメトリにおけるプロンプトキャッシュの会計処理の問題（キャッシュ済みトークンと未キャッシュトークンの集計）により、取り込みコスト比率は裁定できなかったが、クエリ側の結果のみが連言仮説 H3 を否定する。

4. Decomposition-RAG アブレーション

• 統合：Decomp-RAG は Wiki との統合格差を埋めたが、単一ラウンド RAG よりもLLM トークンコストが 3.4 倍高かった（ただし Wiki よりも 3.4 倍安価ではある）。
• 引用整合性：Decomp-RAG は、主張ごとの引用サポートにおける Wiki の優位性を回復しなかった（19.2% 対 Wiki の 40.2%）。これは、検索カバレッジと表現の整合性が分離可能なメカニズムであることを示している。

意義と結論

本論文は、根拠のある研究統合は単一の能力ではないと結論づけている。組織化、引用整合性、コストの 3 つの次元すべてにおいて優れている単一のアーキテクチャは存在しなかった。

• 単一ラウンド RAG：コストに敏感で、単一ソースの検索に適している。
• Decomposition-RAG：構造が重要な場合の複数論文統合における実用的な中間解であり、クエリコストの分の一で Wiki の統合効果の約 88% を提供するが、厳密な引用整合性では依然として劣る。
• LLM Wiki：証拠アーティファクトと主張の引用整合性（引用されたページが主張を直接支持する）において優れているが、クエリあたりのトークンコストが prohibitively 高く（RAG の約 21 倍）、ソースの忠実度の検証は保留されている。

本研究は、評価において統合構造、主張と引用の整合性、コストを「根拠付け」という単一の判断に集約するのではなく、個別に報告する必要があることを強調している。また、全体的な基準における LLM による判定評価の脆弱性を浮き彫りにし、信頼性の高い判定者間合意のためには具体的な操作定義が必要であることを示唆している。今後の研究では、Wiki ソースの忠実度を元の PDF に対して検証し、反復的検索と主張に基づく引用修復を組み合わせたハイブリッドアーキテクチャを探求する必要がある。