Is Deep Research Reliable? Misleading Knowledge Induces False Conclusions

技術要約：誤導的な知識がディープリサーチ・エージェントに誤った結論を誘発する

問題提起
ディープリサーチ（深層調査）エージェントは、情報の探索におけるパラダイムシフトを象徴している。それは、短期的な質問回答から、反復的な計画、証拠の検索、分析、そして構造化されたレポート生成を伴う長期的なワークフローへと移行している。これらのシステムは科学的および知識集約的なタスクへの導入が進んでいるが、「一見すると信頼できそうだが事実としては誤っている」情報が存在する場合の信頼性は、まだ定量化されていない。攻撃者がコーパスを明示的に汚染する短文のRAG（検索拡張生成）や敵対的設定とは異なり、ディープリサーチ・エージェントは、誤導的な知識が自然に存在するオープンウェブ環境で動作する。核心となる問題は、これらのエージェントが、合成フェーズにおいてそのような誤導的な文書によって支持された誤った結論を採用することに対して、どの程度抵抗できるのか、そしてソースの権威性、提示スタイル、およびワークフローのタイミングといった要因がこの採用にどのように影響するかである。

手法：MisKnow-Agent
この失敗モードを調査するために、著者らは、ディープリサーチ・タスクのために誤導的な知識を構築・検証するように設計された制御評価フレームワークであるMisKnow-Agentを導入する。本手法は以下の3つのステージで進行する：

1. ブループリントの構築： 各リサーチ・タスクに対して、「誤導的知識ブループリント」が生成される。これは、正準的な誤った結論（$cf$）と、権威レベル（高、中、低）によって分類された階層化された機関のプール（$H$）を定義する。
2. 制御されたインスタンス生成： フレームワークは、その誤った結論（$cf$）を支持するタスク固有の文書（$m$）を生成する。これらの文書は、所属する機関の権威レベルおよびソースの提示スタイル（論文、ニュース、ブログ、投稿）によって変化する。極めて重要な点として、生成プロセスは、文書が割り当てられたティアに対して内部的に一貫しており、かつスタイルとして適切であることを保証し、拒絶を招くような明らかな品質低下を回避している。
3. 検証とフィルタリング： 生成されたインスタンスが事実として誤導的であることを確実にするため、検索ガイド付きの精緻化ループが採用される。複数の検索機能を持つ検証モデル（$J$）が、候補を独立して評価する。候補が「Mis（誤り）」と分類された場合にのみ保持され、そうでなければ精緻化される。このプロセスにより、DeepResearch Benchから派生した、品質管理された5,933件の誤導的文書が得られた。

評価では、完了したレポートが正準的な誤った結論を自身の最終回答として支持した割合として定義される**誤った結論採用率（FCAR）**を測定する。単なる引用や反論は採用にはカウントされない。本研究では、3つのバックボーンLLM（DeepSeek-V4 Pro, Qwen3.5-397B, Intern-S1-Pro）とペアになった2つのオープンソース・フレームワーク（DeerFlow, WebThinker）、および1つのクローズドソース・システム（Gemini Deep Research）を評価している。

主な知見

• 誤導的な知識に対する高い感受性： 注入なしのコントロール群では、FCARは0%であった。1つの誤導的文書を導入すると、平均FCARは**54.7%**に上昇した。これは、一見信頼できそうな誤った情報にわずかに接触するだけで、誤った結論の採用を招く可能性があることを示している。
• ライフサイクル・ステージが決定的な要因： 露出のタイミングは結果に大きく影響する。最終的な合成の直前（合成前）に誤導的な知識を導入した場合、平均FCARは**85.5%**に急増した。対照的に、「コールドスタート」時や調査の中盤での露出によるFCARは、それぞれ40.5%および44.2%と低かった。これは、エージェントが最終合成フェーズに誤導的な証拠が統合された後では、それを拒絶しにくくなることを示唆している。
• ソースのキューが説得力を左右する：
  • 権威： 高い機関の権威性は、一般的に高い採用率と相関している（低レベルの46.2%に対し、高レベルは61.0%）。ただし、この関係はすべての構成において厳密に単調ではない。
  • 提示スタイル： 「論文（Paper）」スタイルが最も説得力のあるキューであり、最高のFCAR（61.0%）を記録した。次いでブログ、ニュース、投稿の順となった。「論文」と「投稿」のスタイルの差（23.5ポイント）は、高い権威と低い権威の差よりも大きく、学術的な提示形式が機関の階層単独よりも強力な信頼性のシグナルであることを示している。
• 検索ランクとボリュームの限定的な影響： 誤導的文書の検索結果における位置（前方か後方か）は、採用に最小限の影響しか与えなかった。さらに、注入する文書の数を1つ以上に増やしても、FCARの累積的な増加は一貫して見られず、信頼できそうな文書が1つあれば、失敗を誘発するのに十分であることを示唆している。
• フレームワークとモデルの相互作用： 採用率は、フレームワークのデザインとバックボーンLLMの組み合わせによって大きく変動した。例えば、DeerFlowは一般にWebThinkerよりも高いFCARを示したが、より高性能なモデルを使用するとこの差は縮まった。この相互作用は、堅牢性がモデルやフレームワーク単独の特性ではなく、それらの特定の統合によるものであることを示唆している。
• 防御策の限界： 研究では、事前リサーチ（検証強化プロンプティング）および事後リサーチ（主張ごとの検証エージェント）の防御策を評価した。これらの戦略はFCARを減少させたものの、排除するには至らなかった。特筆すべきは、防御策を組み合わせても一貫した相加的な利得は得られず、場合によっては（例：組み合わせた防御策を用いたIntern-S1-Pro）、性能が低下したことである。これは、事後リサーチ・エージェントが同じ汚染された検索環境下で動作していたためと考えられる。

意義と主張
本論文は、ディープリサーチ・エージェントは現在、長期的なワークフローにおける証拠の検証のための堅牢なメカニズムを欠いていると主張している。研究結果は、個別の誤導的文書を特定すること（クロスモデル検証による）は、検証プロセスが証拠の取得、中間状態の管理、および最終合成の段階に統合されていない限り、不十分であることを示している。

著者らは、この失敗モードがオープンソースのパイプラインに限定されるものではないことを強調しており、同様のパターンがクローズドソースのGemini Deep Researchにおいても観察されたとしている。本研究は、証拠が中間的な研究状態や最終的な結論に入る際には、継続的な検証が必要であることを結論付けている。なぜなら、現在の防御策では、一見信頼できそうな誤導的知識によって支持された誤った結論の採用を完全に防ぐには不十分だからである。本研究は、再現可能なフレームワーク（MisKnow-Agent）とデータセットを提供し、自律型リサーチ・エージェントの信頼性に関するさらなる研究を促進するものである。