🤖 AI

LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know?

本論文は、現在のLLMベースの検索エージェントが真のウェブ検索ではなく内在知識に依存していることが多いことを明らかにし、真のエビデンス駆動型の発見能力を効果的に評価するための、最近の目立たない事実を用いた動的ベンチマーク「LiveBrowseComp」の導入を促すものである。

原著者： HuiMing Fan, Xiao Wang, Zheng Chu, Qianyu Wang, Zhuoyao Wang, Ming Liu, Bing Qin, XingYu

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： HuiMing Fan, Xiao Wang, Zheng Chu, Qianyu Wang, Zhuoyao Wang, Ming Liu, Bing Qin, XingYu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「LiveBrowseComp: 検索エージェントは検索しているのか、それとも既知のことを確認しているだけなのか？」を、平易な言葉と創造的な比喩を用いて解説したものです。

大きな問い：探索しているのか、それとも宿題の確認をしているだけなのか？

超優秀な探偵（AI エージェント）を雇い、特定の難解な事実を見つけさせる状況を想像してください。探偵には図書館カード（インターネットアクセス）を渡し、「答えを見つけろ」と指示します。

この論文は、疑わしい問いを投げかけます：この探偵は本当に図書館を探索して新しい情報を見つけ出しているのでしょうか、それともすでに暗記していた本を開き、頭の中にある答えを見つけ出し、図書館カードを使って「ほら、私が言った通りでしょう」と確認しただけなのでしょうか？

著者たちはこの行動を**内在的知識依存（Intrinsic Knowledge Dependence: IKD）**と呼びます。これは、模擬試験の答えをすでに暗記している生徒のようなものです。本番の試験を受けるとき、彼らは勉強する必要はありません。記憶していることを書き留め、その記憶が正しいかどうかを確認するために「開き本」のルールを利用するだけです。

現在のテストの問題点（「静的」ベンチマーク）

現在、これらの AI 探偵は「静的ベンチマーク（BrowseComp など）」を用いてテストされています。これらは古くほこりっぽい雑学クイズのようなものです。

問題点: これらのクイズはしばらく前から存在しているため、AI モデルはトレーニング中にすでに「問題文」を読んでいる可能性が高いです。
結果: AI は高いスコアを獲得しますが、それは検索が上手だからではありません。記憶が上手だからです。AI は記憶から答えを推測し、自信を持つためにインターネットを利用するだけです。

3 つの「嘘発見器」テスト

研究者たちは、この疑念を証明するために、既存の AI モデルで 3 つの簡単な実験を行いました。

「ツールなし」テスト: インターネットを取り除きました。
- 結果: AI は依然として約**44%**の答えを正解しました。これは、検索ツールではなく、内部の記憶に依存していたことを証明しました。
「壊れた図書館」テスト: AI にインターネットを使わせましたが、正解が含まれているページをこっそりすべて削除しました。AI が見られるのは無関係なゴミだけです。
- 結果: AI のスコアは急落しました。ゴミを無視して記憶に固執するのではなく、混乱して誤った答えを出しました。これは、彼らが真理を発見するために検索を使っていたのではなく、すでに推測していたことを確認するために使っていたことを示しました。
「手がかりの痕跡」テスト: AI の検索履歴を観察しました。
- 結果: AI が行った検索クエリの50% 以上は、実際にウェブ上で見つけたものではなく、AI 自身の推測に基づいていたことが判明しました。彼らは自分の尻尾を追いかけていたのです。

解決策：「LiveBrowseComp」の導入

この問題を解決するため、研究者たちはLiveBrowseCompという新しいテストを構築しました。

比喩:
もし古いテストが、AI がテレビで見たかもしれない昨年の**『ジェパディ！』の回だとしたら、新しいテストは今まさに生放送されているニュース**のようです。

新鮮さ: 質問は過去 90 日以内に公開された事実に基づいています。AI が「生まれて」（トレーニングされた）時点ではまだ存在しなかったため、暗記することは不可能です。
難解さ: 事実には「スーパーボウルで誰が勝ったか？」のような有名な見出しはありません。「ペルーの小さな町で 3 週間前に発生した地震の具体的なマグニチュードは何か？」や「昨日リリースされたニッチなビデオゲームの名前は何か？」といった「ロングテール」の事実です。
目的: AI に記憶からの推測ではなく、実際に情報を狩り出すことを強制することです。

新しいテストを実行した結果は？

結果は衝撃的でした。

記憶の失敗: AI がインターネットを使わず（クローズドブック）にこれらの新しい質問に答えようとしたとき、スコアは2% 未満に低下しました。彼らはこれらの新しい事実についてほとんど何も知りませんでした。
検索スコアの低下: インターネットの使用を許可された場合でも、AI のスコアは古いテストと比較して25〜40 ポイント低下しました。
ランキングの変化: 古いテストで「優勝者」だった AI モデル（記憶力に優れていたため）は、新しいテストでは突然平均以下または低水準となりました。実際に検索するのが得意なモデルがトップに浮上しました。

人間との比較

研究者たちは、これらの質問を解決するために実際の人間にも取り組んでもらいました。

発見: 人間は「古い」質問と「新しい」質問を解くのに、ほぼ同じ時間がかかりました。
意味: 新しい質問は「難しい」わけでも「賢い」わけでもありません。単に新しいだけです。AI が苦労した唯一の理由は、記憶というショートカットに頼ることができなかったからです。

結論

この論文は、現在の AI 評価は検索ではなく記憶を報酬としているため、欠陥があると結論づけています。

古い方法: 「答えを推測し、それを裏付けるウェブサイトを見つけることができますか？」（AI は A を獲得）。
新しい方法（LiveBrowseComp）: 「見たこともない答えを見つけることができますか？」（AI は F を獲得）。

著者たちは、AI が優れた「検索エージェント」かどうかを真にテストするためには、AI がまだ知らないものでテストし、確認ではなく発見という困難な作業を強いる必要があると主張しています。

技術的サマリー：LiveBrowseComp

問題定義

本論文は、大規模言語モデル（LLM）に基づく検索エージェントの評価における重要なギャップに焦点を当てる。エージェントは BrowseComp などの静的ベンチマークで高いパフォーマンスを示す一方で、この成功が真の証拠に基づく発見に由来するのか、それとも単に既存のパラメトリック知識の検証に過ぎないのかについて、著者らは疑問を呈する。特定された中心的な問題は「内在的知識依存（IKD）」である。これは、エージェントが検索ツールを主に内部で既に生成した仮説を確認するために使用し、検索以前にパラメータにエンコードされた情報に依存する失敗モードを指す。「エージェントが知っていること」と「エージェントが見つけられること」の混同は、未知の情報を発見する能力ではなく、記憶に支えられた検証を報酬とするベンチマークをもたらす。

手法

著者は、既存のベンチマークに対する診断的なパイロット研究と、IKD を中立化するように設計された新しいベンチマークの構築という、2 段階の手法を採用している。

1. 診断的パイロット研究

IKD を定量化するため、著者は複数の最先端モデル（DeepSeek、Kimi、MiniMax、GLM など）に対して、統一された検索エージェント基盤を用いて、4 つの静的ベンチマーク（BrowseComp、BrowseComp-ZH、HLE、GAIA）で 3 つの診断実験を実施した。

クローズドブックカバレッジ: すべての検索ツールを無効化してパフォーマンスを測定する。これにより、エージェントが利用可能な内在的知識のベースラインが確立される。
証拠ブロック検索: 検索インターフェースを有効にしたまま、回答を支援するすべてのドキュメントを検索インデックスから削除する。これにより、「検証」チャネルが機能しない場合、エージェントがパフォーマンスを維持できるかをテストする。
軌道グラウンディング: 検索ログを分析し、クエリが検索された証拠によってシードされたのか、それともモデル自身の内部仮説によってシードされたのかを判定する。

2. LiveBrowseComp の構築

エージェントをその内在的知識の境界を超えて評価するため、著者は特定の設計制約を持つ深層検索ベンチマークであるLiveBrowseCompを導入した。

時間的鮮度: 質問はベンチマーク構築の 90 日前までに発表された事実から導出され、典型的なトレーニングデータの切断点の外側にあることを保証する。
ロングテールの隠蔽性: 出典（GDELT、TMDB、RAWG、CVE/NVD、SportsDB、USGS）は、世界的に注目される出来事を除外するようにフィルタリングされ、隠れているが検証可能な事実のみを保持する。
安定性と一意性: 質問は、回答が安定しており（急速に変化しない）、かつ一意であることを保証するようにフィルタリングされる。
人間による検証: 専門的なアノテーターと独立した検証者による厳格な多段階のプロセスにより、質問が多段階の推論を必要とし、既存の知識では解決できず、単一の正解を持つことを保証する。

主要な貢献

内在的知識依存（IKD）の特定: 本論文は、現在の検索エージェントがしばしば発見エンジンではなく、パラメトリック知識の検証インターフェースとして機能することを、形式的に定義し、実証的に示す。
診断フレームワーク: 著者は、既存の評価における IKD を検出するための診断セット（クローズドブック、証拠ブロック、軌道分析）を提供する。
LiveBrowseComp ベンチマーク: 最近のロングテール事実に依存することで IKD を抑制するように特別に設計された、335 問の人間作成質問の新しいデータセット。
最先端モデルの再評価: 本論文は LiveBrowseComp における主要モデルを再ランク付けし、静的ベンチマークのランキングがライブ検索タスクのパフォーマンスを確実に予測しないことを明らかにする。

実験結果

高い内在的依存: 静的ベンチマークにおいて、エージェントはツールなしのクローズドブック設定で最大**44.5%**の質問に正答した。
証拠ブロックによる崩壊: 回答を支援する証拠が削除されると、パフォーマンスは劇的に低下した。例えば、MiniMax M2.5 は 44.5%（クローズドブック）から 8.0% に、Kimi-K2.6 は 25.5% から 2.3% に低下した。これは、検索が内部仮説を確認できない場合、しばしばパフォーマンスを低下させることを示している。
クエリの由来: 検索クエリの50% 以上は、検索由来ではなく、モデル発（内部推論によってシードされた）であった。さらに、エージェントは検索された回答支援証拠を、それが検索されたケースの33% 未満で利用していた。
LiveBrowseComp パフォーマンス:
- クローズドブック精度: 評価されたすべてのモデルは LiveBrowseComp で2% 未満の精度に留まり、時間的およびロングテールの制約が内在的知識を効果的に中立化したことを確認した。
- 検索拡張スコア: 静的ベンチマークと比較してスコアが25〜40 ポイント低下した。
- ランキングのシフト: 静的ベンチマークスコア（BrowseComp）と LiveBrowseComp スコアの相関は著しく弱まった（ピアソンの $r$ は 0.79 から 0.53 に低下）。広範な知識により静的ベンチマークで卓越したモデルが、必ずしも LiveBrowseComp で最良のパフォーマンスを発揮したわけではない。
- 行動の変化: LiveBrowseComp において、検索ターン分布は、検証中心の短い軌道から、より探索的な長い経路へとシフトし、真の情報探索への移行を示した。

意義

本論文は、静的ベンチマークがモデルのパラメトリック知識と検索能力を混同し、エージェントの進歩に関する誤った図景を作り出していると主張する。LiveBrowseComp は、「記憶のバックストップ」が取り除かれた場合、現在の検索エージェントが既に知らない情報を発見することに苦労することを示している。著者は、将来の評価が「推測と検証」の行動と真の証拠に基づく発見を区別するために、動的で時間的なベンチマークを優先すべきであり、真の検索能力を報酬とするトレーニング信号への転換を促すことを結論付けている。