Evaluating the Search Agent in a Parallel World

本論文は、検索エージェントの評価における現実世界の動的変化や評価基準の曖昧さといった課題を解決するため、知識カットオフ以降の未来シナリオと不変の原子的事実に基づく架空世界「Mind-ParaWorld」およびその評価ベンチマーク「MPW-Bench」を提案し、検索エージェントが証拠収集や収集停止の判断において依然として限界を抱えていることを明らかにしています。

要約

未来の「平行世界」で検索エージェントをテストする：Li Auto の新しい研究の解説

この論文は、**「AI がインターネットを検索して答えを見つける能力」**を、より公平で正確に評価するための新しい方法とテスト基準（ベンチマーク）を紹介しています。

タイトルは『Li Auto | Base Model: Evaluating the Search Agent in a Parallel World（平行世界における検索エージェントの評価）』です。

以下に、専門用語を避け、誰でもわかるような比喩を使って解説します。

---

1. なぜ新しいテストが必要なのか？（現在の問題点）

今、AI（大規模言語モデル）は「検索エンジン」を使って、リアルタイムの情報を調べたり、複雑な問題を解決したりする能力を持っています。しかし、この能力を測るテストには、3 つの大きな問題がありました。

• 問題①：「難易度の崩壊」
  • 例え： 昔は「2024 年のオリンピックの金メダリストは誰か？」という質問は、検索して調べる必要がありました。しかし、今や誰もが知っている事実になり、AI は検索しなくても答えを「記憶」から言えてしまいます。
  • 問題： 検索テストの問題が簡単になりすぎて、AI の本当の「検索力」が測れなくなっています。
• 問題②：「記憶と検索の区別がつかない」
  • 例え： 生徒がテストで正解したとき、それは「勉強して調べたから」なのか、「前に読んだ本を覚えていたから」なのか、先生にはわかりません。
  • 問題： AI が正解しても、それが「検索ツール」のおかげなのか、単なる「記憶」なのかを区別するのが難しいです。
• 問題③：「現実の検索エンジンは不安定」
  • 例え： 現実の検索結果は、その日の天気や、検索エンジンのアルゴリズムの微妙な変化で変わってしまいます。
  • 問題： 評価結果が「検索エンジンの偶然」に左右されてしまい、公平な比較ができません。

2. 解決策：「平行世界（Mind-ParaWorld）」の登場

そこで著者たちは、**「平行世界（パラレルワールド）」**という、AI の記憶とは完全に切り離された、人工的に作られた世界を作り出しました。

• どんな世界？
  • 未来の出来事： AI の学習データ（知識の限界）よりも**「未来」**に設定された出来事です。例えば、「2027 年のサッカー選手の記録」や「2028 年の新製品の価格」など、AI がまだ知らない事実をテストします。
  • 絶対的なルール（原子的事実）： この世界には「物理法則」のような絶対的なルール（原子的事実）が事前に決まっています。
    • 例：「2027 年の A 選手の得点は 10 点」「B 選手の得点は 8 点」など。
  • 検索エンジンも人工的： 現実の Google ではなく、この「平行世界」のルールに基づいて、AI の質問に答える**「パラワールド・エンジン」**が動きます。

3. テストの仕組み：どうやって評価する？

このテストでは、AI に「未来のニュース」を調べるように指示を出します。

1. 質問： 「2027 年の A 選手と B 選手、どちらがより多くのアシストをしたか？」
2. AI の行動： AI は検索ツールを使って、A 選手のデータと B 選手のデータを別々に探さなければなりません。
   • ポイント： 検索エンジン（パラワールド・エンジン）は、AI が**「具体的な質問（原子クエリ）」**を投げたときだけ、正しい答えを返します。
   • 悪い例： 「A と B のアシストを比べて」と一度に聞くと、答えは返ってきません（「検索エンジンにはそんな複雑なことはできない」というルールのため）。
   • 良い例： 「A のアシスト数」「B のアシスト数」と分けて聞くと、正しいデータが返ってきます。
3. 評価： AI が正しい答えを出すために、**「必要な情報をどれだけ見つけられたか（網羅性）」と「いつ検索を止めて答えを出すか（判断力）」**を厳しくチェックします。

4. 実験結果：AI はどこが苦手なのか？

この新しいテスト（MPW-Bench）を使って、さまざまな AI を試したところ、以下のようなことがわかりました。

• 情報さえあれば、計算は得意：
  • 必要なデータ（アシスト数など）をすべて AI に渡して「計算して」と言えば、ほとんどの AI は正解します。つまり、「考える力」自体は十分にあるのです。
• 本当の弱点は「検索の戦略」：
  • 情報収集の不足： 複雑な問題になると、必要な情報をすべて見つけられず、中途半端な状態で答えを出してしまいます（「検索を早々にやめてしまう」）。
  • 検索の仕方が下手： 「A と B を比べて」という複雑な質問を、検索エンジンが理解できる「A のデータ」「B のデータ」という小さな質問に分解する力が、まだ不十分です。
  • 判断の甘さ： 「もっと検索したほうがいいか、もう答えを出すべきか」を見極めるタイミングが難しいようです。

5. まとめ：この研究の意義

この論文は、**「AI が検索できるかどうか」ではなく、「AI が『どうやって』検索し、どうやって情報を組み合わせて答えを出すか」**を、公平に測る新しい方法を提供しました。

• 比喩で言うと：
  • これまでのテストは「暗記テスト」や「運試し」に近いものでした。
  • 新しいテスト（平行世界）は、**「未知の探検」**です。地図（知識）がない場所で、コンパス（検索ツール）をどう使い、どんなルート（検索戦略）を選べば目的地（正解）にたどり着けるかを、厳密に評価します。

この研究成果（MPW-Bench）は、今後の AI が、より賢く、現実世界で複雑な問題を解決する「探検家」として活躍するための重要な道しるべになると期待されています。

技術概要

論文「Evaluating the Search Agent in a Parallel World」の技術的サマリー

本論文は、Li Auto Base Model チームによって提出されたもので、大規模言語モデル（LLM）に統合された「検索エージェント（Search Agents）」の評価における課題を解決し、新しい評価フレームワーク「Mind-ParaWorld (MPW)」とベンチマーク「MPW-Bench」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

検索エージェントは、Web 検索ツールを活用してリアルタイムかつ長尾（Long-tail）の情報を処理する能力を LLM に付与しますが、その評価には以下の 4 つの重大な課題が存在します。

1. 高品質なベンチマークの構築コストと信頼性:
   • 深層検索（Deep Search）に適した高品質なベンチマークの作成には莫大な専門家の労力が必要です。
   • 自動生成された合成データは、出典が不確実であったり、論理的な欠陥を含んでいたりする傾向があります。
2. 静的ベンチマークの動的陳腐化（Dynamic Obsolescence）:
   • 難易度の崩壊（Difficulty Collapse）: インターネット上に情報が蓄積されるにつれ、複雑な推論が必要だったクエリが、単純な検索タスクに退化してしまいます。
   • 事実のドリフト（Fact Drift）: スポーツ記録や株価など、時間とともに変化する事実は、静的なベンチマークの正解（Ground Truth）を急速に古くします。
3. 帰属の曖昧性（Attribution Ambiguity）:
   • LLM の事前学習データ（パラメトリックメモリ）が広大であるため、エージェントがツールを使って情報を取得したのか、単に記憶された知識を想起しただけなのかを区別することが困難です。
4. 再現性とバイアス:
   • 特定の商用検索エンジンに依存すると、そのランキングアルゴリズムのブラックボックス性や変動により、評価の再現性が損なわれます。

2. 提案手法：Mind-ParaWorld (MPW)

これらの課題を解決するため、著者は「パラレルワールド（並行世界）」という概念を導入した評価フレームワーク Mind-ParaWorld (MPW) を提案しました。これは、エージェントの内部知識から認知的に隔離された制御可能な環境です。

2.1 フレームワークの構成

MPW は以下の 3 つのフェーズで構成されます。

1. パラレルワールドの質問構築:
   • 実世界のエンティティ（例：サッカー選手、企業）をサンプリングし、モデルの知識カットオフ（学習終了時点）よりも「未来」に位置するシナリオと質問を生成します。これにより、事前知識からの回答を不可能にします。
2. パラレルワールドの法則（Law）構築:
   • 「ParaWorld Law Model」が、各質問を解決するために必要な**不変の原子的事実（Atomic Facts）**のセットと、それに基づいた一意の正解を生成します。
   • これらの原子的事実は、パラレルワールドの「物理法則」として機能し、論理的に閉じた一貫性を保証します。
3. エージェントと環境の相互作用:
   • 実世界の検索エンジンに代わり、ParaWorld Engine Model (PEM) が検索ツールとして機能します。
   • PEM は、エージェントのクエリに対して、原子的事実に基づいたニューススニペット（SERP）を動的に生成して返します。

2.2 重要な設計原則

• パラメトリックメモリの隔離: 答えに必要な事実を未来のデータとして設定し、モデルが検索ツールを使わずに答えられないようにします。
• ショートカット防止（Anti-shortcut）: 複雑な質問をそのまま検索しても答えが出ないよう設計します。エージェントは、質問を分解し、具体的な「原子クエリ（Atomic Query）」として検索を行う必要があります。
• 制御された証拠提供: PEM は、エージェントが適切な分解を行った場合にのみ、事実を含む証拠を返します。不適切な複合クエリには、事実を含まないノイズを返します。

3. ベンチマーク：MPW-Bench

MPW を実装したインタラクティブなベンチマーク MPW-Bench を公開しました。

• 規模: 19 のドメイン（スポーツ、エンタメ、テクノロジーなど）にまたがる 1,608 件のインスタンス。
• 構造: 実世界のエンティティペアを基に、比較、フィルタリング、集計計算、ルール適用などの深層検索タスクを生成。
• 難易度: 必要な原子事実の数に基づき、Easy（1-5 個）、Mid（6-10 個）、Hard（11 個以上）の 3 つのティアに分類。
• 評価プロトコル: 3 つの設定で評価を行います。
  • Setting A (Oracle-Facts): 全ての事実を直接提供し、検索なしで推論能力のみを評価（上限値）。
  • Setting B (Guided Search): クエリ構築のガイドラインを提供し、分解と証拠収集能力を評価。
  • Setting C (End-to-End): 完全な自律検索（ReAct パラダイム）を評価。

4. 実験結果と知見

複数の LLM（Qwen3, MindWatcher, MiniMax, GPT-5, Gemini 等）を用いた実験から、以下の知見が得られました。

4.1 主要な結果

• Setting A（完全情報）: 多くのモデルが 67%〜91% の正解率を達成。これは、情報が揃っていれば、現代のモデルは高度な推論と統合が可能であることを示しています。
• Setting C（完全自律）: 正解率は大幅に低下（例：MindWatcher 32B で約 38%）。
• ボトルネック: 性能低下の主な原因は「推論能力の欠如」ではなく、**「証拠の収集とカバレッジの不足」**であることが判明しました。

4.2 具体的な課題

1. 証拠カバレッジ率（FCR）の限界:
   • 多くのモデルは、必要な原子事実のすべてを収集しきれていません。
   • 複雑なタスクになるほど、収集できる事実の割合（FCR）が低下します。
2. 「いつ止めるか」の判断失敗:
   • 多くのモデルは、十分な証拠を集める前に过早に回答を生成してしまいます（Premature Stopping）。
   • 検索回数を増やしても、後続のクエリが低品質（Hit Rate の低下）になる傾向があり、边际効用が逓減します。
3. クエリ分解の難しさ:
   • 複雑なタスクを「原子クエリ」に分解する能力は、モデルによって大きく異なります。ガイド付き（Setting B）では性能が向上しますが、完全自律（Setting C）では多くのモデルが失敗します。

4.3 相関関係

• FCR と正解率: 収集した事実のカバレッジ（FCR）と最終的な正解率（Pass@1）には強い正の相関があります。これは、深層検索タスクにおいて「必要な情報をどれだけ網羅的に取得できたか」が成功の決定的要因であることを示しています。

5. 貢献と意義

主要な貢献

1. Mind-ParaWorld フレームワークの提案: 静的な Web ベンチマークの課題（データ漏洩、陳腐化、再現性）を克服し、制御可能で再現性のある「パラレルワールド」環境での評価を可能にしました。
2. MPW-Bench の公開: 19 ドメイン、1,608 件の高品質なインタラクティブベンチマークを提供し、検索エージェントの公平な比較を可能にしました。
3. プロセス指向の評価プロトコル: 最終正解だけでなく、クエリ分解、証拠カバレッジ、停止判断など、エージェントの行動プロセスを段階的に分析する指標を導入しました。

意義

本論文は、現在の検索エージェントが「検索と推論」の両面で、特に**「必要な情報をどのように分解して収集するか」および「十分な証拠が揃ったと判断していつ停止するか」**という点で大きな課題を抱えていることを実証的に示しました。

今後は、クエリ形成の改善、カバレッジ駆動型の対話戦略、証拠統合の強化が、検索エージェントの実用性を高める鍵となると結論付けています。このベンチマークは、これらの能力を向上させるための重要な基盤となるでしょう。