💬 NLP

Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests

本論文は、DeepResearchGym から得られた 1444 万件の現実世界のエージェント型検索リクエストを分析し、セッション長の分布、意図に依存した探索戦略、およびクエリ再構成と取得された証拠との間の強力な語彙的追跡可能性といった主要な行動パターンを明らかにするとともに、最終的に検索エージェントの設計を最適化するための実行可能なシグナルを提供する。

原著者： Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

公開日 2026-04-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。人間の読者の代わりに、何千ものロボット司書が働いている、巨大で賑やかな図書館を。これらのロボットは高度なAIによって駆動されています。彼らの仕事は単に本を1冊見つけることではなく、複雑なパズルを解くことです。そのために、彼らは本を一度だけ求めるのではなく、質問し、答えを読み、その直後に読んだ内容に基づいて追質問をし、再度読み、完全な全体像が得られたと考えるまでこれを繰り返します。

この論文は、これらのロボット司書を対象とした大規模な観察研究です。研究者たちは、DeepResearchGymと呼ばれる公共システムから、1400万件以上の検索リクエスト（約400万件の「会話」またはセッション）を分析しました。彼らが理解しようとしたのは、これらのロボットは何をしようとしているのか、そして進行中どのように質問を変えているのかという点です。

以下に、彼らの発見を簡単なアナロジーを用いて解説します。

1. 「買い物リスト」対「探偵」（意図）

研究者たちは、ロボットが検索の仕方を決定する3つの主要な性格タイプ、つまり「意図」に分類されることを発見しました。

事実探求者（記述的）： このロボットは、「このスナック菓子の会社は誰が所有しているのか？」のような特定の事実だけを求めています。
- 行動: すぐに答えが見つからないと、同じ質問やわずかに変形したバージョンを繰り返し問う、ループに陥りやすい傾向があります（まるでドアをノックして同じ質問を何度も叫んでいる人のように）。
ハウツーガイド（手続き的）： このロボットは、「水漏れする蛇口を修理するにはどうすればよいか？」のように、何かをする方法を知りたがっています。
- 行動: より長く詳細な質問をし、完全な手順セットを得るために「図書館の棚」を深く掘り下げます（より多くの文書を取得します）。
探偵（推論的）： このロボットは、「なぜガソリン代が高いのか？」のような複雑なパズルを持っています。
- 行動: 最も冒険的です。一つの角度に固執するのではなく、点と点を結びつけるために異なるトピック（側面）を行き来します。一つの場所を深く掘り下げるのではなく、広く探索します。

2. 「掘り下げ」の習慣

最大の発見の一つは、これらのロボットがズームアウトするよりもズームインする強い習慣を持っているという点です。

地図を見ていると想像してください。これらのロボットは、ほとんどの場合、広範囲の視点を取った直後に、詳細を探すために小さな通りに即座にズームインします。彼らはほとんど、「待てよ、もしかしたら私は全く違う都市を見ているのではないか」と振り返って後退することはありません。

「掘り下げ」バイアス: 約36%から48%の時間、彼らは単に同じトピックのわずかに異なる角度に視点を変えています。
「ズームアウト」の希少性: 彼らが実際に視野を広げて全体像を見ようとするのは、約9%の時間に過ぎません。ズームアウトしても、ほぼ即座に再びズームインしてしまいます。まるで地図全体を素早く一瞥した後、すぐに再び単一の通りに焦点を当て直すようなものです。

3. 「エコーチェンバー」効果（反復）

この研究では、これらのロボット会話の90%は短く（10ステップ以下）、非常に速く行われる（質問間がしばしば1分未満）ことが分かりました。

しかし、事実探求者には問題があります。会話が進むにつれて、彼らは自分自身をより頻繁に繰り返すようになります。9ステップ目には、彼らの質問のほぼ半分が以前のものとほとんど同一になります。まるで、すでに質問したことを忘れた人か、同じ答えを異なる角度から得ようとして失敗し、ループに陥っている人のようです。

4. 「用語採用」テスト（本当に読んだのか？）

研究者たちは、ロボットが新しい質問をする際、本当に直前に見つけた情報を使っているのかを知りたがりました。

彼らはロボットの内面的な「脳」（記憶）を見ることはできなかったため、CTAR（文脈駆動型用語採用率）と呼ばれる巧妙なテストを考案しました。

アナロジー: 探偵が「容疑者は赤い帽子を被っていた」という手がかりを読んだと想像してください。探偵の次の質問が「赤い帽子を被っていたのは誰か？」であれば、彼はその用語を「採用」したことになります。
結果: 研究者たちは、ロボットが次の質問で使った新しい言葉の**54%**が、直前に読んだテキストから直接由来していることを発見しました。
注意点: これはロボットがテキストを完全に理解したことを意味するわけではありません。単に言葉が存在しただけです。まるで人間が深く考えているのではなく、オウムが聞いた言葉を繰り返しているようなものです。しかし、これはロボットが少なくとも取得した証拠を見ていることを証明しています。

5. 「固定予算」の問題

ロボットには、質問あたりに読む文書の数に対する「予算」が与えられていました（例：5ページ読む、または10ページ読む）。

発見: ほとんどのロボットはこの予算をハードコードされた設定のように扱いました。彼らはタスクに応じてそれを変更しませんでした。単純な事実を探しているのか、複雑な謎を解いているのかに関わらず、彼らはほぼ同じページ数に固執しました。複雑な謎は単純な事実よりも多くのページを読む必要があるかもしれないという認識が、彼らにはないように見えました。

まとめ

この論文は、AI検索エージェントのための交通報告書のようなものです。それは私たちに次のことを伝えます。

ほとんどの検索は短く速い。
ロボットは単純な事実を探しているときにループに陥る。
彼らは全体像を見直すよりも、詳細にズームインすることを好む。
彼らは読んだ内容から単語を拾うが、タスクの難易度に関わらず、硬直的な「読書予算」に固執することが多い。

著者たちは、他の研究者がこれらのロボットがループから抜け出し、より多く探索し、読書予算をより賢く使えるようにする、より良い「交通管理者」を構築できるよう、このデータを公開しました。

論文「Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests（野性におけるエージェント検索：1400 万件超の実際の検索リクエストからの意図と軌跡ダイナミクス）」の詳細な技術的概要を以下に示す。

1. 問題提起

情報検索（IR）コミュニティには、現実世界のシナリオにおいてLLM 駆動のエージェント検索がどのように機能するかに関する実証的な理解が欠如している。ベンチマークは存在するが、以下の点は明らかにされていない：

マルチステップのセッションにおいて、エージェントがどのようにクエリを進化させるか。
取得された証拠がその後のクエリ再構成にどのように影響を与えるか。
検索行動が、根底にあるユーザーの意図（例：事実探索対推論）に基づいてどのように異なるか。
エージェントが文脈を効果的に活用しているのか、それとも反復ループに陥っているのか。

現在のログには、人間の検索に見られるクリックなどの明示的フィードバック信号が欠如しており、エージェントが取得した証拠を効果的に利用しているのか、それとも単に幻覚を起こしたり反復しているのかを判断することが困難な「測定ギャップ」が生じている。

2. データセットとインフラ

著者らは、外部のエージェントクライアントによってアクセスされるオープンソースかつモデル非依存の検索 API であるDeepResearchGym (DRGym) のデータを分析している。

規模： 6 ヶ月（2025 年 6 月～12 月）に収集された 1444 万件の検索リクエスト。
セッション： 前処理により397 万セッションに整理された。
多様性： ログは 25 カ国（主に中国と米国）をカバーしており、高い意味的多様性（クエリ間の平均コサイン類似度が低い）を示している。これは、少数のベンチマークタスクや反復的なプロンプトによって支配されていないことを示している。
プライバシー： IP アドレスは匿名化されている。クライアント側のプロンプトやメモリはログに記録されないため、分析は API レベルのトレース（クエリ、パラメータ、タイムスタンプ、返された証拠）に厳密に依存している。

3. 手法

著者らは、セッション構造とクエリの進化を分析するための 3 要素からなる測定フレームワークを提案している。

A. セッション化

人間のログが固定された時間間隔を使用するのとは異なり、エージェントのリクエストは高速な並列バーストとして到着する可能性がある。著者らは、意味的連続性基準と10 分のハードな時間的カットオフを組み合わせた手法を開発した。

クエリペアをスコアリングするために、Qwen3 埋め込みを用いた MLP（多層パーセプトロン）をトレーニングした意味的連続性モデルを訓練した。
スコアが閾値を超えた場合、クエリは最も意味的に連続するアクティブなセッションに割り当てられ、そうでない場合は新しいセッションが開始される。

B. 意図と軌跡のラベリング（LLM-as-a-Judge）

gpt-5-nanoを使用して、著者らはデータを 2 つのレベルで注釈付けた。

セッションレベルの意図： ウェブ検索の目標モデルに基づき、3 つのカテゴリに分類される。
- 宣言的（Declarative）： 事実の取得（例：「X の所有者は誰か？」）。
- 手続き的（Procedural）： 方法の実行（例：「Y を修理するにはどうすればよいか？」）。
- 推論（Reasoning）： 複雑な合成（例：「Z が起こっているのはなぜか？」）。
軌跡レベルの再構成： 隣接するクエリペア（ $q_k \to q_{k+1}$ $q_{k} \to q_{k + 1}$ ）を 4 つのタイプに分類する。
- 特化（Specialization）： 制約の絞り込み。
- 一般化（Generalization）： 制約の拡大。
- 探索（Exploration）： 関連する側面への転換。
- 反復（Repetition）： ほぼ重複する再構成。

C. 文脈駆動型用語採用率（CTAR）

内部のエージェントアテンションにアクセスせずに証拠の追跡可能性を測定するために、著者らはCTARを導入した。

定義： クエリ（ $q_{k+1}$ ）で新たに導入された用語のうち、前のステップから取得された証拠に語彙的に現れているものの割合。
文脈：
- 最終ステップ： 直前の取得（ $E_k$ ）に追跡される用語。
- 集約： これまでに取得されたすべての証拠の和集合（ $\bigcup E_i$ ）に追跡される用語。
意義： これは、意味的な言い換えとは区別して、エージェントが取得した情報を次のクエリに取り入れているかどうかを測定するための、保守的で解釈可能な指標を提供する。

4. 主要な結果

セッション構造とダイナミクス

長さ： マルチターンセッションの90% 以上が、最大でも10 ステップしか含まない。
速度： ステップ間隔の89%が1 分未満であり、人間の検索と比較して迅速な反復ループを示している。
取得深度： ほとんどのエージェントは取得するドキュメント数（ $K$ ）を静的なパラメータとして扱っており（主に $K \in \{1, 5, 10\}$ ）、セッションの 1.35% だけがステップ間で $K$ を変化させている。

意図条件付き行動

宣言的（セッションの 88.6%）： 最も高い反復（ほぼ重複するループ）を示し、時間が経過するにつれて増加する。浅い取得を使用するが、より多くの反復を必要とする。
手続き的（3.96%）： より深い取得（ $K \approx 37$ ）を使用し、再構成ステップが少ない意味的に安定した進行を示す。
推論（7.41%）： 最も広い探索（転換）を維持し、最初のクエリと最後のクエリ間で最も高い意味的ドリフトを示す。

軌跡ダイナミクス

ドリルダウンバイアス： エージェントは圧倒的に特化と探索を好む。一般化（拡大）は最も使用されない動作（11% 未満）であり、再特化に先立つ短い「リセット」として機能することが多い。
安定性対入れ替わり： 反復は高い結果の重複（約 78%）を維持する一方、探索は主要な証拠の入れ替わり（約 7% の重複）を引き起こす。
ループ： 宣言的セッションは、後続のステップで頻繁に高安定性の「リトライループ」（類似クエリの反復）に入り、潜在的な停滞を示唆している。

証拠の追跡可能性（CTAR）

全体の採用率： 平均して、**54.35%**の新たに導入されたクエリ用語が、集約された証拠文脈に語彙的に追跡可能である。
最近性効果： 最終ステップの文脈は採用の 48.54% を占める。その差（約 5.8%）は、エージェントが直前のステップ以前の証拠も利用していることを示している。
動作による変動：
- 特化： 高い CTAR（約 78%）。これは、新しい用語が最近の証拠から直接引き出されていることを示す。
- 反復： 低い CTAR（約 21%）。これは、エージェントが証拠からの新しい語彙用語を取り入れることなく再試行していることを示唆する。

5. 主要な貢献

大規模な行動特性評価： 1400 万件超のリクエスト規模でのエージェント検索の最初の分析。エージェントが静的な取得予算で、短く高速なループ内で動作していることを明らかにした。
CTAR 指標： 内部エージェント状態へのアクセスや意味的類似度閾値を必要とせず、証拠条件付きのクエリ進化を定量化する新規かつ解釈可能な指標。
意図適応型インサイト： 検索戦略（反復対探索）がタスクの意図に大きく依存することを示し、均一なエージェント検索プロセスという概念に疑問を投げかけた。
オープンデータ： 匿名化された DRGym ログと分析プロトコルを HuggingFace を介して一般に公開。

6. 意義と含意

これらの知見は、より良いエージェント IR システムを設計するための実行可能なシグナルを提供する。

反復認識型停止： 宣言的タスクにおける高い反復率は、「停滞ループ」を検出し、戦略の切り替え（例：探索の強制または人間のレビュー）をトリガーするコントローラの必要性を示唆している。
意図適応型予算配分： 手続き的タスクは深い取得から恩恵を受ける一方、宣言的タスクは反復に依存するため、システムは固定パラメータを使用するのではなく、検出された意図に基づいて取得深度（ $K$ ）を動的に調整すべきである。
ステップ間文脈追跡： 最終ステップを超えた古い証拠への測定可能な追跡可能性は、文脈管理モジュールがクエリ形成を支援するために、歴史的証拠用語を明示的に提示すべきであることを示唆している。
評価設計： CTAR は、エージェントが取得された証拠に基づいてクエリを適切に根拠づけているかどうかを評価するための、軽量かつ監査対応可能なシグナルを提供し、API ログと内部推論の間のギャップを埋める。

結論として、この論文は、エージェント検索は強力であるが、現在、意図を認識した制御ポリシーとより良い文脈追跡メカニズムを通じて最適化可能な、硬直的な行動（固定予算、反復ループ）を示していることを確立している。