💬 NLP

Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests

Ce papier analyse 14,44 millions de requêtes de recherche agentic réelles provenant de DeepResearchGym pour révéler des modèles comportementaux clés, tels que les distributions de durée des sessions, les stratégies d'exploration dépendantes de l'intention, et la forte traçabilité lexicale des reformulations de requêtes par rapport aux preuves récupérées, offrant ainsi des signaux exploitables pour optimiser la conception d'agents de recherche.

Auteurs originaux : Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

Publié 2026-04-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une immense bibliothèque animée où, au lieu de lecteurs humains, des milliers de bibliothécaires robots travaillent. Ces robots sont alimentés par une intelligence artificielle avancée. Leur tâche ne consiste pas seulement à trouver un livre ; ils sont chargés de résoudre des énigmes complexes. Pour ce faire, ils ne demandent pas un livre une seule fois. Ils posent une question, lisent la réponse, posent une question de suivi basée sur ce qu'ils viennent de lire, relisent, et continuent ainsi jusqu'à ce qu'ils estiment avoir une image complète.

Ce document est une étude d'observation massive de ces bibliothécaires robots. Les chercheurs ont examiné plus de 14 millions de requêtes de recherche (environ 4 millions de « conversations » ou sessions) provenant d'un système public appelé DeepResearchGym. Ils voulaient comprendre : Que tentent de faire ces robots, et comment modifient-ils leurs questions au fur et à mesure ?

Voici une décomposition de leurs résultats utilisant des analogies simples :

1. La « Liste de courses » contre le « Détective » (Intention)

Les chercheurs ont découvert que les robots se divisent en trois principaux types de personnalité, ou « intentions », qui modifient leur façon de chercher :

Le Chercheur de Faits (Déclaratif) : Ce robot veut simplement un fait précis, comme « Qui possède cette entreprise de snacks ? ».
- Comportement : Il a tendance à rester coincé dans une boucle. S'il ne trouve pas la réponse immédiatement, il continue de poser la même question ou des versions légèrement modifiées (comme une personne frappant à une porte et criant la même question encore et encore).
Le Guide Pratique (Procédural) : Ce robot veut savoir comment faire quelque chose, comme « Comment réparer un robinet qui fuit ? ».
- Comportement : Il pose des questions plus longues et plus détaillées et creuse plus profondément dans les « rayons de la bibliothèque » (récupère plus de documents) pour obtenir un ensemble complet d'instructions.
Le Détective (Raisonnement) : Ce robot a une énigme complexe, comme « Pourquoi le gaz est-il cher ? ».
- Comportement : Il est le plus aventureux. Il ne s'en tient pas à un seul angle ; il saute entre différents sujets (facettes) pour faire le lien. Il explore largement plutôt que de simplement creuser plus profondément à un endroit précis.

2. L'habitude du « Forage »

L'une des plus grandes découvertes est que ces robots ont une forte habitude de zoomer plutôt que de dézoomer.

Imaginez que vous regardez une carte. La plupart du temps, ces robots adoptent une vue d'ensemble puis zooment immédiatement sur une petite rue pour chercher des détails. Ils s'arrêtent rarement pour dire : « Attendez, peut-être que je regarde la mauvaise ville en entier. »

Le biais du « Forage » : Environ 36 % à 48 % du temps, ils pivotent simplement vers un angle légèrement différent du même sujet.
La rareté du « Dézoom » : Seulement environ 9 % du temps élargissent-ils réellement leur recherche pour examiner la vue d'ensemble. Lorsqu'ils dézooment, ils se remettent presque immédiatement à zoomer. C'est comme jeter un coup d'œil rapide à toute la carte avant de se concentrer à nouveau immédiatement sur une seule rue.

3. L'effet « Chambre d'écho » (Répétition)

L'étude a révélé que 90 % de ces conversations de robots sont courtes (10 étapes ou moins) et qu'elles se déroulent très rapidement (souvent moins d'une minute entre les questions).

Cependant, pour les Chercheurs de Faits, il y a un problème. Au fur et à mesure que la conversation progresse, ils commencent à se répéter de plus en plus. À la 9e étape, près de la moitié de leurs questions sont presque identiques aux précédentes. C'est comme une personne qui aurait oublié d'avoir déjà posé une question, ou qui est coincée dans une boucle essayant d'obtenir la même réponse sous un angle différent sans succès.

4. Le test d'« Adoption de termes » (Ont-ils vraiment lu ?)

Les chercheurs voulaient savoir : Lorsqu'un robot pose une nouvelle question, utilise-t-il réellement l'information qu'il vient de trouver ?

Puisqu'ils ne pouvaient pas voir le « cerveau » interne (mémoire) du robot, ils ont inventé un test ingénieux appelé CTAR (Taux d'Adoption de Termes Contextuels).

L'analogie : Imaginez un détective lisant un indice qui dit « Le suspect portait un chapeau rouge ». Si la prochaine question du détective est « Qui portait un chapeau rouge ? », il « adopte » le terme.
Le résultat : Les chercheurs ont découvert que 54 % des nouveaux mots utilisés par les robots dans leurs questions suivantes provenaient directement du texte qu'ils venaient de lire.
La nuance : Cela ne signifie pas que le robot comprend parfaitement le texte, seulement que les mots y étaient. C'est comme un perroquet répétant des mots qu'il a entendus, plutôt qu'un humain réfléchissant profondément à ceux-ci. Mais cela prouve que les robots regardent au moins les preuves qu'ils ont récupérées.

5. Le problème du « Budget fixe »

Les robots se voyaient attribuer un « budget » pour le nombre de documents à lire par question (par exemple, lire 5 pages, ou 10 pages).

La découverte : La plupart des robots traitaient ce budget comme un paramètre codé en dur. Ils ne le modifiaient pas en fonction de la tâche. Qu'ils cherchent un fait simple ou résolvent une énigme complexe, ils s'en tenaient majoritairement au même nombre de pages. Ils ne semblaient pas réaliser qu'une énigme complexe pourrait nécessiter qu'ils lisent plus de pages qu'un fait simple.

Résumé

Ce document est comme un rapport de circulation pour les agents de recherche en IA. Il nous indique que :

La plupart des recherches sont courtes et rapides.
Les robots restent coincés dans des boucles lorsqu'ils cherchent des faits simples.
Ils préfèrent zoomer sur les détails plutôt que de reculer pour examiner la vue d'ensemble.
Ils récupèrent bien des mots de ce qu'ils lisent, mais ils s'en tiennent souvent à un « budget de lecture » rigide, quelle que soit la difficulté de la tâche.

Les auteurs ont publié ces données afin que d'autres chercheurs puissent construire de meilleurs « contrôleurs de circulation » pour aider ces robots à sortir des boucles, explorer davantage et utiliser leur budget de lecture plus judicieusement.

1. Énoncé du problème

La communauté de la Recherche d'Information (RI) manque de compréhension empirique du fonctionnement de la recherche agentic pilotée par les LLM dans des scénarios réels. Bien que des benchmarks existent, ils ne révèlent pas :

Comment les agents font évoluer leurs requêtes au cours de sessions multi-étapes.
Comment les preuves récupérées influencent les reformulations de requêtes ultérieures.
Comment les comportements de recherche diffèrent en fonction de l'intention utilisateur sous-jacente (par exemple, recherche de faits vs raisonnement).
Si les agents utilisent efficacement le contexte ou s'enferrent dans des boucles répétitives.

Les journaux d'activité actuels manquent de signaux de feedback implicites (comme les clics) présents dans la recherche humaine, créant un « fossé de mesure » où il est difficile de déterminer si un agent utilise avec succès les preuves récupérées ou s'il se contente d'halluciner ou de répéter.

2. Jeu de données et infrastructure

Les auteurs analysent des données provenant de DeepResearchGym (DRGym), une API de recherche open source et agnostique vis-à-vis du modèle, accessible par des clients agents externes.

Échelle : 14,44 millions de requêtes de recherche collectées sur six mois (juin–décembre 2025).
Sessions : Prétraitées en 3,97 millions de sessions.
Diversité : Les journaux couvrent 25 pays (principalement la Chine et les États-Unis) et présentent une grande diversité sémantique (faible similarité cosinus moyenne entre les requêtes), indiquant qu'ils ne sont pas dominés par quelques tâches de benchmark ou des invites répétitives.
Confidentialité : Les adresses IP sont anonymisées ; les invites et la mémoire côté client ne sont pas journalisées, ce qui signifie que l'analyse repose strictement sur les traces au niveau de l'API (requêtes, paramètres, horodatages et preuves renvoyées).

3. Méthodologie

Les auteurs proposent un cadre de mesure à trois composants pour analyser la structure des sessions et l'évolution des requêtes :

A. Ségmentation (Sessionization)

Contrairement aux journaux humains qui utilisent des intervalles de temps fixes, les requêtes agents peuvent arriver par vagues parallèles rapides. Les auteurs ont développé un critère de continuité sémantique combiné à une coupure temporelle stricte de 10 minutes :

Ils ont entraîné un modèle de continuité sémantique (MLP avec des embeddings Qwen3) pour noter les paires de requêtes.
Les requêtes sont assignées à la session active la plus sémantiquement continue si le score dépasse un seuil ; sinon, une nouvelle session commence.

B. Étiquetage de l'intention et de la trajectoire (LLM-as-a-Judge)

En utilisant gpt-5-nano, les auteurs ont annoté les données à deux niveaux :

Intention au niveau de la session : Classée en trois catégories basées sur la modélisation des objectifs de recherche web :
- Déclarative : Récupération de faits (par exemple, « Qui possède X ? »).
- Procédurale : Exécution de méthodes (par exemple, « Comment réparer Y ? »).
- Raisonnement : Synthèse complexe (par exemple, « Pourquoi Z se produit-il ? »).
Reformulation au niveau de la trajectoire : Les paires de requêtes adjacentes ( $q_k \to q_{k+1}$ $q_{k} \to q_{k + 1}$ ) sont classées en quatre types :
- Spécialisation : Rétrécissement des contraintes.
- Généralisation : Élargissement des contraintes.
- Exploration : Pivot vers une facette connexe.
- Répétition : Reformulations quasi-identiques.

C. Taux d'adoption des termes guidé par le contexte (CTAR)

Pour mesurer la traçabilité des preuves sans accès à l'attention interne de l'agent, les auteurs ont introduit le CTAR.

Définition : La fraction de termes nouvellement introduits dans une requête ( $q_{k+1}$ ) qui apparaissent lexicalement dans les preuves récupérées des étapes précédentes.
Contextes :
- Dernière étape : Termes tracés à la récupération immédiatement précédente ( $E_k$ ).
- Agrégé : Termes tracés à l'union de toutes les preuves récupérées jusqu'ici ( $\bigcup E_i$ ).
Signification : Cela fournit une métrique conservatrice et interprétable pour déterminer si un agent intègre les informations récupérées dans sa prochaine requête, distincte du paraphrasage sémantique.

4. Résultats clés

Structure et dynamique des sessions

Durée : Plus de 90 % des sessions multi-tours contiennent au plus 10 étapes.
Vitesse : 89 % des intervalles inter-étapes sont inférieurs à une minute, indiquant des boucles itératives rapides par rapport à la recherche humaine.
Profondeur de récupération : La plupart des agents traitent le nombre de documents récupérés ( $K$ ) comme un paramètre statique (principalement $K \in \{1, 5, 10\}$ ), avec seulement 1,35 % des sessions faisant varier $K$ au cours des étapes.

Comportements conditionnés par l'intention

Déclaratif (88,6 % des sessions) : Présente le taux de répétition le plus élevé (boucles quasi-identiques), qui augmente avec le temps. Ils utilisent une récupération peu profonde mais nécessitent plus d'itérations.
Procédural (3,96 %) : Utilise une récupération plus profonde ( $K \approx 37$ ) et montre des progressions sémantiquement stables avec moins d'étapes de raffinement.
Raisonnement (7,41 %) : Maintient l'exploration la plus large (pivot) et présente la dérive sémantique la plus élevée entre la première et la dernière requête.

Dynamique de la trajectoire

Biais de creusement (Drill-Down) : Les agents favorisent massivement la Spécialisation et l'Exploration. La Généralisation (élargissement) est le mouvement le moins utilisé (<11 %) et agit souvent comme un « réinitialisation » brève avant une re-spécialisation.
Stabilité vs Renouvellement : La Répétition maintient un chevauchement élevé des résultats (~~78 %), tandis que l'Exploration provoque un renouvellement majeur des preuves (~~7 % de chevauchement).
Boucles : Les sessions déclaratives entrent fréquemment dans des « boucles de réessai » à haute stabilité (répétition de requêtes similaires) dans les étapes ultérieures, suggérant des blocages potentiels.

Traçabilité des preuves (CTAR)

Adoption globale : En moyenne, 54,35 % des termes de requête nouvellement introduits sont lexicalement traçables au contexte de preuve agrégé.
Effet de récence : Le contexte de la dernière étape représente 48,54 % de l'adoption. La différence (~5,8 %) indique que les agents utilisent également des preuves des étapes antérieures à l'étape immédiatement précédente.
Variation selon le mouvement :
- Spécialisation : CTAR élevé (~78 %), indiquant que les nouveaux termes sont directement tirés des preuves récentes.
- Répétition : CTAR faible (~21 %), suggérant que les agents réessaient sans intégrer de nouveaux termes lexicaux issus des preuves.

5. Contributions clés

Caractérisation comportementale à grande échelle : La première analyse de la recherche agentique à l'échelle de plus de 14 millions de requêtes, révélant que les agents opèrent dans des boucles courtes et rapides avec des budgets de récupération statiques.
Métrique CTAR : Une métrique nouvelle et interprétable pour quantifier l'évolution des requêtes conditionnée par les preuves, sans nécessiter l'accès aux états internes de l'agent ni à des seuils de similarité sémantique.
Insights adaptatifs à l'intention : Démonstration que les stratégies de recherche (répétition vs exploration) dépendent fortement de l'intention de la tâche, remettant en question la notion d'un processus de recherche agentique uniforme.
Données ouvertes : Publication des journaux DRGym anonymisés et des protocoles d'analyse au public via HuggingFace.

6. Signification et implications

Les résultats fournissent des signaux actionnables pour concevoir de meilleurs systèmes de RI agentiques :

Arrêt conscient de la répétition : Les taux de répétition élevés dans les tâches déclaratives suggèrent la nécessité de contrôleurs capables de détecter les « boucles de blocage » et de déclencher des changements de stratégie (par exemple, forcer l'exploration ou une revue humaine).
Budgétisation adaptative à l'intention : Étant donné que les tâches procédurales bénéficient d'une récupération plus profonde tandis que les tâches déclaratives reposent sur l'itération, les systèmes devraient ajuster dynamiquement la profondeur de récupération ( $K$ ) en fonction de l'intention détectée plutôt que d'utiliser des paramètres fixes.
Suivi du contexte inter-étapes : La traçabilité mesurable vers des preuves plus anciennes (au-delà de la dernière étape) suggère que les modules de gestion du contexte devraient mettre explicitement en évidence les termes de preuves historiques pour aider à la formulation des requêtes.
Conception de l'évaluation : Le CTAR offre un signal léger et prêt pour l'audit afin d'évaluer si les agents ancrent efficacement leurs requêtes dans les preuves récupérées, comblant le fossé entre les journaux d'API et le raisonnement interne.

En conclusion, le papier établit que si la recherche agentique est puissante, elle présente actuellement des comportements rigides (budgets fixes, boucles répétitives) qui peuvent être optimisés grâce à des politiques de contrôle conscientes de l'intention et de meilleurs mécanismes de suivi du contexte.