Résumé Technique : De la simple QA à la recherche approfondie

Problématique

Les tâches de recherche approfondie exigent que les agents IA dépassent la simple récupération de faits pour intégrer des connaissances de domaine, effectuer un raisonnement multi-étapes et produire des réponses ouvertes de haute qualité. Cependant, la construction de benchmarks fiables pour ces tâches est difficile. Les benchmarks existants reposent souvent sur une rédaction experte coûteuse ou sur des matériaux humains préexistants, ce qui limite leur extensibilité. À l'inverse, les méthodes de construction entièrement automatiques peinent à garantir une vérification cohérente et traçable, et manquent souvent des connaissances spécifiques à la tâche requises pour une évaluation fine. Les approches automatiques actuelles comparent soit les modèles de manière relative (classement basé sur la similitude des rapports), soit génèrent des rubriques d'évaluation qui manquent de fiabilité garantie et de qualité professionnelle. Le défi central abordé est de savoir comment construire une collection diversifiée de tâches de recherche approfondie professionnelles avec des rubriques fiables et ancrées, sans dépendre de la rédaction manuelle par des experts.

Méthodologie

Le document présente un pipeline de construction de benchmark entièrement automatique centré sur une boucle itérative Explorateur–Formalisateur–Challenger. Ce pipeline transforme progressivement des questions simples en tâches de recherche approfondie complexes.

1. Représentation de la tâche

La représentation structurelle centrale d'une tâche est un Graphe Acyclique Dirigé (DAG).

• Nœuds : Représentent des étapes de recherche atomiques, classées soit comme évidentielles (récupération de faits traçables), soit comme analytiques (réalisation d'inférences ou de comparaisons).
• Arêtes : Représentent les dépendances logiques entre les étapes.
• Points de contrôle (Checkpoints) : Chaque nœud inclut des points de contrôle vérifiables dérivés de l'interaction de l'agent avec l'environnement.
  Cette structure permet au processus de résolution d'être explicite, décomposable et traçable.

2. Le pipeline de construction

Le pipeline fait itérer trois rôles pour faire évoluer une requête simple $q_1$ en une tâche de recherche approfondie $q_T$ :

• Explorateur (Explorer) : Résout la requête actuelle dans un environnement ouvert en utilisant des outils (ex: recherche, web scraping). Il produit une trajectoire d'informations explorées, de preuves et d'analyses. Cette étape est conçue pour découvrir des connaissances de longue traîne et de faible densité qui ne deviennent découvrables que lorsque les intentions de recherche sont affinées.
• Formalisateur (Formalizer) : Analyse la trajectoire de l'Explorateur pour mettre à jour le DAG de la tâche ($G$) et dériver un ensemble correspondant de rubriques vérifiables ($R$).
  • Il organise la trajectoire en un DAG, en s'assurant que le graphe est suffisant pour répondre à la requête mais minimal (en supprimant les nœuds non pertinents et en fusionnant les nœuds sémantiquement équivalents).
  • Il génère des rubriques ponctuelles pour chaque nœud, ancrées dans les preuves spécifiques trouvées.
  • Il assigne des poids aux nœuds basés sur la structure du DAG (propagation des poids des feuilles vers les racines) pour refléter l'importance relative des différentes étapes de recherche.
• Challenger : Identifie les indices explorés mais non utilisés dans la trajectoire qui restent logiquement connectés à la tâche. Il utilise ces directions "non utilisées" pour générer une requête plus difficile pour le tour suivant ($q_{t+1}$), élargissant ainsi l'étendue (largeur) ou la profondeur de raisonnement de la tâche. Crucialement, il masque certains points de contrôle pour empêcher la nouvelle requête de révéler le chemin de résolution.

Critère d'arrêt : L'évolution s'arrête lorsque la structure du DAG (nœuds et arêtes) reste inchangée pendant deux tours consécutifs, indiquant que la tâche a atteint un point de saturation où aucune nouvelle connaissance pertinente ne peut être intégrée.

3. Conception des requêtes

À partir de la tâche convergée finale, trois formes de requêtes distinctes sont générées pour sonder des capacités complémentaires :

• Requête avec indices ($q^h_T$) : La requête complexe complète contenant les dimensions d'analyse et les contraintes. Teste le traitement de l'information sous des indices riches.
• Requête sans indices ($q^o_T$) : Une question concise et quotidienne dérivée de la requête complexe, dépouillée de ses contraintes. Teste la décomposition et la planification sous des contraintes cachées.
• Requête de sujet assigné ($q^a_T$) : Un titre de recherche déclaratif. Teste la formation d'arguments sous un sujet directionnel sans cadrage de question explicite.

Principales contributions

1. Un benchmark vérifiable : Les auteurs ont construit un benchmark de 500 tâches de recherche approfondie couvrant 31 sujets et 10 catégories majeures. Chaque tâche est associée à des rubriques ponctuelles ancrées dans les faits et aux trois formes de requêtes mentionnées ci-dessus.
2. Pipeline de construction entièrement automatique : Ils ont introduit un nouveau pipeline qui étend itérativement des requêtes simples en DAGs d'étapes atomiques. Cette approche permet à la requête, à la structure de la tâche et aux rubriques d'évoluer ensemble sans rédaction manuelle ou matériel expert pré-écrit.
3. Évaluation fine : Le benchmark démontre que ses rubriques permettent une évaluation stable, alignée sur l'humain et fine, distinguant plus efficacement la performance des modèles que les jugements binaires ou les classements relatifs.

Résultats

Les expériences ont été menées sur 10 modèles populaires (incluant GPT-5.6, Claude Sonnet 5, DeepSeek-V4-Pro et diverses versions de Qwen) sous deux configurations : Mode Agent (avec outils) et Mode Modèle (connaissances internes uniquement).

• Discrimination : Le benchmark discrimine clairement les modèles de capacités variées. Les modèles plus forts (ex: GPT-5.6 Terra) surpassent systématiquement les modèles plus faibles sur tous les types de requêtes.
• Gradient de capacité : Les scores montrent une dispersion continue plutôt qu'un regroupement, indiquant que les rubriques fournissent une satisfaction graduée et fine.
• Impact des outils : Le retrait des outils provoque une baisse significative des performances (diminution moyenne de 0,14) pour tous les modèles et types de requêtes, confirmant que les tâches encodent des informations de longue traîne absentes des données de pré-entraînement.
• Sensibilité au type de requête : Les modèles présentent des forces variables selon les types de requêtes. Par exemple, les indices plus faibles ($q^o_T$) déplacent l'écart de performance vers le raisonnement analytique, révélant que les petits modèles peinent davantage à décomposer des objectifs larges et à intégrer des preuves.
• Alignement humain : Les revues humaines de 100 tâches échantillonnées montrent une haute qualité (aucun classement "médiocre") et une forte concordance entre les réviseurs. De plus, le jugement automatisé par des LLM montre une forte corrélation avec les évaluations humaines (Pearson $r \approx 0,90$), validant la fiabilité des rubriques générées.

Signification

Le papier affirme que sa principale importance réside dans le fait de combler l'écart entre le besoin de benchmarks de recherche approfondie et la difficulté de les construire de manière fiable sans experts humains. En démontisant qu'un processus itératif piloté par des agents peut générer des tâches avec des rubriques traçables et vérifiables, ce travail offre une voie évolutive pour évaluer la prochaine génération d'agents IA. Le benchmark fournit une métrique stable et fine pour évaluer les capacités de recherche approfondie, révélant des faiblesses spécifiques des modèles actuels (telles que l'incapacité à découvrir des objectifs cachés ou à intégrer des preuves sans guidage explicite) qui ne sont pas capturées par les benchmarks existants. Les auteurs considèrent le coût de construction (utilisant des modèles de pointe pour le pipeline) comme un investissement nécessaire pour bâtir une ressource de confiance pour la communauté.