Résumé Technique : SAGE – Évaluation et Amélioration de la Récupération pour les Agents de Recherche Approfondie

1. Énoncé du Problème

Les agents de recherche approfondie sont apparus comme des systèmes puissants capables de répondre à des requêtes complexes en recherchant et en synthétisant de manière itérative des informations à travers de multiples sources. Bien que les récupérateurs basés sur les Grands Modèles de Langage (LLM) aient démontré de fortes capacités de suivi d'instructions et de raisonnement, une question critique subsiste : les récupérateurs basés sur les LLM peuvent-ils contribuer efficacement aux flux de travail des agents de recherche approfondie ?

Les agents commerciaux existants s'appuient généralement sur des API de recherche propriétaires sur de vastes corpus web, qui dépendent souvent de la correspondance de formes de surface. En revanche, les récupérateurs basés sur les LLM sont conçus pour la compréhension sémantique. Cependant, il n'est pas clair si les comportements spécifiques de génération de requêtes des agents de recherche approfondie (qui peuvent différer des requêtes en langage naturel) s'alignent sur les forces des récupérateurs sémantiques. De plus, les ensembles de données existants pour la recherche de littérature scientifique reposent souvent sur des articles obsolètes ou ne parviennent pas à évaluer les capacités de raisonnement multi-étapes requises par les agents modernes.

2. Méthodologie

2.1 Le Benchmark SAGE

Pour étudier cela, les auteurs introduisent SAGE (Scientific AGentic retrieval Evaluation), un benchmark conçu pour la récupération de littérature scientifique intensive en raisonnement.

• Corpus : Une collection de 200 000 articles scientifiques récents en accès ouvert couvrant quatre domaines : l'informatique, les sciences naturelles, la santé et les sciences humaines.
• Requêtes : 1 200 requêtes divisées en deux types :
  1. Questions à forme courte : Nécessitent un raisonnement intensif à travers les métadonnées, les figures/tableaux et les relations entre les articles (ex. : chevauchements de citations). Les réponses sont vérifiables et uniques.
  2. Questions ouvertes : Fondées sur des scénarios de recherche réels (ex. : revues de littérature), nécessitant la synthèse de plusieurs articles pertinents. Les réponses possèdent de multiples vérités de terrain pondérées par la pertinence.
• Curation des données : Les questions sont générées en incitant des LLM (GPT-5-mini) à créer des tâches qui nécessitent la synthèse d'informations provenant des métadonnées des articles, des figures/tableaux extraits et des chevauchements de références (articles partageant au moins quatre références communes).

2.2 Configuration Expérimentale

L'étude évalue la performance des agents de recherche approfondie sous deux conditions :

1. Recherche Web : Évaluation de six agents (incluant des systèmes propriétaires comme GPT-5, Gemini-2.5-Pro et l'open-source DR Tulu) en utilisant leurs capacités de recherche web natives.
2. Recherche de Corpus : Utilisation de DR Tulu comme agent de base contrôlé, en remplaçant son outil de recherche web par des récupérateurs spécifiques :
   • BM25 : Un récupérateur lexical parcimonieux traditionnel.
   • gte-Qwen2-7B-instruct : Un récupérateur basé sur un LLM généraliste.
   • ReasonIR : Un récupérateur basé sur un LLM spécifiquement entraîné pour les tâches intensives en raisonnement.

2.3 Solution Proposée : Mise à l'Échelle au Niveau du Corpus lors du Test (Test-Time Scaling)

Pour combler l'écart de performance observé, les auteurs proposent un cadre de mise à l'échelle au niveau du corpus lors du test. Au lieu de modifier la génération de requêtes de l'agent, cette approche augmente le corpus documentaire lui-même.

• Mécanisme : Un LLM (Qwen3-Next-80B-A3B-Instruct) traite chaque article pour extraire les métadonnées bibliographiques et huit mots-clés thématiques pertinents résumant les contributions centrales.
• Implémentation : Ces mots-clés et métadonnées sont prépendés au texte du document. Cela enrichit le corpus avec des signaux qui facilitent la récupération pour les récupérateurs standards, particulièrement ceux qui reposent sur la correspondance de mots-clés.

3. Résultats Clés

3.1 Performance des Agents sur la Recherche Web

• Propriétaire vs Open Source : GPT-5 domine globalement sur les questions à forme courte. Cependant, l'open-source DR Tulu est compétitif, surpassant les agents de la série Gemini-2.5 propriétaire sur les questions à forme courte.
• Efficacité de la recherche : La quantité de recherche n'est pas le principal moteur de la précision. Les agents qui performent mieux (comme GPT-5) ont tendance à utiliser une décomposition de requête plus précise et une sélection d'indices ciblée plutôt qu'une recherche par force brute.
• Décomposition de requête : Les modèles propriétaires ont tendance à générer des requêtes phrasées et sémantiquement structurées, tandis que DR Tulu génère souvent des sous-requêtes moins structurées, concaténées par mots-clés.

3.2 Performance des Récupérateurs dans la Recherche de Corpus

• Dominance de BM25 : De manière surprenante, BM25 surpasse significativement les récupérateurs basés sur les LLM d'environ 30 % sur les questions à forme courte.
  • Raisonnement : Les agents de recherche approfondie génèrent des sous-requêtes orientées vers les mots-clés. Ce comportement s'aligne bien avec la correspondance de forme de surface (BM25) mais provoque un « décalage Requête-Récupérateur » pour les récupérateurs basés sur les LLM, qui sont entraînés sur des requêtes en langage naturel et trébuchent face à des chaînes de mots-clés fragmentées.
• Questions Ouvertes : L'écart de performance se réduit pour les questions ouvertes. BM25 et gte-Qwen atteignent des résultats comparables, tandis que ReasonIR arrive dernier sur les deux types de requêtes.
• Problèmes de Diversité : Les récupérateurs basés sur les LLM présentent une plus faible diversité de documents récupérés (Références Uniques par Recherche) par rapport à BM25, surtout sous des budgets de recherche fixes.

3.3 Impact de la Mise à l'Échelle au Niveau du Corpus

• Gains sur la Forme Courte : L'application de la mise à l'échelle au niveau du corpus (ajout de mots-clés/métadonnées) apporte une amélioration de 8,18 % pour BM25 sur les questions à forme courte. Les récupérateurs basés sur les LLM ne montrent que des gains modestes (0,9 % – 2,5 %).
• Gains sur les Questions Ouvertes : Les améliorations sont marginales (1,7 % – 2,5 %) pour tous les récupérateurs. Les auteurs attribuent cela à la faible diversité dans la décomposition de requête de l'agent, ce qui limite l'étendue des preuves récupérées quel que soit l'enrichissement du corpus.

3.4 Étude d'Ablation

• Sensibilité de l'Information : L'importance des composants de la requête (métadonnées, détails multimodaux, relations) change selon la méthode de recherche. Sous recherche web, les agents sont sensibles aux détails des articles ; sous recherche de corpus, les relations entre articles deviennent dominantes.
• Conscience du Récupérateur : Le backend de récupération détermine largement quelles parties de l'information de la requête pilotent la performance.

4. Signification et Revendications

Le document affirme fournir la première investigation systématique de la collaboration entre les agents de recherche approfondie et les récupérateurs basés sur les LLM au sein d'un domaine scientifique contrôlé.

• Constat Critique : Les auteurs soulignent un désalignement important : les agents de recherche approfondie actuels génèrent des sous-requêtes orientées mots-clés qui sont mieux servies par les récupérateurs parcimonieux traditionnels (BM25) que par les récupérateurs sémantiques de pointe basés sur les LLM.
• Contribution Pratique : La mise à l'échelle proposée au niveau du corpus lors du test offre une méthode pratique, sans entraînement, pour améliorer la performance de la récupération en adaptant le corpus au style de requête de l'agent, plutôt que de tenter de réentraîner l'agent ou le récupérateur.
• Utilité du Benchmark : SAGE fournit un benchmark rigoureux et actualisé pour évaluer la récupération intensive en raisonnement, répondant aux limites des ensembles de données précédents qui reposaient sur une littérature obsolète ou manquaient d'exigences de raisonnement multi-étapes.

Les auteurs concluent qu'une collaboration efficace entre récupérateurs et agents nécessite une adaptation supplémentaire, notant spécifiquement que les agents actuels n'adaptent pas encore leurs stratégies de génération de requêtes au type de récupérateur sous-jacent.