💬 NLP

DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents

Le document présente DeepSearchQA, un benchmark de 900 prompts couvrant 17 domaines, conçu pour évaluer les agents de recherche approfondie sur des tâches complexes de recherche d'informations à étapes multiples, révélant que même les modèles de pointe peinent à équilibrer le rappel et la précision dans la collation systématique d'informations, la résolution d'entités et les critères d'arrêt.

Auteurs originaux : Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

Publié 2026-01-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un assistant de recherche pour trouver des informations pour vous. Par le passé, nous testions principalement ces assistants avec des questions simples comme : « Quelle est la capitale de la France ? ». S'ils trouvaient la bonne réponse, ils réussissaient. S'ils se trompaient, ils échouaient. C'était comme un QCM : facile à noter, mais cela ne nous disait pas si l'assistant pouvait gérer un véritable projet de recherche complexe.

Le papier « DeepSearchQA » introduit un nouveau test beaucoup plus difficile, conçu pour voir si les agents d'IA peuvent agir comme de véritables chercheurs, et non comme de simples robots de culture générale.

Voici la décomposition de ce qu'ils ont fait et de ce qu'ils ont trouvé, en utilisant des analogies simples :

1. Le problème : L'aiguille dans une botte de foin vs La botte de foin entière

Les anciens tests demandaient à l'IA de trouver une aiguille spécifique dans une botte de foin (ex : « Quelle est la capitale de la France ? »).

Le problème : La vraie vie n'est pas comme ça. Parfois, vous avez besoin de connaître chaque aiguille de la botte de foin, ou de lister tous les différents types de foin.
Le nouveau défi : DeepSearchQA pose des questions comme : « Listez toutes les consoles de jeux vidéo ayant vendu plus de 100 millions d'unités, qui n'étaient pas portables, possédaient un processeur 32 bits et dont la société mère possédait plus de 1,7 billion de dollars d'actifs en 2010. »
L'objectif : L'IA ne peut pas simplement deviner une réponse. Elle doit construire une liste complète et parfaite. Si elle manque un élément, elle est incomplète. Si elle ajoute un élément faux, elle est inexacte.

2. Les trois compétences difficiles testées

Pour réussir ce nouveau test, un agent d'IA doit maîtriser trois compétences difficiles que les anciens tests ignoraient :

Compétence 1 : Le Bibliothécaire (Collation systématique)
Imaginez que vous deviez rédiger un rapport, mais que l'information est éparpillée sur 50 sites web différents, et qu'aucun d'entre eux ne détient l'histoire complète. L'IA doit visiter tous ces sites, les lire et assembler les morceaux pour former une liste maîtresse. Elle ne peut pas simplement se fier au premier site qu'elle trouve.
Compétence 2 : Le Détective (Résolution d'entités)
Imaginez que vous cherchiez « Apple ». Un site dit « Apple Inc. », un autre dit « Apple Computer » et un troisième dit « L'entreprise fondée par Steve Jobs ». Un humain sait qu'il s'agit de la même chose. Une IA s'y perd souvent et les liste comme trois entreprises différentes. Ce test vérifie si l'IA peut réaliser qu'il s'agit de la même entité et supprimer les doublons.
Compétence 3 : Le Panneau de Signalisation (Raisonner sur l'arrêt)
C'est la partie la plus difficile. Dans une recherche normale, on s'arrête quand on trouve la réponse. Mais dans une tâche de « recherche approfondie », il n'y a pas de ligne d'arrivée. L'IA doit savoir quand arrêter de chercher.
- Trop tôt : Elle s'arrête avant d'avoir trouvé toutes les réponses (Sous-récupération).
- Trop tard : Elle continue de chercher et commence à inventer des réponses juste pour remplir la liste (Sur-récupération/Hedging). C'est comme un chef qui continue d'ajouter des ingrédients dans une soupe jusqu'à ce qu'elle soit immangeable, juste pour être sûr de ne rien avoir oublié.

3. Le test : 900 scénarios du monde réel

Les chercheurs ont créé un benchmark appelé DeepSearchQA comprenant 900 questions difficiles réparties dans 17 domaines différents (comme la santé, la finance, l'histoire et le gaming).

Les règles : Les réponses sont basées sur des faits statiques (comme les données du recensement de 2020) afin qu'elles ne changent pas pendant que le test est en cours.
La notation : Ils ne se soucient pas de comment l'IA a trouvé la réponse (le chemin emprunté). Ils ne s'intéressent qu'à la liste finale. La liste est-elle 100 % exacte ?
- Parfait : La liste est exactement correcte.
- Partiel : Elle a trouvé certains éléments, mais en a manqué d'autres.
- Hallucination : Elle a trouvé les bons éléments mais en a ajouté de faux pour paraître exhaustive.

4. Ce qu'ils ont trouvé : Le problème du « dernier kilomètre »

Ils ont testé les modèles d'IA les plus intelligents disponibles (comme Gemini Deep Research de Google et GPT-5 Pro d'OpenAI). Voici ce qui s'est passé :

La bonne nouvelle : Les meilleurs agents d'IA deviennent très performants sur ce point. Les meilleurs modèles ont obtenu environ 66 % de listes parfaitement correctes. C'est un bond énorme par rapport aux anciens modèles.
La mauvaise nouvelle : Même les meilleurs modèles sont confrontés au « dernier kilomètre ».
- L'écart : Une IA peut trouver 90 % des bonnes réponses (rappel élevé) mais échouer à s'arrêter, ajoutant 5 mauvaises réponses à la liste. Cela ruine le score.
- Le piège du « Hedging » : Quand une IA n'est pas sûre d'avoir terminé, elle essaie d'être prudente en listant tout ce qu'elle peut trouver, y compris des choses dont elle n'est pas sûre. C'est comme un étudiant qui répond au hasard à un examen juste pour obtenir des points partiels, mais dans ce cas, cela fait baisser sa note.
La chute en « fonction par paliers » : Si vous utilisez un modèle d'IA plus petit et moins coûteux, la performance ne diminue pas seulement un peu ; elle s'effondre. Ces tâches complexes nécessitent un certain niveau de « puissance cérébrale » pour planifier la recherche. En dessous d'un certain seuil, l'IA se perd immédiatement et ne trouve rien.

5. Conclusion

Le papier soutient que nous sommes à un tournant. Nous sommes passés de la question « Quelle est la réponse ? » à « Pouvez-vous maîtriser l'ensemble du sujet ? ».

Les modèles d'IA actuels sont assez intelligents pour trouver l'aiguille, mais ils apprennent encore à cartographier toute la botte de foin sans s'y perdre ou inventer des choses. DeepSearchQA est un outil destiné à aider les chercheurs à résoudre ce problème spécifique : apprendre à l'IA quand arrêter de chercher et comment être parfaitement exhaustive sans être négligente.

En bref : Nous apprenons à l'IA à cesser d'être un champion de la culture générale pour devenir un chercheur professionnel capable de mener une investigation complexe et multi-étapes sans commettre d'impair.

Résumé Technique : DeepSearchQA : Combler l'écart de comprehensivité pour les agents de recherche approfondie

1. Énoncé du problème

Le domaine de l'intelligence artificielle passe des modèles de langage (LLM) statiques à des agents web autonomes capables d'interagir avec des environnements dynamiques. Cependant, les méthodologies d'évaluation actuelles souffrent d'un « écart de comprehensivité » (Comprehensiveness Gap). Les benchmarks traditionnels (par exemple, TruthfulQA, SimpleQA) se concentrent principalement sur la récupération d'une réponse unique ou sur une véracité à large spectre. Bien qu'efficides pour isoler les stratégies de navigation et de recherche, ce paradigme privilégie la précision au détriment du rappel, échouant ainsi à capturer la complexité des parcours de recherche d'informations du monde réel où les utilisateurs exigent des listes exhaustives plutôt qu'un simple point de donnée.

Les benchmarks existants reposent souvent sur des réponses atomiques qui ne testent pas la capacité d'un agent à :

Recueillir systématiquement des informations fragmentées provenant de sources disparates.
Effectuer la résolution d'entités pour dédoublonner et garantir la précision.
Raisonner sur les critères d'arrêt dans des espaces de recherche ouverts sans signaux de terminaison explicites.

Ce fossé crée une situation où les agents peuvent trouver « l'aiguille dans la botte de foin » mais échouent à récupérer l'intégralité de la « botte de foin » requise pour des tâches de recherche exhaustives.

2. Méthodologie : Benchmark DeepSearchQA

Construction du jeu de données

DeepSearchQA est un benchmark comprenant 900 prompts conçus à la main répartis dans 17 domaines divers (incluant la Politique, la Finance, la Science, la Santé et l'Histoire).

Structure des tâches : Les tâches sont conçues comme des chaînes causales où la découverte d'informations pour une étape dépend de la réussite de l'étape précédente, mettant à l'épreuve la planification à long terme et la rétention de contexte.
Vérité terrain (Ground Truth) : Toutes les tâches sont ancrées dans le web ouvert avec des ensembles de réponses objectivement vérifiables. Les prompts sont ancrés dans le temps ou font référence à des sources de données statiques pour minimiser la dérive de la vérité terrain.
Types de réponses :
- Réponse unique : Entités uniques nécessitant une recherche approfondie en raison de leur obscurité ou de preuves contradictoires.
- Réponse par ensemble : Collections d'éléments, incluant des énumérations (lister tous les éléments correspondant aux contraintes) et des réponses composites.
Vérification : Un protocole rigoureux en trois phases (Recherche indépendante, Vérification/Comparaison, Résolution de conflits) garantit l'exactitude de la vérité terrain. Les prompts ambigus sont filtrés.

Taxonomie des tâches

Les tâches sont classées selon des exigences cognitives et opératives :

Récupération structurée (« La Recherche ») : Stratégies multi-étapes pour récupérer des informations obscures et de niche.
Gestion du contexte (« L'Assemblage ») : Ingestion et synthèse de grands volumes d'informations, gestion des limites de la fenêtre de contexte.
Raisonnement logique (« Le Penseur ») : Déduction abstraite, planification et inférence d'informations latentes à partir de données incomplètes.

Métriques d'évaluation

DeepSearchQA emploie une méthodologie d'évaluation strictement basée sur le résultat, jugeant la performance uniquement sur la complétude et la justesse de l'ensemble soumis, plutôt que sur la trajectoire de recherche.

Métriques continues : Les métriques standard de recherche d'information sont utilisées, spécifiquement la Précision, le Rappel et le Score F1 (moyenne harmonique de P et R). Cela pénalise les agents qui maximisent le rappel en hallucinant ou en « s'édulcorant » avec des conjectures à faible confiance.
Classification catégorielle : Les réponses sont classées en quatre catégories disjointes :
1. Totalement correct : L'ensemble soumis est sémantiquement identique à la vérité terrain ( $S = G$ ).
2. Totalement incorrect : Aucun élément correct n'est trouvé ( $S \cap G = \emptyset$ ).
3. Partiellement correct : Certains éléments corrects sont trouvés, mais pas tous.
4. Correct avec éléments superflus : Tous les éléments corrects sont trouvés, mais des éléments incorrects sont inclus (échec des critères d'arrêt/édulcoration).
Pipeline automatisé : Un LLM-as-a-Judge (Gemini 2.5 Flash) détermine l'équivalence sémantique entre les réponses extraites et la vérité terrain.

3. Résultats clés et analyse

Le benchmark a été évalué sur des agents et des modèles de raisonnement de pointe (ex: Gemini Deep Research Agent, GPT-5 Pro High Reasoning, o3, o4 Mini).

Hiérarchie de performance : Les agents de recherche approfondie (Deep Research Agents) surpassent les modèles de raisonnement autonomes, confirmant que des boucles d'agents itératives sont nécessaires pour combler l'écart de comprehensivité.
Meilleurs performeurs : Le Gemini Deep Research Agent a obtenu le score F1 le plus élevé (81,90 %) et le taux de « Totalement incorrect » le plus bas (9,95 %), démontrant une efficacité et une robustesse supérieures par rapport à GPT-5 Pro High Reasoning (F1 : 78,98 %, Totalement incorrect : 14,13 %).
Le seuil de raisonnement : Il existe un seuil critique pour la recherche autonome. Les modèles plus petits (ex: Gemini 2.5 Flash) montrent une chute brutale de performance (F1 : 42,99 %, Totalement incorrect : 45,27 %), indiquant que les tâches de DeepSearchQA sont intraitables via une simple recherche sémantique et nécessitent une récupération structurée et un raisonnement multi-étapes.
Comportement de mise à l'échelle (Scaling) : Augmenter le calcul au moment du test (échantillonnage $n$ fois) améliore significativement la performance. Pour le meilleur agent, le taux de « Totalement correct » est passé de 67,18 % ( $n=1$ ) à 85,71 % ( $n=8$ ).
Le problème du « dernier kilomètre » : Une divergence distincte existe entre le score F1 et les taux stricts de « Totalement correct » (ex: un écart d'environ 15 points pour le meilleur agent). Cet écart est dû à deux modes de défaillance :
1. Sous-récupération : Manquer la « longue traîne » d'entités obscures.
2. Sur-récupération (Édulcoration/Hedging) : Atteindre un rappel parfait mais échouer à s'arrêter, en hallucinant des éléments supplémentaires ou en dérivant vers des sujets adjacents.

Modes de défaillance observés

L'analyse des meilleurs modèles a révélé des schémas d'échec spécifiques :

Erreurs d'estimation quantitative : Identifier correctement les candidats mais échouer à les classer ou à estimer les quantités avec précision.
Limitations des outils : Interrompre le processus lors de la rencontre de formats de fichiers illisibles (ex: Excel) plutôt que de chercher des sources alternatives.
Échec des critères d'arrêt : Échouer à filtrer les points de données selon les contraintes du prompt après avoir récupéré la liste initiale.

4. Signification et affirmations

Les auteurs positionnent DeepSearchQA comme un outil de diagnostic critique pour la prochaine phase de développement des agents. Le papier affirme que :

Changement de paradigme : Le benchmark déplace l'évaluation de la récupération basée sur la précision vers la génération d'ensembles de réponses exhaustifs, traitant un angle mort critique dans l'évaluation actuelle des agents.
Utilité diagnostique : En récompensant explicitement la récupération exhaustive et en pénalisant à la fois la sous-récupération et l'édulcoration, DeepSearchQA met en lumière l'« écart de comprehensivité » où même les modèles avancés peinent à équilibrer rappel et précision.
Directions futures : Le benchmark identifie les capacités spécifiques requises pour des agents robustes :
- Exploration systématique : Aller au-delà de la recherche opportuniste par mots-clés pour une navigation méthodique basée sur des arbres ou des graphes.
- Synthèse avancée : Mécanismes robustes pour fusionner les informations et résoudre les ambiguïtés d'entités.
- Critères d'arrêt dynamiques : La capacité de raisonner sur la complétude de la recherche et de déterminer quand une recherche est exhaustive sans signaux de terminaison explicites.

Les auteurs concluent qu'optimiser ce niveau plus profond de comprehensivité est l'étape critique suivante pour construire des agents web autonomes véritablement capables et fiables, passant d'agents capables de répondre à une question à des agents capables de maîtriser un sujet et de cartographier un paysage d'informations.