Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps
Cet article présente un benchmark rigoureux pour évaluer les agents de recherche approfondie sur des tâches de conseil expert à l'aide de prompts rédigés par des experts métier comportant des pièges cognitifs, révélant que les modèles de pointe actuels (Claude, o3 et Gemini) obtiennent des taux d'acceptation uniformément faibles en raison de modes d'échec distincts tels que les hallucinations, les erreurs arithmétiques et un raisonnement incohérent.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous embauchiez une équipe d'assistants de recherche surdoués pour accomplir une tâche complexe : ils doivent lire un tas de documents en désordre, trouver des chiffres spécifiques, effectuer des calculs et rédiger un rapport professionnel pour un PDG. S'ils se trompent ne serait-ce que d'un seul chiffre, le PDG pourrait commettre une erreur d'un milliard de dollars.
Ce papier est comparable à un entretien d'embauche rigoureux pour trois des assistants de recherche en IA les plus avancés disponibles aujourd'hui (Claude, o3 et Gemini). Les auteurs, de Deccan AI Research, voulaient savoir si ces IA pouvaient réellement accomplir le type de travail détaillé et à haut risque que font les consultants en gestion humains, ou si elles se contentaient d'être bonnes pour répondre à de simples questions de culture générale.
Voici la décomposition de leur expérience, utilisant des analogies simples :
1. Le Test : Un Parcours du Combattant « Piégé »
La plupart des tests précédents pour l'IA consistaient à demander : « Quelle est la capitale de la France ? » (rappel factuel). Ce test était différent. Les auteurs ont créé 42 scénarios complexes basés sur de véritables travaux de conseil.
Considérez ces scénarios comme un parcours de survie conçu pour piéger les IA. Les documents fournis aux IA contenaient des « pièges cognitifs », tels que :
- Le Piège de la « Fausse Piste » : Un fichier rempli de 100 pages de texte, mais la réponse se cache dans une toute petite note de bas de page à la page 98.
- Le Piège de la « Contradiction » : Un document indique que le prix est de 50 $, mais une note de bas de page précise : « Sauf si c'est mardi, alors c'est 60 $. »
- Le Piège des « Mathématiques » : Demander une moyenne, alors que la méthode correcte exige une moyenne pondérée (comme calculer votre note en fonction du poids de chaque examen).
Si une IA se contentait de survoler la surface ou de deviner, elle échouait.
2. Les Juges : Deux Couches de Notation
Le papier ne s'est pas contenté de laisser une IA noter une autre IA. Ils ont utilisé un système de notation à deux couches :
- Couche 1 : Les Vérificateurs Robots : Ce sont des contrôles automatisés stricts. L'IA a-t-elle produit le fichier ? A-t-elle utilisé les bons chiffres ? A-t-elle cité les bonnes sources ? Si l'IA se trompait sur une seule étape mathématique, cette couche la marquait comme un échec.
- Couche 2 : L'Expert Humain (le Spécialiste du Domaine) : Un véritable consultant humain (avec plus de 15 ans d'expérience) a lu le rapport de l'IA. Il l'a noté sur cinq points :
- Intégrité des Données : Avez-vous inventé des faits ?
- Rigueur Analytique : Votre logique est-elle solide ?
- Pertinence : Avez-vous répondu à la question ou simplement divagué ?
- Exécution : Avez-vous fait les calculs correctement ?
- Format : Le rapport est-il professionnel et utilisable ?
Le score final combinait ces deux couches. Pour « réussir » le test, une IA devait à la fois dépasser les vérificateurs robots et impressionner l'expert humain.
3. Les Résultats : Le « Taux de Réussite » Étonnamment Faible
Sur 126 tentatives au total (42 tâches × 3 IA), presque personne n'a réussi.
- Gemini a réussi environ 21 % du temps.
- Claude et o3 n'ont réussi que 9,5 % du temps.
Autrement dit, si vous embauchiez l'une de ces IA pour un projet de conseil d'un million de dollars, il y avait 79 % à 90 % de chances qu'elles échouent à livrer un rapport utilisable et précis.
4. Comment Chaque IA a Échoué (Les « Personnalités » de l'Échec)
Le papier a révélé que chaque IA échouait à sa manière unique, comme trois étudiants différents passant un examen difficile :
Claude (Le Fabricateur Confiant) :
- Force : C'était la meilleure pour créer réellement les fichiers finaux (comme des documents Word ou des feuilles de calcul Excel). Elle oubliait rarement de rendre le devoir.
- Faiblesse : C'était la plus susceptible de mentir. Lorsqu'elle ne trouvait pas de réponse dans les documents, elle inventait avec assurance un chiffre ou une source pour combler le vide. C'était comme un étudiant qui rédigeait une belle dissertation mais inventait tous les faits.
o3 (Le Mathématicien Prudent mais Maladroit) :
- Force : Lorsqu'elle raisonnait, sa logique était souvent la plus claire.
- Faiblesse : Elle omettait fréquemment des sections requises du rapport ou commettait des erreurs mathématiques en cascade. Si elle se trompait à la première étape, le reste des calculs était faux. Elle ignorait aussi parfois les instructions de créer un fichier et se contentait de donner une réponse textuelle.
Gemini (Le Manège) :
- Force : Lorsqu'elle fonctionnait, c'était souvent la meilleure. Elle avait le plus grand nombre de notes « parfaites ».
- Faiblesse : Elle était imprévisible. Elle avait le plus grand nombre de notes « zéro ». Parfois, elle plantait, refusait de répondre, ou produisait un fichier avec du code cassé. C'était comme un étudiant qui soit réussissait brillamment le test, soit échouait si lamentablement qu'il ne se présentait même pas.
5. La Grande Conclusion
Le papier conclut que, bien que ces agents IA soient impressionnants, ils ne sont pas encore prêts pour un travail à haut risque, destiné à la prise de décision.
Si un consultant humain fait une erreur, c'est généralement un petit lapsus. Si ces IA font une erreur, c'est souvent un échec catastrophique : elles pourraient inventer une source fictive, faire planter le logiciel, ou manquer une note de bas de page critique qui change toute la décision commerciale.
Les auteurs préparent actuellement une deuxième version, plus grande, de ce test, mais pour l'instant, le message est clair : Ne faites pas confiance à ces IA avec les décisions d'un milliard de dollars de votre entreprise pour le moment. Elles apprennent encore comment être des chercheurs fiables.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.