DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation

Ce papier présente DEER, une nouvelle norme d'évaluation pour les agents de recherche approfondie qui génèrent des rapports d'experts, en proposant une taxonomie systématique de 101 critères, des directives d'évaluation et une architecture de vérification des affirmations pour identifier les forces et les faiblesses des systèmes actuels.

L'essentiel

🦌 DEER : Le Grand Jury des Enquêteurs Numériques

Imaginez que vous avez demandé à un détective très intelligent (une Intelligence Artificielle) de rédiger un rapport complet sur un sujet complexe, comme "Pourquoi le climat change-t-il ?" ou "Comment fonctionne la bourse ?".

Le problème, c'est que ces détectives (les IA) sont devenus très doués pour écrire de longs textes qui semblent parfaits. Ils ont une belle structure, un vocabulaire riche et citent des sources. Mais sont-ils vraiment fiables ? Ont-ils vraiment fait le travail d'expert ? Ou ont-ils simplement inventé des choses qui sonnent bien ?

C'est là qu'intervient DEER (le nom de ce projet, qui signifie "Cerf" en anglais, mais ici c'est l'acronyme d'un système d'évaluation).

1. Le Problème : Le "Faux Nez" de l'Expert

Aujourd'hui, évaluer ces rapports est un cauchemar.

• C'est flou : On ne sait pas exactement quoi regarder. Est-ce que le texte est bien écrit ? Est-ce que les faits sont vrais ?
• L'IA juge l'IA : Souvent, on utilise une autre IA pour corriger le travail de la première. Mais si l'IA jugeante ne connaît pas bien le sujet (comme la physique quantique ou l'histoire médiévale), elle peut rater des erreurs subtiles.
• La vérification est incomplète : On vérifie souvent seulement les phrases où il y a un petit numéro de référence (comme [1]), mais on ignore tout ce qui est écrit sans citation, même si c'est faux.

2. La Solution DEER : Le Kit de l'Inspecteur de Police

Les auteurs de l'article ont créé un manuel de contrôle qualité ultra-précis, conçu par de vrais humains experts (des professeurs, des chercheurs).

Imaginez que DEER est un inspecteur de police qui arrive sur la scène du crime (le rapport de l'IA) avec deux outils magiques :

Outil A : La Grille de Contrôle (Le Ruban à Mesurer)
Au lieu de dire "C'est bien" ou "C'est mal", DEER utilise une grille de 101 critères précis.

• Analogie : C'est comme un examen de conduite. On ne dit pas juste "Il a conduit". On vérifie : "A-t-il regardé à gauche ? A-t-il respecté la vitesse ? A-t-il utilisé son clignotant ?".
• DEER vérifie si le rapport répond à la demande, s'il est logique, s'il est bien structuré et s'il respecte l'éthique. Pour aider l'IA qui corrige, on lui donne aussi des notes de l'expert (des indices précis sur ce qu'il faut chercher dans ce sujet précis).

Outil B : Le Détective de Preuves (Le Chasseur de Mensonges)
C'est la partie la plus géniale. DEER ne se contente pas de regarder les citations officielles.

• Analogie : Imaginez que vous lisez un article de journal. Si l'auteur dit "La population a doublé", vous cherchez la source. Mais si l'auteur dit "La population a doublé" sans mettre de source, mais qu'il a parlé de statistiques deux paragraphes plus tôt, un humain comprend le lien. L'IA, elle, perd souvent le fil.
• DEER utilise une technique appelée "Remontée Sémantique". Il lit tout le rapport et dit : "Attends, cette phrase sans citation s'appuie sur ce fait mentionné plus haut. Je vais aller vérifier la source de ce fait plus haut et voir si elle soutient bien cette phrase."
• Il vérifie ainsi toutes les affirmations, qu'elles aient une citation ou non, pour s'assurer qu'elles sont vraies.

3. Les Résultats : Ce que l'on a découvert

Les chercheurs ont testé les meilleurs détectives IA du monde avec DEER. Voici ce qu'ils ont vu :

• Les IA sont de superbes stylistes : Elles savent écrire de beaux rapports, bien structurer les paragraphes et respecter les règles de forme. C'est comme un étudiant qui a une très belle écriture et un bon vocabulaire.
• Mais elles sont encore faibles en fond : Elles ont du mal à répondre exactement à la demande complexe de l'utilisateur et à construire un raisonnement logique sans faire de sauts dans la logique.
• Le piège de la recherche : Parfois, quand l'IA cherche trop d'informations sur le web, elle se perd et son rapport devient moins clair. Avoir plus de sources ne signifie pas toujours un meilleur rapport !

4. Pourquoi c'est important ?

Avant DEER, on comparait les IA comme on compare deux voitures en regardant juste leur couleur. DEER, c'est comme mettre les deux voitures sur un banc d'essai pour voir leur moteur, leurs freins et leur consommation.

Grâce à ce système, on ne se contente plus de dire "L'IA A est meilleure que l'IA B". On peut dire : "L'IA A est excellente pour la structure, mais elle invente des faits en histoire, tandis que l'IA B est très précise en science mais oublie de répondre à la question principale."

En résumé :
DEER est un nouveau standard pour s'assurer que les "super-détectives" IA ne se contentent pas de faire semblant d'être des experts, mais qu'ils le sont vraiment, en vérifiant chaque mot, chaque logique et chaque preuve avec la rigueur d'un inspecteur humain.

Résumé technique

Voici un résumé technique détaillé de l'article "DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation", rédigé en français.

1. Problématique et Contexte

L'avancée rapide des grands modèles de langage (LLM) a permis l'émergence de systèmes de recherche approfondie (Deep Research) capables de générer des rapports d'experts en multipliant les étapes de raisonnement et en synthétisant des preuves issues de sources externes. Cependant, l'évaluation de ces rapports reste un défi majeur pour trois raisons principales :

1. Critères d'évaluation flous : La qualité d'un rapport est multidimensionnelle. Les benchmarks existants utilisent souvent des critères trop grossiers ou générés par des LLM, manquant de granularité et de cohérence.
2. Limites des juges LLM : Même avec des critères bien définis, les LLM utilisés comme juges manquent souvent de l'expertise de domaine nécessaire pour détecter des erreurs subtiles, des sauts logiques ou des inexactitudes factuelles spécifiques à un domaine.
3. Vérification incomplète des sources : Les approches actuelles se limitent souvent à vérifier les affirmations explicitement citées, laissant une grande partie du contenu (affirmations implicites ou non citées) sans vérification factuelle, ce qui compromet la fiabilité globale du rapport.

2. Méthodologie : Le Benchmark DEER

Pour répondre à ces défis, les auteurs proposent DEER (Deep research Expert Report benchmark), un cadre d'évaluation systématique et interprétable.

A. Construction des Données

• Sources : Le benchmark s'appuie sur 5 842 requêtes utilisateurs réelles et utilise Humanity's Last Exam (HLE) comme source de questions semences de haute difficulté.
• Reformulation : Des experts de domaine (titulaires d'un master ou équivalent) ont reformulé ces questions en prompts de génération de rapports longs, en supprimant les réponses directes pour forcer le modèle à raisonner et synthétiser l'information.
• Couverture : 50 tâches couvrant 13 domaines (Finance, Informatique, Biologie, Histoire, etc.).

B. Architecture d'Évaluation Hybride

DEER évalue les rapports selon deux composantes complémentaires :

1. Évaluation de la Qualité du Rapport (Rubrique Expertisée) :

   • Taxonomie Hiérarchique : Une taxonomie développée par des experts, synthétisant 80 normes de reporting de 20 domaines, structurée en 7 dimensions et 25 sous-dimensions.
   • Rubriques Fines : Cette taxonomie est opérationnalisée en 101 items de rubriques (scoring 1-10) divisés en deux aspects : Couverture (présence des éléments requis) et Qualité (profondeur, logique, rigueur).
   • Guides d'Évaluation d'Expert : Pour chaque tâche, des experts rédigent des guides spécifiques détaillant les éléments de contenu obligatoires et les attentes, aidant les juges LLM à identifier des erreurs subtiles et à maintenir la cohérence.

2. Vérification de l'Information (Information Verification) :

   • Extraction et Classification : Un module extrait les affirmations atomiques et les classe en 6 types (A-F), distinguant les affirmations citées, implicites (même section, section précédente) et non vérifiables.
   • Back-tracking Sémantique : Une innovation clé permet de récupérer les citations implicites en traçant les dépendances sémantiques vers les phrases précédentes, étendant la vérification au-delà des marques de citation explicites.
   • Vérification Factuelle : Les affirmations (types A-C) sont vérifiées contre les documents sources récupérés, produisant des métriques quantitatives sur l'intégrité et la suffisance des preuves.

3. Contributions Clés

• DEER Benchmark : Le premier benchmark systématique pour les rapports de recherche approfondie, ancré dans des normes d'experts réels plutôt que dans des heuristiques générées par IA.
• Taxonomie et Rubriques Standardisées : Une taxonomie de 7 dimensions et 101 items fixes, permettant un diagnostic granulaire et comparable entre différentes tâches et modèles.
• Guides d'Évaluation par Expert : Une méthode pour aligner les juges LLM sur les standards experts via des instructions contextuelles spécifiques à chaque tâche, améliorant la corrélation avec l'évaluation humaine.
• Architecture de Vérification Complète : Un système capable de vérifier à la fois les affirmations citées et non citées (via back-tracking), fournissant des métriques objectives sur la fiabilité factuelle et la diversité des sources.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs familles de modèles (LLMs de base, modèles avec raisonnement, modèles avec recherche web, et agents de recherche approfondie comme WebThinker, OpenAI Deep Research, etc.) sur DEER.

• Performances Générales : Les systèmes actuels excellent dans la structure, le style et l'éthique (scores élevés en Structural Coherence et Format & Style), mais montrent des lacunes significatives dans la satisfaction des demandes complexes (Request Fulfillment) et la rigueur analytique (Analytical Soundness).
• Impact du Raisonnement et de la Recherche : L'ajout de capacités de raisonnement ("think") améliore les performances globales. Cependant, l'ajout de la recherche web ("search") sans orchestration appropriée peut parfois brouiller la définition du problème et réduire la qualité rédactionnelle.
• Analyse par Domaine : Les performances varient considérablement selon les disciplines. Les agents réussissent mieux en Philosophie, Psychologie et Ingénierie, mais peinent en Informatique, Histoire et Physique, où la complexité technique et le contexte historique sont plus exigeants.
• Corrélation Humaine : L'ajout des Guides d'Évaluation d'Expert augmente significativement la corrélation entre les juges LLM et les experts humains (passant de ~0.64 à 0.75 pour le coefficient de Pearson), prouvant l'efficacité de l'approche hybride.
• Fiabilité Inter-Évaluateur : L'utilisation de guides experts améliore également la cohérence entre différents juges LLM (Krippendorff's alpha passant de 0.46 à 0.55).

5. Signification et Impact

Le travail DEER représente une avancée majeure pour l'évaluation des agents autonomes de recherche :

• Diagnostic Interprétable : Au-delà d'un score global, DEER permet d'identifier précisément les forces et faiblesses d'un système (ex: manque de diversité des sources, sauts logiques, omission de contraintes).
• Standardisation : Il établit un standard d'évaluation basé sur des normes académiques et professionnelles réelles, offrant une base solide pour le développement futur des agents de recherche.
• Limites et Perspectives : Bien que basé sur des juges LLM, la forte corrélation avec les humains valide l'approche. Le benchmark se concentre actuellement sur les rapports textuels, posant les bases pour de futures extensions vers des tâches multimodales.

En conclusion, DEER démontre que si les systèmes de recherche approfondie sont capables de produire des rapports structurellement plausibles, ils doivent encore progresser considérablement pour répondre aux exigences d'expertise, de logique et de vérification factuelle requises par les utilisateurs professionnels.