Towards Personalized Deep Research: Benchmarks and Evaluations

Cet article présente le PDR-Bench, le premier benchmark évaluant la personnalisation des agents de recherche approfondie grâce à 250 requêtes réalistes et le cadre d'évaluation PQR, comblant ainsi le manque d'évaluations pour les scénarios personnalisés.

L'essentiel

🕵️‍♂️ Le Dilemme du Détective Personnel

Imaginez que vous avez un détective privé ultra-intelligent, capable de fouiller dans toute l'internet en quelques secondes pour répondre à vos questions. C'est ce qu'on appelle un Agent de Recherche Profonde (Deep Research Agent).

Jusqu'à présent, on testait ces détectives avec des examens standardisés, un peu comme des QCM scolaires : "Combien de temps a duré la Seconde Guerre mondiale ?" ou "Trouvez le prix exact de ce produit." Si le détective donnait la bonne réponse, il avait 20/20.

Le problème ? Dans la vraie vie, nous ne sommes pas tous pareils.

• Si vous demandez un voyage à Paris, un étudiant avec un petit budget aura besoin de conseils très différents d'un PDG riche qui veut du luxe.
• Si vous demandez un régime alimentaire, les besoins d'un athlète de haut niveau ne sont pas les mêmes que ceux d'une personne âgée ayant des problèmes de cœur.

Les anciens tests ne mesuraient pas si le détective savait s'adapter à votre personnalité. Ils ignoraient le "pour vous" dans la réponse.

🎯 La Solution : Le "PDR-Bench" (Le Terrain de Jeu Personnalisé)

Les auteurs de ce papier (une équipe de chercheurs de l'Université de Zhejiang et d'OPPO) ont créé un nouveau terrain de jeu pour tester ces détectives. Ils l'ont appelé PDR-Bench.

Voici comment ils l'ont construit, avec une analogie simple :

1. Les Missions (50 tâches) : Ils ont imaginé 50 situations réelles et complexes (trouver un doctorat, planifier un investissement, choisir une voiture, etc.).
2. Les Personnages (25 profils) : Au lieu de demander à des robots d'inventer des gens, ils ont recruté 25 vrais humains. Ils ont collecté leurs vraies données : leur âge, leur métier, leurs rêves, leurs habitudes de consommation, leurs conversations avec leur téléphone, etc. C'est comme créer 25 "avatars" ultra-réalistes.
3. Le Mélange (250 scénarios) : Ils ont mélangé les missions et les personnages. Par exemple : "Voici la mission 'Trouver une voiture', et voici le profil de 'Mme. Dupont, 45 ans, mère de deux enfants, budget serré, aime le vert'."

Le but ? Voir si l'IA peut dire : "Ah, pour Mme. Dupont, je ne vais pas lui recommander la Ferrari rouge, mais une petite voiture électrique verte et économique."

📏 La Nouvelle Règle du Jeu : Le Score PQR

Comment juger si le détective a bien travaillé ? Les chercheurs ont inventé une règle de notation en trois lettres, comme un triangle de la réussite : PQR.

• P = Personnalisation (Personalization Alignment) : Est-ce que la réponse est faite pour moi ?
  • Analogie : C'est comme un tailleur. Si vous commandez un costume, le détective doit-il vous donner un costume taille unique (mauvais) ou un costume coupé sur mesure selon vos mesures (bon) ?
• Q = Qualité du Contenu (Quality) : Est-ce que le rapport est bien écrit, logique et profond ?
  • Analogie : Même si le costume est sur mesure, est-ce qu'il est bien cousu ? Est-ce que les idées sont claires ?
• R = Fiabilité des Faits (Reliability) : Est-ce que les informations sont vraies et sourcées ?
  • Analogie : Est-ce que le détective a menti ou inventé des chiffres ? A-t-il vérifié ses sources ?

🧪 Ce qu'ils ont découvert (Les Résultats)

En testant plusieurs détectives (des versions gratuites, des versions payantes d'entreprises comme Google ou OpenAI, et des systèmes open-source), ils ont vu des choses intéressantes :

1. Les "Géants" commerciaux sont prudents : Les systèmes très connus (comme ceux de Google ou OpenAI) sont très fiables (ils ne mentent pas) et bien écrits, mais ils sont un peu "froids". Ils ont du mal à s'adapter vraiment à la personnalité de l'utilisateur. C'est comme un excellent avocat qui connaît le droit par cœur, mais qui ne vous comprend pas émotionnellement.
2. Les systèmes "Open Source" sont plus intuitifs : Les systèmes créés par la communauté (comme OAgents ou MiroFlow) sont souvent meilleurs pour deviner ce que l'utilisateur veut vraiment. Ils sont plus "humains" dans leur approche, mais ils font parfois des erreurs de faits (ils inventent parfois des sources).
3. Le contexte est roi : Si vous donnez à l'IA juste la question, elle fait un travail moyen. Si vous lui donnez le contexte (vos conversations passées, vos préférences), elle s'améliore. Mais le mieux reste de lui donner un profil utilisateur explicite (une fiche complète sur vous). C'est comme si vous lui disiez : "Voici qui je suis" au lieu de lui laisser deviner.

🚀 Pourquoi c'est important pour nous ?

Ce papier est une boussole pour l'avenir. Il nous dit que pour que l'IA devienne un véritable assistant personnel (comme un ami très intelligent), elle ne doit pas seulement être intelligente (savoir trouver des infos), elle doit être empathique (savoir qui vous êtes).

Les chercheurs disent : "Arrêtons de tester les IA comme des robots qui répondent à des quiz. Testons-les comme des assistants qui doivent comprendre nos vies."

En résumé, ce travail pose les bases pour créer le prochain niveau d'intelligence artificielle : celle qui ne vous répond pas seulement, mais qui vous comprend.

Résumé technique

Voici un résumé technique détaillé du papier de recherche intitulé "Towards Personalized Deep Research: Benchmarks and Evaluations", publié à la conférence ICLR 2026.

1. Problématique

Les agents de recherche profonde (Deep Research Agents - DRAs) ont démontré une capacité prometteuse à mener des enquêtes complexes et à générer des rapports complets de manière autonome. Cependant, les évaluations actuelles souffrent de deux lacunes majeures :

• Absence de personnalisation : La plupart des benchmarks existants (comme GAIA, BrowseComp) se concentrent sur des tâches à réponse fermée ou sur la précision factuelle générale, ignorant la capacité de l'agent à s'adapter aux besoins, préférences et contextes spécifiques d'un utilisateur.
• Limites des benchmarks de personnalisation : Les benchmarks de personnalisation existants (comme LaMP, PersonaGym) sont souvent confinés à des domaines étroits (dialogue, recommandation) et ne couvrent pas la complexité des tâches de recherche approfondie.

Il existe donc un besoin critique d'un cadre d'évaluation capable de mesurer comment un agent de recherche intègre les profils utilisateurs pour produire des rapports non seulement précis, mais véritablement personnalisés et utiles.

2. Méthodologie

Pour combler ce vide, les auteurs proposent une approche structurée en trois volets principaux :

A. Construction du Benchmark : PDR-Bench

Le Personalized Deep Research Bench (PDR-Bench) est le premier benchmark conçu spécifiquement pour évaluer la personnalisation dans les agents de recherche profonde. Sa construction repose sur :

• Tâches de recherche : 50 tâches de recherche profondes réparties sur 10 domaines variés (éducation, carrière, santé, voyage, finance, etc.), conçues avec l'aide d'experts et validées par un comité pour garantir complexité et clarté.
• Profils utilisateurs authentiques : 25 profils utilisateurs réels, créés à partir de données de 25 volontaires. Chaque profil combine :
  • Des attributs explicites structurés (âge, profession, revenu, famille, préférences).
  • Un contexte dynamique personnalisé (logs d'interactions quotidiennes, conversations avec un assistant, souvenirs d'événements) simulés via une application mobile.
• Couplage : Ces éléments sont combinés pour former 250 requêtes uniques (tâche + profil utilisateur), reflétant des scénarios réalistes où l'agent doit adapter sa recherche et son rapport au profil spécifique.

B. Cadre d'Évaluation : PQR

Les auteurs introduisent le cadre PQR pour évaluer les rapports générés selon trois dimensions orthogonales :

1. P - Alignement de la Personnalisation (Personalization Alignment) : Mesure dans quelle mesure le rapport répond aux objectifs explicites et implicites de l'utilisateur. Il est décomposé en quatre sous-dimensions dynamiques :
   • Alignement des objectifs (Goal Alignment)
   • Alignement du contenu (Content Alignment)
   • Adéquation de la présentation (Presentation Fit)
   • Actionnabilité et praticité (Actionability & Practicality)
   • Méthode : Un LLM agit comme méta-évaluateur pour générer dynamiquement des critères de pondération spécifiques à chaque paire tâche-utilisateur, puis note le rapport.
2. Q - Qualité du Contenu (Content Quality) : Évalue la qualité intrinsèque du rapport indépendamment de l'utilisateur (profondeur, cohérence logique, clarté).
3. R - Fiabilité Factuelle (Factual Reliability) : Évalue la précision factuelle et la capacité de l'agent à citer ses sources. Cela implique l'extraction de claims factuels, leur vérification automatique via des API de recherche (Jina Reader), et le calcul de deux métriques : la précision factuelle (FA) et la couverture des citations (CC).

C. Protocole Expérimental

L'évaluation a été menée sur un large éventail de systèmes :

• Agents de recherche commerciaux (Gemini-2.5-Pro, O3, Perplexity).
• Agents open-source (Deerflow, OAgents, Miroflow).
• LLMs standards avec outils de recherche.
• Systèmes de mémoire avancés (Mem0, Memory OS, O-Mem) pour tester la transformation du contexte implicite en profil explicite.
• Un juge humain et des LLMs (GPT-5) ont été utilisés pour valider la corrélation des scores automatisés avec l'opinion humaine.

3. Résultats Clés

Les expériences sur le PDR-Bench révèlent plusieurs tendances importantes :

• Performance des Agents Open-Source vs Commerciaux :

  • Les agents open-source (notamment OAgents et MiroFlow) excellent dans la personnalisation, obtenant les scores les plus élevés sur l'alignement des objectifs et la présentation. Ils adaptent mieux le ton et le contenu au profil utilisateur.
  • Cependant, ils souffrent d'une fiabilité factuelle plus faible (citations moins précises ou absentes) par rapport aux systèmes commerciaux.
  • Les agents commerciaux (comme Gemini-2.5-Pro) offrent un équilibre meilleur entre qualité, fiabilité factuelle (scores FA et CC élevés) et personnalisation, bien qu'ils soient légèrement en retrait sur l'adaptation fine au profil utilisateur par rapport aux meilleurs agents open-source.

• Impact de l'Information Utilisateur :

  • La personnalisation s'améliore systématiquement lorsque l'agent a accès à plus d'informations : Tâche seule < Tâche + Contexte < Tâche + Profil Explicite.
  • Les profils explicites donnent des résultats nettement supérieurs à l'inférence à partir de contextes conversationnels bruts, indiquant que les agents actuels peinent à extraire efficacement les préférences implicites sans aide structurée.

• Limites des Systèmes de Mémoire :

  • L'intégration de systèmes de mémoire avancés (comme O-Mem) permet d'améliorer la personnalisation par rapport à une absence de mémoire, mais un écart significatif subsiste entre les systèmes de mémoire actuels et l'utilisation d'un profil explicite parfait. Cela suggère un besoin de recherche pour transformer le contexte non structuré en modèles d'utilisateurs dynamiques et abstraits.

• LLMs avec Outils de Recherche :

  • Les LLMs standards équipés d'outils de recherche (sans architecture d'agent dédiée) sous-performent les agents de recherche spécialisés, tant en termes de personnalisation que de qualité globale.

4. Contributions Principales

1. Définition formelle de la tâche : Introduction du concept de "Recherche Profonde Personnalisée", étendant la synthèse d'information générique à l'adaptation des processus de recherche et de rapportage aux personas utilisateurs.
2. PDR-Bench : Création du premier benchmark de ce type, comprenant 250 requêtes réalistes couplant 50 tâches et 25 profils utilisateurs authentiques et dynamiques.
3. Cadre PQR : Développement d'une méthodologie d'évaluation holistique (Personnalisation, Qualité, Fiabilité) utilisant des critères dynamiques générés par LLM pour éviter les biais de modèles statiques.
4. Analyse Empirique : Fourniture d'une évaluation comparative exhaustive des systèmes actuels, identifiant leurs forces (qualité factuelle des systèmes commerciaux) et leurs faiblesses (extraction de préférences implicites, fiabilité des agents open-source).

5. Signification et Impact

Ce travail établit une fondation rigoureuse pour la prochaine génération d'assistants de recherche IA. En démontrant que la personnalisation est une dimension critique mais actuellement sous-évaluée, le papier :

• Redéfinit les standards d'évaluation pour les agents autonomes, passant d'une métrique de "réponse correcte" à une métrique de "réponse utile et adaptée".
• Met en lumière les défis techniques actuels, notamment la difficulté des modèles à inférer des préférences complexes à partir de contextes non structurés et le compromis entre personnalisation et fiabilité factuelle.
• Ouvre la voie au développement d'agents capables de comprendre non seulement ce que l'utilisateur demande, mais qui est l'utilisateur, permettant ainsi des interactions plus naturelles, pertinentes et efficaces dans des scénarios réels complexes.

En résumé, PDR-Bench et le cadre PQR fournissent les outils nécessaires pour mesurer et améliorer la capacité des IA à agir comme de véritables assistants personnels de recherche, et non de simples moteurs de réponse.