💬 NLP

WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing

Cet article présente WorkSurface-Bench, un nouveau benchmark comprenant 1 151 tâches auditables conçues pour évaluer la capacité des agents d'entreprise à router les requêtes à travers des surfaces de connaissances hétérogènes (documents, tableaux et graphes), révélant que si les agents peuvent atteindre une grande précision de routage, la sélection correcte de la surface seule est insuffisante pour obtenir des taux d'achèvement de tâches élevés.

Auteurs originaux : Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Publié 2026-07-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un assistant robotique super intelligent pour vous aider à gérer un bureau très occupé. Vous lui posez une question complexe, du genre : « Combien avons-nous dépensé en frais d'expédition le mois dernier, et quels fichiers sont à l'origine des retards ? » Pour répondre à cela, le robot ne peut pas simplement deviner ; il doit chercher l'information. Mais attention, il y a un piège : le bureau possède trois types de rayonnages d'informations très différents. Il y a une Bibliothèque remplie de rapports écrits et de PDF (documents), une Salle des Tableurs truffée de lignes de chiffres et de calculs (tableaux), et une Salle des Cartes montrant comment chaque fichier est relié aux autres (graphes).

Pendant longtemps, les scientifiques testant ces robots demandaient principalement : « Avez-vous obtenu la bonne réponse ? » Si le robot cherchait dans la mauvaise salle, choisissait le mauvais livre ou faisait mal les calculs, le test se contentait de dire : « Échec ». Mais cela ne nous disait pas pourquoi il avait échoué. Le robot ne savait-il pas qu'il devait aller dans la Salle des Cartes ? Ou bien est-il allé dans la Salle des Cartes, a trouvé la bonne carte, mais s'est ensuite emmêlé les pinceaux en la lisant ? Ce document s'attaque à cette lacune. Il introduit une nouvelle façon de tester les robots en séparant l'acte de choisir la bonne salle de l'acte de résoudre l'énigme une fois à l'intérieur. Il demande : le robot peut-il déterminer quel type de connaissance il nécessite avant même de commencer à chercher ?

Le nouveau jeu : WorkSurface-Bench

Les chercheurs ont construit un nouveau terrain d'essai appelé WorkSurface-Bench. Considérez cela comme une simulation de bureau géante et réaliste comprenant 1 151 tâches différentes. Ils ont mis en place cinq « personas » différents (comme un gestionnaire logistique ou un analyste financier) et leur ont donné accès à trois surfaces distinctes : une bibliothèque de documents, une base de données de tableaux et un graphe de relations entre les fichiers.

La grande innovation réside dans la manière dont ils notent les robots. Au lieu de simplement donner une réussite ou un échec sur la réponse finale, ils évaluent deux éléments distincts :

L'Itinéraire (Route) : Le robot a-t-il choisi les bonnes « surfaces » (Bibliothèque, Tableur ou Carte) ?
La Réponse (Answer) : A-t-il réellement résolu le problème correctement une fois les surfaces choisies ?

Ils ont créé un « étalon de référence » pour chaque réponse. Si une tâche nécessite un calcul mathématique, ils ont exécuté le code réel pour obtenir la vraie réponse. Si elle nécessitait la lecture d'un document, ils ont vérifié les mots exacts dans la source. Si elle nécessitait une connexion de fichiers, ils ont tracé le chemin réel. Cela signifie que la « bonne » réponse n'est pas juste une supposition faite par une autre IA ; c'est un fait vérifié.

La grande surprise : Savoir où chercher ne suffit pas

L'équipe a testé quatre des modèles d'IA les plus intelligents disponibles (incluant GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro et GPT-5.5) dans six scénarios différents. Ils voulaient voir si le fait de faciliter la tâche du robot en lui indiquant exactement dans quelle pièce aller permettrait de corriger ses erreurs.

Voici ce qu'ils ont découvert, et c'est un véritable coup de théâtre : Savoir où chercher ne garantit pas que vous trouverez la réponse.

Lorsque les chercheurs ont forcé les robots à utiliser uniquement les bonnes surfaces (un paramètre dit « Gold-constrained »), les robots sont devenus presque parfaits pour choisir la bonne salle. Leur score d'« Itinéraire » a bondi entre 98,7 % et 99,8 %. Ils savaient exactement où aller.

Cependant, leur score de « Réponse » — la justesse réelle de la solution finale — n'a atteint que des niveaux compris entre 56,1 % et 75,3 %.

Cela signifie que même lorsqu'un robot se trouvait dans la bonne salle avec la bonne carte en main, il se trompait encore dans la réponse finale plus d'un quart du temps. Il pouvait trouver le bon fichier mais mal lire les chiffres, ou bien combiner incorrectement les informations du tableur et du document. L'étude démontre que « choisir le bon outil » et « utiliser l'outil correctement » sont deux compétences totalement différentes, et être bon dans l'une ne garantit pas automatiquement d'être bon dans l'autre.

Indices vs Restrictions

Les chercheurs ont également joué à un petit jeu de « donner un indice » contre « retirer les distractions ».

L'Indice : Ils ont dit aux robots : « Vous devez regarder le Tableur et la Carte ». Cela a aidé les robots à mieux choisir les surfaces et, pour certains modèles, a légèrement amélioré leurs réponses finales.
La Restriction : Ils ont ensuite retiré tous les outils dont les robots n'avaient pas besoin. Cela a rendu les robots beaucoup plus rapides et efficaces, et ils ont choisi les bonnes surfaces encore plus précisément. Mais, étonnamment, cela n'a pas toujours amélioré la réponse finale. En fait, pour certains modèles, retirer les outils supplémentaires les a rendus légèrement moins performants, probablement parce qu'ils ont perdu la capacité de vérifier leur travail à l'aide d'un autre outil.

Ce que cela signifie pour l'avenir

L'article conclut que nous ne pouvons plus nous contenter de regarder le score final d'un agent d'IA. Si une IA se trompe dans une question, nous devons savoir si elle a échoué parce qu'elle ne savait pas ce qu'il fallait chercher, ou parce qu'elle a cherché au bon endroit mais n'a pas su traiter ce qu'elle a trouvé.

Les auteurs ont mesuré cela à travers 27 624 tentatives différentes de robots, et ils sont très sûrs de ces chiffres car ils ont audité les résultats avec des vérificateurs humains et des règles strictes. Ils ont constaté que, bien que les meilleurs robots deviennent très bons pour l'itinéraire (98 %+), ils luttent encore avec l'étape finale consistant à assembler correctement les pièces du puzzle (environ 56–75 %).

En résumé, l'avenir des robots de bureau intelligents ne consiste pas seulement à leur donner de meilleures cartes du bureau ; il s'agit de leur apprendre à lire les panneaux et à faire les calculs une fois arrivés sur place. L'article fournit un nouveau tableau de bord détaillé pour aider les développeurs à suivre précisément là où leurs robots trébuchent, afin qu'ils puissent corriger la partie spécifique du cerveau qui fait défaut, plutôt que d'espérer simplement que l'ensemble s'améliore.

Résumé Technique : WorkSurface-Bench

Énoncé du Problème

Les agents d'entreprise rencontrent fréquemment des questions nécessitant un accès simultané à des formes de connaissances hétérogènes : des faits narratifs dans des documents, des calculs dans des tableaux et des relations de fichiers dans des graphes de dépendances. Les benchmarks existants évaluent généralement la récupération (RAG) ou l'utilisation d'outils de manière isolée, échouant à distinguer la capacité d'un agent à sélectionner la représentation correcte de la connaissance (routage de surface) de sa capacité à raisonner correctement en utilisant cette représentation. Par conséquent, les scores de précision de bout en bout confondent ces capacités distinctes, ce qui rend difficile le diagnostic pour savoir si un échec provient du choix de la mauvaise source, d'une récupération incomplète des preuves ou d'une synthèse incorrecte de la réponse.

Méthodologie

Les auteurs introduisent WorkSurface-Bench, un benchmark conçu pour découpler le routage de surface de la génération de la réponse. La méthodologie repose sur trois composantes fondamentales :

1. Construction du Benchmark

Le benchmark est dérivé du corpus Workspace-Bench-Lite, projeté sur trois surfaces canoniques et routables :

Document (RAG) : 493 documents Markdown UTF-8 canoniques.
Tableau : 207 vues DuckDB générées à partir de feuilles CSV/XLSX normalisées.
Graphe : 1 438 arêtes représentant la lignée des fichiers et les dépendances (ex: fichier-dépend-de-fichier).
Métadonnées : Les procédures opérationnelles standard (SOP) sont conservées comme métadonnées de tâche plutôt que comme une surface routable.

Le jeu de données comprend 1 151 tâches atomiques réparties sur cinq espaces de travail par persona. Les tâches sont catégorisées par surfaces requises : rag_only (RAG uniquement), table_only (tableau uniquement), graph_only (graphe uniquement) et cross_surface (nécessitant des combinaisons des trois).

2. Référentiel de Vérité (Gold Standard) Vérifiable

Pour garantir l'auditabilité, les réponses de référence ne sont pas générées par des modèles mais dérivées d'une exécution déterministe :

Réponses de tableaux : Exécutées via des requêtes DuckDB.
Réponses de documents : Vérifiées par rapport à des segments verbatim dans les fichiers sources.
Réponses de graphes : Dérivées des annotations de dépendance sources.
Un pipeline de filtrage rigoureux impliquant des vérifications déterministes, des propositions assistées par LLM (GPT-5.5) et des audits humains/LLM indépendants (DeepSeek, Gemini) garantit que l'ensemble final ne contient aucune erreur de protocole et répond à des critères stricts d'analysabilité et de nécessité de surface.

3. Protocole de Notation

Le cadre d'évaluation évalue quatre métriques distinctes pour chaque tâche :

Route F1 : Mesure la précision et le rappel de l'ensemble de surfaces sélectionnées par rapport à l'ensemble requis (gold).
Evidence (Preuve) : Mesure la fraction d'artefacts requis (fichiers, vues, nœuds) réellement accédés dans la trace.
Answer (Réponse) : Évalue la correction finale en utilisant la correspondance exacte, la tolérance d'erreur relative ou le F1 d'ensemble, selon le type de réponse.
Efficiency (Efficacité) : Un score continu qui pénalise l'utilisation de tokens par rapport à un budget spécifique à la tâche.

Ces métriques sont agrégées en un score unique avec les poids suivants : Réponse (35 %), Preuve (30 %), Routage (25 %) et Efficacité (10 %).

Configuration Expérimentale

Les auteurs ont évalué quatre modèles de base (GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro et GPT-5.5) sous six configurations d'agent :

No-tool (Sans outil) : Baseline en mode livre fermé.
Always-RAG (Toujours RAG) : Force une recherche documentaire unique.
Naive-router (Routeur naïf) : Sélectionne exactement une surface en amont.
ReAct-all : Expose les trois surfaces, permettant un entrelacement libre.
Gold-constrained (Contraint par le gold) : L'agent reçoit les surfaces requises mais doit sélectionner les outils au sein de celles-ci.
Gold-hint/all (Indice gold/tout) : L'agent reçoit les surfaces requises mais tous les outils restent disponibles.

Résultats Clés

Les expériences, couvrant 27 624 trajectoires retenues, produisent plusieurs conclusions critiques :

Routage $\neq$ Réponse : Il existe une corrélation modérée ( $\rho = 0,62$ ) entre le succès du routage et la précision de la réponse. Même lorsque les agents sont Gold-constrained (forcés d'utiliser les bonnes surfaces), atteignant un Route F1 quasi parfait (98,7–99,8 %), leur précision de réponse (Answer) reste significativement plus basse (56,1–75,3 %).
Goulots d'étranglement post-routage : Des scores de routage élevés ne garantissent pas une exécution correcte. Dans les configurations Gold-constrained, les agents échouent encore lors de la récupération des preuves (scores d'Evidence : 66,7–78,5 %) et de la synthèse ou du calcul en aval.
Impact des indices vs restrictions :
- Fournir des indices de surface (S4 $\to$ S6) améliore la précision de la réponse pour trois des quatre modèles, mais a un effet variable sur le routage.
- Supprimer les outils non pertinents (S6 $\to$ S5) améliore considérablement le Route F1 et l'Efficacité, mais n'améliore pas uniformément la précision de la réponse ; dans certains cas, cela dégrade les performances.
Performance par type de surface : La performance varie selon le type de tâche. Bien que les tâches de type "Table-only" génèrent généralement les scores les plus élevés (jusqu'à 91,0 %), les tâches "Cross-surface" restent les plus difficiles, avec des scores chutant de 13,0 à 45,7 points par rapport à la meilleure performance de l'agent sur une surface unique.

Signification et Revendications

L'article affirme que WorkSurface-Bench est le premier benchmark de workspace à évaluer le routage de surface séparément de la métrique de Réponse (Answer). Sa principale importance réside dans :

Clarté Diagnostique : En séparant les métriques, le benchmark permet aux chercheurs de localiser si un agent échoue lors de la sélection, de la récupération ou de la synthèse, plutôt que d'attribuer tous les échecs à un score d'« intelligence » monolithique.
Découplage des Capacités : Les résultats démontent que savoir où chercher (routage) est une capacité distincte de savoir comment utiliser l'information trouvée (réponse).
Rigueur d'Évaluation : L'utilisation de réponses de référence exécutables et auditables (SQL, segments, annotations) élimine la dépendance aux références générées par des modèles, fournissant une vérité terrain plus fiable pour l'évaluation des agents d'entreprise.

Les auteurs concluent que les futures évaluations d'agents doivent rapporter la sélection de surface séparément et tester explicitement si les systèmes peuvent convertir les preuves récupérées en réponses correctes, plutôt que de se fier uniquement à la précision de bout en bout.