Résumé Technique : Workspace-Bench 1.0

Énoncé du Problème

Les agents IA actuels font face à un écart significatif entre leurs capacités démontrées dans des tâches isolées et leur performance dans des scénarios réels de milieu professionnel. Bien que les modèles de base et les cadres d'agents aient progressé dans l'appel d'outils et l'interaction avec les interfaces graphiques, ils peinent avec l'Apprentissage de l'Espace de Travail : la capacité à identifier, raisonner sur et mettre à jour les dépendances explicites et implicites entre des fichiers hétérogènes au sein d'un espace de travail numérique complexe.

Les benchmarks existants échouent à simuler adéquatement les flux de travail de bureau authentiques. Ils reposent généralement sur :

• Des paradigmes pilotés par l'invite ou par l'open-source qui contournent la nécessité de traiter des fichiers numériques réels.
• Des benchmarks pilotés par la tâche et le fichier qui fournissent des fichiers pré-emballés et isolés, ne contraignant pas les agents à rechercher, filtrer et découvrir indépendamment des informations au sein d'une structure de répertoire désordonnée et hiérarchique.
• Des benchmarks pertinents pour l'espace de travail qui manquent souvent de diversité de personas, couvrent moins de 10 modalités de fichiers et traitent les synergies inter-fichiers comme des sous-produits implicites plutôt que d'évaluer explicitement l'identification des dépendances (par exemple, relations sémantiques, lignée de versions).

Par conséquent, il existe un besoin urgent d'un benchmark qui évalue les agents sur les dépendances de fichiers à grande échelle au sein d'espaces de travail réalistes et hétérogènes.

Méthodologie

Construction du Benchmark (Workspace-Bench)

Les auteurs ont construit Workspace-Bench, un benchmark à grande échelle conçu pour simuler des espaces de travail numériques réalistes et des tâches de bureau ancrées dans le contexte.

1. Simulation de l'Espace de Travail :

   • Personas : Cinq rôles professionnels distincts ont été définis : Responsable des Opérations, Responsable Logistique, Responsable Produit IA, Développeur Backend et Chercheur.
   • Échelle : Le benchmark comprend 20 476 fichiers (jusqu'à 20 Go au total) répartis sur 74 types de fichiers distincts (incluant .xlsx, .pdf, .md, .java, .yaml, .eml, etc.).
   • Structure : Les espaces de travail ont été générés à l'aide d'un pipeline en deux étapes, de haut en bas :
     • Génération de la Structure : Des agents ont généré des hiérarchies de répertoires spécifiques aux rôles avec un bruit structurel contrôlé (dossiers redondants, noms ambigus).
     • Remplissage du Contenu : Une stratégie hybride a combiné un crawl agentique sémantique de ressources publiques (par exemple, arXiv, GitHub) avec des artefacts synthétisés par LLM (e-mails, notes de réunion, rapports) ancrés dans les données récupérées.
   • Complexité : Les fichiers sont profondément imbriqués (profondeur moyenne 3,7, maximum 8) et incluent des versions historiques pour tester le traçage de la lignée.

2. Curation des Tâches :

   • Source : 388 tâches ont été curées à partir de flux de travail réels (provenant de Lark/ByteDance) et annotées manuellement par des experts du domaine.
   • Graphes de Dépendances : Chaque tâche est appariée à un graphe de dépendance de fichiers de vérité terrain spécifiant l'ensemble minimal de chemins de fichiers essentiels et leurs relations (sémantique, agrégative, lignée).
   • Niveaux de Difficulté : Les tâches sont catégorisées en Facile (14 %), Moyen (53 %) et Difficile (33 %) en fonction de la complexité des capacités requises (par exemple, exploration de l'espace de travail, traçage de lignée, compréhension de fichiers hétérogènes).
   • Grilles d'Évaluation : Un total de 7 399 grilles fines (moyenne de 19,1 par tâche) a été conçu pour évaluer non seulement l'exactitude de la sortie finale, mais aussi les décisions intermédiaires, l'utilisation des versions de fichiers et le respect des dépendances.

3. Cadre d'Évaluation :

   • Agent-Juge : Un agent auxiliaire évalue la trajectoire d'exécution par rapport aux grilles et aux graphes de dépendances.
   • Accélération Parallèle : Un mécanisme parallèle dual (niveau espace de travail et niveau tâche) utilisant des pools de bac à sable pour gérer l'évaluation à grande échelle.
   • Métriques : Taux de réussite des grilles, Taux d'achèvement des tâches (TCR@p), Taux de reconnaissance du graphe de dépendances (F1 Nœud/Arête), Consommation de tokens et Tours d'interaction.
   • Workspace-Bench-Lite : Un sous-ensemble de 100 tâches préservant la fidélité distributionnelle pour une évaluation rapide, réduisant les coûts d'environ 70 %.

Configuration Expérimentale

Les auteurs ont évalué 28 configurations combinant 4 cadres d'agents (OpenClaw, ClaudeCode, DeepAgent, Hermes) avec 7 modèles de base (incluant Opus-4.7, GLM-5.1, GPT-5.4, Kimi-2.5, etc.). Des experts humains ont également été évalués en utilisant une ligne de base « Humain + Outils ».

Résultats Clés

1. Écart de Performance : Les agents actuels restent loin d'un apprentissage de l'espace de travail fiable.

   • Le taux moyen de réussite des grilles pour toutes les configurations est de 47,4 %.
   • La configuration la plus performante (OpenClaw + Opus-4.7) atteint 68,7 %.
   • Les experts humains atteignent 80,7 %, soulignant un écart substantiel entre les agents autonomes et les capacités humaines.

2. Dégradation de la Difficulté : La performance décline de manière constante à mesure que la complexité de la tâche augmente :

   • Tâches Faciles : 57,6 %
   • Tâches Moyennes : 49,2 %
   • Tâches Difficiles : 40,5 %

3. Goulots d'Étranglement des Capacités :

   • La Compréhension de Fichiers Hétérogènes et le Traçage de Lignée sont les principaux goulots d'étranglement, les agents performant significativement moins bien sur ces dimensions par rapport à l'Exploration de l'Espace de Travail.
   • Reconnaissance des Dépendances : Les agents peinent à déduire les dépendances inter-fichiers (les scores F1 Arête sont universellement faibles), identifiant souvent les fichiers pertinents (F1 Nœud) mais échouant à comprendre leurs relations.

4. Efficacité vs Précision :

   • Un grand nombre de tours d'interaction et une consommation élevée de tokens ne garantissent pas une meilleure performance. Certaines configurations (par exemple, DeepAgent + MiniMax-M2.7) souffrent d'« explosions de coûts » (jusqu'à 58,1 tours, 0,61 M de tokens) avec des taux de réussite faibles (~45 %).
   • Les configurations de premier plan (par exemple, OpenClaw + Opus-4.7) démontrent une haute efficacité d'inférence, atteignant >65 % de précision avec <20 tours.

5. Analyse des Erreurs : La majorité des échecs proviennent de Contenu Manquant et d'Erreurs de Raisonnement (agrégation, statistiques ou association inexactes), plutôt que d'erreurs de format ou de processus.

6. Impact du Cadre : Bien que la capacité du modèle de base soit le principal moteur, le cadre d'agent impacte significativement la performance, en particulier pour les modèles plus faibles. Par exemple, DeepAgent + GLM-5.1 montre une stabilité unique à travers les niveaux de difficulté, tandis que Hermes excelle dans les interactions sémantiques à domaine ouvert pour les personas de Responsable Produit.

Signification et Contributions

L'article revendique les contributions suivantes :

1. Benchmark Workspace-Bench : Un benchmark novateur déplaçant l'évaluation des compétences atomiques vers le raisonnement sur des structures d'espace de travail complexes. Il introduit des écosystèmes de fichiers réalistes, à grande échelle et hétérogènes avec des annotations de dépendances explicites, répondant à l'absence d'évaluation « au niveau de l'espace de travail » dans la littérature existante.
2. Cadre d'Évaluation : Un cadre ancré dans l'espace de travail intégrant une accélération parallèle dual et un paradigme d'Agent-Juge, permettant une évaluation fine de plus de 7 000 grilles couvrant l'exactitude finale, le raisonnement intermédiaire et l'efficacité opérationnelle.
3. Insights Empiriques : Une évaluation complète révélant que les agents de pointe peinent considérablement avec les tâches conscientes des dépendances. L'article identifie des goulots d'étranglement spécifiques (compréhension de fichiers hétérogènes, traçage de lignée) et le « Fossé d'Association de Données » entre les paradigmes actuels de traitement de fichiers isolés et les exigences des espaces de travail réels.
4. Cadre Théorique : La proposition de Cinq Stades de l'Apprentissage de l'Espace de Travail (de l'Exécution Insensible aux Données à l'Auto-Évolution Native de l'Espace de Travail). Ce cadre caractérise l'évolution des capacités des agents et identifie des points de transition critiques, tels que la « Singularité d'Orchestration » (où les cadres deviennent plus critiques que les LLM) et la « Singularité de Capacité » (traitement autonome de bout en bout des tâches).

Les auteurs concluent que, bien que les modèles de base aient fait des progrès impressionnants, il existe un goulot d'étranglement fondamental et sous-exploré dans la création d'agents de productivité véritablement fiables capables de naviguer dans les structures relationnelles complexes des espaces de travail numériques réels. Les travaux futurs doivent se concentrer sur la réinvention de la manière dont les cadres d'agents découvrent, représentent et exploitent les dépendances inter-fichiers.