EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions
Ce document présente EnterpriseClawBench, un benchmark dérivé de sessions d'agents d'entreprise réelles et propriétaires qui évalue 852 tâches reproductibles pour démontrer que les modèles actuels n'atteignent qu'un succès limité (0,663) et que les évaluations futures doivent adopter un cadre multidimensionnel rapportant les combinaisons harnais-modèle, la livraison d'artefacts, la qualité visuelle, le coût, le temps d'exécution et le comportement de transfert de compétences, plutôt que de s'appuyer sur un score unique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un nouvel employé très intelligent, capable de lire des fichiers, d'utiliser des outils et de rédiger des rapports. Vous voulez savoir s'il est réellement compétent dans son travail.
La plupart des tests précédents pour les « employés » IA étaient comme donner un contrôle surprise dans une salle de classe calme. On leur demandait de répondre à des questions ou d'écrire du code de manière isolée. Mais le vrai travail de bureau n'est pas un quiz silencieux ; c'est un environnement chaotique et bruyant où il faut lire des e-mails désordonnés, ouvrir des pièces jointes spécifiques, réparer des liens brisés et livrer un produit fini (comme un tableur ou une présentation) avant la fin de la journée.
Ce document présente EnterpriseClawBench, une nouvelle façon de tester les agents d'IA basés sur de réelles sessions de travail provenant d'une entreprise, plutôt que sur des tests d'entraînement fictifs.
Voici la décomposition de ce qu'ils ont fait et trouvé, en utilisant des analogies simples :
1. L'« usine de recyclage » pour le travail réel
Les chercheurs sont partis d'une archive massive de milliers de sessions de travail réelles provenant de leur propre entreprise. Ces sessions étaient désordonnées : elles contenaient des discussions privées, des chemins de fichiers erronés et des instructions vagues.
Considérez cette archive comme un tas de minerai brut et non raffiné. Le document décrit un « pipeline de construction » (une usine de recyclage) qui nettoie ce minerai :
- Le Filtre : Ils ont éliminé les tâches trop courtes, celles avec des fichiers manquants ou celles dépendant de liens brisés.
- Le Traducteur : Ils ont pris des conversations multi-tours désordonnées et les ont réécrites en instructions claires à un seul tour (comme transformer une chaîne d'e-mails confuse en une liste de « choses à faire » claire).
- Le Contrôle de Sécurité : Ils se sont assurés que chaque tâche pouvait être exécutée de nouveau et de manière répétable sans avoir besoin de mots de passe secrets de l'entreprise.
À partir de 5 291 tentatives brutes, ils ont abouti à 852 tâches de haute qualité et reproductibles. Ils ont également créé une version « Lite » de 120 tâches, vérifiées manuellement par des humains pour garantir une qualité parfaite.
2. Le test du « Conducteur et de la Voiture »
Une découverte majeure de ce document est que vous ne pouvez pas simplement tester le modèle d'IA (le « moteur ») dans le vide. Vous devez tester l'IA + le Framework Logiciel (la « voiture ») ensemble.
- L'Analogie : Imaginez tester un moteur de Ferrari. Si vous le mettez dans un camion rouillé et délabré, il ne performera pas bien. Si vous le mettez dans une voiture de sport élégante, il vole.
- Le Résultat : Le document a testé 32 combinaisons différentes de « Moteurs » (comme GPT-5.5, Sonnet 4.6) et de « Voitures » (frameworks logiciels comme Claude Code, OpenClaw, Hermes).
- La Surprise : Certains moteurs puissants ont très mal performé lorsqu'ils étaient associés au mauvais framework. Par exemple, un modèle de haut niveau a vu son score chuter considérablement lorsqu'il était utilisé avec le framework « Hermes », car le framework bloquait le modèle de certaines actions nécessaires. Cela prouve que l'enveloppe logicielle compte tout autant que le cerveau de l'IA.
3. Le « Bulletin Scolaire » est plus qu'une seule note
À l'école, on reçoit une note finale. Dans ce benchmark, les chercheurs affirment que cela ne suffit pas pour le travail réel. Ils évaluent les agents sur un bulletin scolaire multidimensionnel :
- Ont-ils terminé le travail ? (Livraison de l'artefact)
- L'ont-ils fait rapidement ? (Temps d'exécution)
- Cela a-t-il coûté trop cher ? (Coût)
- Le fichier est-il réellement utilisable ? (Qualité visuelle)
- Ont-ils compris le contexte ? (Qualité sémantique)
Le Réalité Check : Même la meilleure combinaison (Codex avec GPT-5.5) n'a obtenu que 66,3 %. Cela signifie que même nos agents d'IA les plus intelligents ont encore du mal à gérer parfaitement les tâches de bureau réelles. Ils omettent souvent des détails, échouent à trouver le bon fichier ou produisent un rapport qui semble correct mais contient de mauvais chiffres.
4. L'expérience de « Transfert de Compétences »
Les chercheurs voulaient voir si une IA pouvait « apprendre » une compétence d'une tâche et l'appliquer à une autre tâche similaire.
- L'Expérience : Ils ont pris une IA qui s'était entraînée à créer des « Pages Web Frontend » et lui ont donné une nouvelle tâche de page web qu'elle n'avait jamais vue auparavant.
- Le « Professeur » vs L'« Élève » : Ils ont découvert que la qualité de la « compétence » dépendait entièrement de qui l'enseignait.
- Si une IA forte (comme GPT-5.5) distillait la compétence, l'IA élève s'améliorait.
- Si une IA plus faible tentait d'enseigner la compétence, l'IA élève devenait en fait moins bonne.
- La Leçon : On ne peut pas supposer qu'une IA a « appris » une compétence. La qualité de l'enseignement compte, et parfois, un mauvais professeur gâche un bon élève.
5. Le problème du « Humain vs Robot » pour le juge
Pour noter ces tâches, ils ont utilisé des juges d'IA (des robots notant des robots).
- Tâches de Texte : Les juges d'IA étaient plutôt bons pour noter les rapports textuels, correspondant de près aux juges humains.
- Tâches Visuelles : Lorsqu'il s'agissait de noter des feuilles de calcul, des diapositives ou des images, les juges d'IA étaient très peu fiables. Ils accordaient souvent des scores élevés à des résultats désordonnés que les humains rejetteraient.
- La Conclusion : Nous sommes bons pour tester si une IA peut écrire une phrase, mais nous sommes encore mauvais pour tester si une IA peut créer un document commercial au rendu professionnel.
Résumé
EnterpriseClawBench est un rappel à la réalité pour l'industrie de l'IA. Il affirme que :
- Arrêtez de tester l'IA dans des environnements propres et factices ; testez-les dans des archives réelles et désordonnées.
- Le framework logiciel que vous utilisez est tout aussi important que le modèle d'IA lui-même.
- Les agents d'IA actuels ne sont pas encore prêts à remplacer totalement les travailleurs humains dans des tâches de bureau complexes ; ils font encore trop d'erreurs pour être dignes de confiance pour le produit final.
- Nous avons besoin de meilleures façons de noter les résultats visuels, pas seulement le texte.
Le document conclut que bien que l'IA s'améliore, l'écart entre « discuter avec une IA » et « gérer de manière fiable un département d'entreprise » est encore important.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.