OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
Ce document présente OmegaUse-OfficeVal, un nouveau benchmark comprenant 100 tâches de suite bureautique à long horizon avec un ancrage économique (temps de travail humain et prix de la tâche) pour évaluer les agents LLM, révélant que bien que les modèles actuels soient nettement moins chers et plus rapides que les humains, ils ne parviennent toujours pas à atteindre une qualité de réalisation de tâche de niveau humain.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où votre ordinateur ne se contente pas d'attendre que vous cliquiez sur des boutons, mais fait réellement le travail pour vous. C'est le rêve des « agents IA » : des programmes intelligents capables de lire vos instructions, d'ouvrir vos fichiers et de terminer une tâche, un peu comme un stagiaire numérique. Pendant un certain temps, ces agents ont été très doués pour des tours courts et simples, comme écrire un seul e-mail ou résumer un article court. Mais le véritable test de leur puissance est de savoir s'ils peuvent gérer une journée entière de travail de bureau : prendre un rapport désordonné, le reformater, ajouter des graphiques et l'enregistrer parfaitement, le tout sans se perdre ou corrompre le fichier. La grande question que se posent les chercheurs est la suivante : ces travailleurs numériques peuvent-ils réellement faire le travail, et cela vaut-il l'investissement par rapport à l'embauche d'un véritable humain ?
Entrez dans OmegaUse-OfficeVal, un nouveau « bulletin de notes » conçu par des chercheurs de Baidu pour tester précisément cela. Ils n'ont pas seulement inventé des tâches fictives et faciles ; ils ont construit un benchmark utilisant 100 défis de bureau du monde réel, comme réparer une feuille de calcul défectueuse ou transformer un brouillon brut en une présentation soignée. Ce qui rend ce test spécial, c'est qu'ils ont attaché un « prix » à chaque tâche. Ils ont mesuré exactement le temps qu'un humain a mis pour le faire et ont estimé combien il en coûterait pour payer quelqu'un pour le faire. Ensuite, ils ont laissé plusieurs des modèles d'IA les plus intelligents au monde tenter de résoudre ces mêmes énigmes. Le résultat ? Les agents IA sont incroyablement rapides et peu coûteux — finissant souvent en quelques minutes pour des centimes — mais ils commettent encore trop d'erreurs pour être dignes de confiance pour le produit final. Bien qu'ils s'améliorent, ils n'ont pas encore atteint le niveau d'un travailleur junior humain fiable.
La configuration : Un parcours d'obstacles numérique
Pour comprendre ce que les chercheurs ont fait, imaginez le bureau comme un immense atelier désordonné. Par le passé, tester l'IA revenait à lui demander d'empiler quelques blocs. S'il en faisait tomber un, il échouait. Mais le vrai travail de bureau ressemble davantage à la préparation d'un gâteau complexe à partir de zéro : vous devez rassembler les ingrédients (les fichiers), suivre une recette (les instructions), et si vous brûlez le glaçage, tout le gâteau est gâché.
Les chercheurs ont créé un ensemble de données appelé OmegaUse-OfficeVal contenant 100 de ces tâches de « préparation de gâteaux ». Il ne s'agissait pas de simples demandes de type « écris un poème ». C'étaient des tâches longues et multi-étapes impliquant des documents Word, des diapositives PowerPoint et des feuilles de calcul Excel. Certaines tâches ont nécessité en moyenne 2,32 heures à un humain pour être achevées. C'est un long moment pour un ordinateur pour garder sa concentration !
Ce qui rend ce benchmark unique, c'est son « ancrage économique ». Les chercheurs ne se sont pas contentés de demander : « L'IA a-t-elle terminé la tâche ? ». Ils ont demandé : « Quelle valeur a-t-elle créée ? ». Pour ce faire, ils ont suivi deux éléments pour chaque tâche :
- Temps de travail humain : Le temps qu'une personne réelle a mis pour le faire.
- Proxy de prix de la tâche : Une estimation approximative de ce que cette tâche coûterait si vous engagiez un freelance (allant d'environ 3,65 par tâche).
Cela leur a permis de comparer l'IA non seulement sur la vitesse, mais aussi sur la question de savoir si elle permettait réellement d'économiser de l'argent ou si elle ne faisait que des erreurs peu coûteuses.
Le test : L'IA contre le stagiaire humain
Les chercheurs ont opposé plusieurs modèles d'IA de haut niveau à une « base humaine ». Cette base n'était pas un PDG ou un génie ; c'était un travailleur junior qualifié ou un stagiaire. Les humains ont reçu les mêmes instructions et les mêmes fichiers que l'IA et ont dû effectuer le travail.
Pour noter les résultats, les chercheurs n'ont pas simplement demandé à un humain de regarder le fichier final et de dire : « Ça a l'air bon ! ». C'est trop lent et subjectif. Au lieu de cela, ils ont écrit des vérificateurs basés sur le code. Imaginez un inspecteur robotique qui vérifie automatiquement le fichier final. Il ouvre le document, vérifie si la page de garde est présente, compte si les graphiques ont la bonne taille et s'assure qu'auc'un texte n'a été accidentellement supprimé. Si le fichier est corrompu ou s'il manque une partie clé, le robot lui attribue un zéro. Cela a rendu le test équitable, rapide et reproductible.
Les résultats : Rapides et peu coûteux, mais pas parfaits
Une fois la poussière retombée, les résultats ont raconté une histoire claire.
La base humaine :
Les travailleurs humains ont obtenu une moyenne de 27,79 sur un score parfait possible. Ils étaient fiables. Ils corrompaient rarement les fichiers et réussissaient la plupart des détails. Cependant, ils demandaient du temps et de l'argent. En moyenne, une tâche humaine coûtait environ 6,86 $ et prenait 2,32 heures.
Les agents IA :
Les modèles d'IA racontaient une autre histoire. Ils étaient d'une rapidité fulgurante et incroyablement peu coûteux.
- Vitesse : L'IA la plus rapide (DeepSeek-V4-Pro) a terminé une tâche en seulement 0,184 heure (environ 11 minutes).
- Coût : L'IA la moins chère (Qwen3.7-Plus) n'a coûté que 0,2152 $ par tâche. C'est moins cher qu'une tasse de café !
Mais voici le hic : ils n'étaient pas très bons dans le travail.
Le meilleur modèle d'IA (GLM-5.2) n'a obtenu que 17,91. C'est nettement inférieur au score humain de 27,79. Bien que l'IA soit plus rapide et moins chère, elle commettait plus d'erreurs. Elle oubliait souvent d'ajouter une table des matières, déréglait la mise en forme ou créait un fichier impossible à ouvrir.
Les chercheurs ont constaté que l'IA éprouvait le plus de difficultés avec les tâches les plus dures et les plus longues. Lorsqu'une tâche nécessitait à un humain de travailler pendant longtemps (plus de 2 heures), les performances de l'IA chutaient encore davantage. Il semble que si l'IA est excellente pour les tâches rapides et simples, elle se perd lorsque la planification à « long horizon » devient complexe.
Le verdict : Pas encore prête pour le grand public (pour l'instant)
L'étude suggère que nous sommes dans une « vallée » du travail de bureau par l'IA. La technologie est indéniablement utile car elle est si peu coûteuse et rapide. Si vous avez besoin d'un premier jet ou d'un résumé rapide, l'IA est un outil fantastique. Mais si vous avez besoin d'un document professionnel et poli prêt à être envoyé à un client, l'IA n'est pas encore tout à fait là.
Les auteurs ont explicitement écarté l'idée que l'IA a déjà résolu le travail de bureau. Ils ont montré que bien que l'IA soit « substantiellement moins chère et plus rapide », elle « n'a pas encore atteint le niveau de qualité de livraison humaine ». L'écart entre un travailleur humain et un agent IA reste important lorsqu'il s'agit de la qualité finale du produit.
Cependant, l'article est optimiste quant à l'avenir. En créant ce test rigoureux avec des données économiques réelles, les chercheurs ont construit une feuille de route. Ils savent exactement où l'IA échoue (tâches longues, mise en forme complexe) et peuvent désormais travailler pour corriger ces problèmes spécifiques. Pour l'instant, la meilleure stratégie semble être un partenariat : laissez l'IA faire le gros du travail et les premiers jets, mais gardez un humain dans la boucle pour vérifier le produit final et corriger les erreurs. Le rêve du « vibe working » — où l'IA gère simplement l'ensemble du travail — est encore un travail en cours, mais le voyage a officiellement commencé.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.