AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints

Imaginez un monde où nous construisons des assistants numériques — de minuscules robots invisibles alimentés par des cerveaux géants — capables de réserver vos vols, d'écrire votre code ou de vous trouver un remplaçant pour une basket épuisée en stock. On les appelle des « agents autonomes ». Pendant longtemps, les scientifiques testant ces robots ont été comme des parents corrigeant un devoir : ils ne se souciaient que de savoir si la réponse était correcte. « Est-ce que le robot a trouvé la chaussure ? » Oui ? Super, donnez-lui un A ! Mais dans le monde réel, une réponse parfaite qui met dix minutes à arriver ou qui coûte toute votre allocation pour être générée est inutile. C'est comme commander une pizza qui arrive le lendemain avec une facture d'un million de dollars ; techniquement, vous avez reçu la pizza, mais vous ne pouvez pas vraiment la manger.

C'est ici qu'intervient une nouvelle idée appelée « profilage de ressources ». Voyez cela comme un mécanicien qui vérifie une voiture de course. Il ne demande pas seulement : « La voiture a-t-elle franchi la ligne d'arrivée ? » Il vérifie aussi : Combien d'essence a-t-elle brûlée ? Le moteur a-t-il surchauffé ? Le pilote roulait-il trop vite ? Dans le monde de l'informatique, nous avons des outils pour mesurer la quantité de « carburant » (comme la mémoire informatique, le temps et l'argent) qu'utilise un programme. Mais jusqu'à présent, nous n'avions pas de moyen de mesurer ces choses pendant que nous vérifions si le robot a réellement accompli sa tâche correctement. Ce document présente une nouvelle façon de tester ces assistants numériques, en les traitant comme des voitures de course qui doivent terminer la course et rester dans leurs limites de carburant et de temps pour être considérées comme des gagnantes.

Les chercheurs derrière cette étude, Meher Bhaskar Madiraju et Meher Sai Preetam Madiraju, ont construit un nouveau terrain d'essai appelé AGENTSLABENCH. Vous pouvez le voir comme un immense parcours d'obstacles de haute technologie conçu spécifiquement pour voir si ces agents d'IA peuvent survivre dans le monde réel, et non pas seulement dans un fantasme parfait et illimité.

Habituellement, quand nous testons l'IA, nous la laissons faire ce qu'elle veut avec un temps et de l'argent illimités. C'est comme laisser un élève passer un examen avec un dictionnaire, une calculatrice et trois heures, alors que le véritable examen n'autorise qu'un stylo et dix minutes. Les auteurs soutiennent que c'est une mauvaise façon de préparer la réalité. Ils ont donc mis en place 16 défis différents, allant de « trouvez-moi un remplaçant pour ce t-shirt en rupture de stock » à « planifiez un voyage avec un budget strict ». Mais voici le rebondissement : chaque défi possède un règlement strict. L'agent est informé : « Vous avez 180 secondes, vous ne pouvez utiliser que cette quantité de mémoire informatique, et vous ne pouvez pas dépenser plus de quelques centimes. » Si l'agent essaie d'en utiliser plus, le test s'arrête et il est marqué comme un échec.

Ils ont mis deux types de robots à l'épreuve. D'abord, ils ont testé des agents à « usage général » — ce sont les penseurs polyvalents et intelligents qui tentent de résoudre n'importe quel problème en utilisant la logique et le raisonnement. Ensuite, ils ont testé des agents « spécialisés » — des robots construits spécifiquement pour une tâche, comme un expert en chaussures ou un organisateur de voyages, qui possèdent des raccourcis et des règles intégrés pour cette tâche spécifique.

Les résultats ont été un choc. Les robots à usage général — bien qu'ils soient très bons pour répondre à des questions simples — se sont complètement effondrés face aux tâches du monde réel. Lorsqu'on leur a demandé d'acheter un t-shirt ou de planifier un voyage avec des limites strictes de temps et d'argent, ils ont échoué 100 % du temps. Soit ils ont pris trop de temps, soit ils ont dépensé trop d'argent, soit ils se sont simplement emmêlés les pinceaux. C'était comme si un brillant philosophe essayait de réparer un robinet qui fuit et finissait par inonder la maison.

D'un autre côté, les agents spécialisés ont été les stars du spectacle. L'« Agent de Vente au Détail » a réussi à trouver des chaussures de remplacement 83,3 % du temps, l'« Agent de Voyage » a planifié des voyages 83,3 % du temps, et l'« Agent de Shopping Web » a réussi 100 % du temps. Crucialement, ils ont fait tout cela en respectant strictement leurs budgets de temps et d'argent. Ils n'ont pas seulement obtenu la bonne réponse ; ils l'ont obtenue de la manière dont une véritable entreprise en aurait besoin : rapidement, à moindre coût et de manière fiable.

Le document introduit un nouveau score appelé EASR (Taux de Succès Ajusté à l'Efficacité). Voyez cela comme une « étoile dorée » que vous n'obtenez que si vous terminez la course et que vous n'êtes pas tombé en panne d'essence. Si un agent obtient la bonne réponse mais prend trop de temps ou coûte trop cher, son score EASR tombe à zéro. Ce score a révélé que le « vainqueur » des anciens tests (les robots généraux) serait en fait un désastre dans un magasin ou un bureau réel, tandis que les robots spécialisés sont prêts à travailler.

Les auteurs se sont également assurés que ce test soit équitable et reproductible. Ils ont verrouillé les questions du test dans un coffre numérique pour que personne ne puisse contourner les règles, et ils ont répété les tests plusieurs fois pour s'assurer que les résultats n'étaient pas dus à la chance. Ils ont découvert que, bien que les agents spécialisés soient excellents dans leurs tâches spécifiques, ils font tout de même des erreurs — comme l'agent de voyage qui se retrouve bloqué par des règles budgétaires complexes ou le générateur de code qui invente parfois de fausses instructions. Mais en mesurant précisément où et pourquoi ils échouent (comme l'épuisement du temps ou de la mémoire), les chercheurs peuvent aider les ingénieurs à corriger ces problèmes spécifiques.

En résumé, ce document suggère que nous devons cesser de traiter les agents d'IA comme s'ils étaient dans un jeu vidéo avec des vies et de l'argent infinis. Pour qu'ils soient utiles dans le monde réel, nous devons les tester comme nous testons les voitures ou les avions : en vérifiant non seulement s'ils fonctionnent, mais s'ils fonctionnent de manière efficace, sûre et dans les limites du monde réel. L'étude montre que si les cerveaux « intelligents » généraux sont en difficulté, les robots construits avec des règles et des raccourcis spécifiques sont ceux qui sont réellement prêts à accomplir le travail.