One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

Dans le monde en évolution rapide de l'intelligence artificielle, une nouvelle génération de programmes informatiques connus sous le nom d'« agents » a émergé. Contrairement aux chatbots précédents qui se contentaient de répondre à des questions ou d'écrire du texte, ces agents sont conçus pour passer à l'action. Ils peuvent naviguer sur le Web, exécuter du code logiciel ou solliciter des outils numériques pour accomplir des tâches, tout comme le ferait un employé humain. Pendant des années, les chercheurs ont testé ces agents en leur demandant de résoudre des problèmes ayant des réponses claires et faciles à vérifier, comme la correction d'une ligne de code défectueuse ou la recherche d'un fait spécifique sur un site Web. Le succès dans ces domaines était mesuré par la capacité de l'agent à produire un résultat final correct ou une commande valide. Cependant, le monde réel des affaires est rarement aussi simple. Dans un bureau d'entreprise, le travail implique souvent une longue chaîne d'événements où le système informatique doit être mis à jour correctement, les politiques doivent être respectées et l'état d'une base de données doit changer d'une manière spécifique. Si un agent commet une erreur au milieu d'un processus, ou s'il modifie le mauvais enregistrement, les conséquences peuvent être réelles et coûteuses. La question cruciale pour l'avenir de cette technologie n'est pas seulement de savoir si un agent peut trouver un moyen de réussir une fois, mais s'il peut le faire de manière fiable, à chaque fois, sans causer de dommages involontaires.

Une équipe de chercheurs de l'Université de Pittsburgh, de l'Université Northwestern et de l'Université de Californie à Irvine, ainsi que de Microsoft, a construit un nouveau terrain d'essai pour répondre à cette question. Ils ont créé un environnement numérique appelé ThinkingBox, qui agit comme un bac à sable isolé et sécurisé où ces agents d'IA peuvent interagir avec des utilisateurs simulés et des outils commerciaux complexes. À l'intérieur de ce bac à sable, les agents reçoivent des tâches réalistes, telles que le traitement d'un remboursement pour une commande en ligne, la modification d'une réservation d'hôtel, la mise à jour d'un dossier d'assurance ou la gestion de la demande de support informatique d'un employé. L'environnement est conçu pour imiter la réalité désordonnée du travail de bureau, où l'information est souvent incomplète, les règles sont strictes et chaque action laisse une trace permanente sur un enregistrement numérique. Les chercheurs n'ont pas seulement demandé aux agents de parler ; ils ont exigé qu'ils modifient réellement l'état du système. Pour garantir que les tests soient équitables et reproductibles, le bac à sable se réinitialise complètement après chaque tentative, garantissant qu'aucun essai ne partage les mêmes données ou l'même historique caché.

Les chercheurs ont ensuite peuplé cet environnement de 507 tâches distinctes réparties dans cinq secteurs différents : la vente au détail, le voyage et l'hôtellerie, l'assurance automobile, la banque et le conseil. Ils ont invité un large éventail des modèles d'intelligence artificielle les plus avancés disponibles, incluant à la fois des systèmes propriétaires de grandes entreprises technologiques et des modèles open-source, pour tenter de réaliser ces tâches. Chaque modèle a eu vingt chances de résoudre chaque problème. L'évaluation fut rigoureuse. Un agent ne réussissait pas simplement parce qu'il donnait une réponse polie ou effectuait un appel d'outil qui semblait correct en surface. Au lieu de cela, le système vérifiait le résultat final par rapport au résultat attendu. Le remboursement est-il réellement apparu dans la base de données ? La chambre d'hôtel a-t-elle été correctement marquée comme modifiée ? Le dossier d'assurance a-t-il été mis à jour sans altérer accidentellement la police d'un autre client ? Le système vérifiait également les « effets collatéraux », c'est-à-dire qu'il cherchait à voir si l'agent avait accidentellement modifié quelque chose qu'il n'était pas censé toucher, une erreur courante et dangereuse dans les logiciels du monde réel.

Les résultats ont révélé un écart important entre ce que les agents pouvaient faire occasionnellement et ce qu'ils pouvaient faire de manière dépendante. Le modèle le plus performant a réussi à résoudre la tâche correctement dès sa première tentative environ 65 % du temps. Bien que cela puisse paraître impressionnant, le tableau change lorsque les chercheurs examinent la fiabilité. Lorsqu'ils ont vérifié la fréquence à laquelle un modèle pouvait résoudre la tâche avec succès en vingt tentatives, le chiffre chutait de manière spectaculaire pour atteindre seulement 25 %. Cela signifie que, bien qu'un agent intelligent puisse souvent trouver un chemin vers le succès s'il dispose de suffisamment d'essais, il ne pouvait pas répéter ce succès de manière constante sans commettre d'erreurs. Les chercheurs ont constaté que de nombreux échecs n'étaient pas dus à l'incapacité des agents à comprendre la requête ou à l'échec de la communication avec l'utilisateur. Au contraire, le problème le plus courant était que les agents ne parvenaient pas à se rétablir lorsqu'un outil renvoyait un message d'erreur, ou qu'ils effectuaient la bonne action sur la mauvaise donnée. Par exemple, un agent pourrait appeler avec succès un outil pour mettre à jour un enregistrement, mais appliquer la modification au mauvais client, ou il pourrait interrompre le processus avant de compléter une étape nécessaire, laissant le système dans un état défectueux.

L'étude a également souligné que différents modèles éprouvaient des difficultés avec différents types de travail. Certains modèles étaient assez bons pour gérer les commandes de détail mais performaient mal lorsqu'ils traitaient des polices d'assurance complexes ou des réglementations bancaires. Cela suggère qu'une haute performance dans un domaine ne garantit pas qu'un agent sera fiable dans un autre. Les chercheurs ont observé que même lorsqu'un agent produisait un message final parfait à l'utilisateur, la base de données sous-jacente restait souvent inchangée ou était corrompue. Cette conclusion remet en question la manière actuelle dont de nombreux systèmes sont évalués, qui se concentrent souvent sur la qualité de la conversation ou la validité de l'appel d'outil plutôt que sur le résultat réel. L'article conclut que pour que l'intelligence artificielle puisse être confiée à des travaux commerciaux à enjeux importants, elle doit aller au-delà de la simple découverte d'un chemin réussi une fois et apprendre à exécuter ce chemin avec une précision constante et répétable. Le bac à sable ThinkingBox et son benchmark sont désormais accessibles au public, fournissant une nouvelle norme pour mesurer si ces travailleurs numériques sont véritablement prêts pour le monde réel.