How Benchmarks Mis-Score Computer-Use Agents
Cet article critique la fiabilité des bancs d'essai actuels pour les agents d'utilisation de l'ordinateur en identifiant des failles systémiques dans la construction des tâches, l'observation et la notation qui mènent à des verdicts d'échec erronés, et propose un cadre de diagnostic ainsi que des règles de conception pour améliorer la précision de l'évaluation.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous regardez une compétition de cuisine à enjeux élevés à la télévision. Les juges sont censés goûter les plats et décider du vainqueur. Mais et si les juges utilisaient un test de dégustation défectueux ? Et si la recette qu'ils suivent était écrite avec de l'encre invisible, ou si le four qu'ils utilisent était en réalité un jouet qui ne chauffe pas ? Dans le monde de l'intelligence artificielle, plus précisément des « agents d'utilisation de l'ordinateur » (des bots intelligents capables de cliquer, de taper et de naviguer sur le web comme des humains), nous avons un problème similaire. Ces bots sont testés pour voir s'ils peuvent accomplir de vraies tâches, comme remplir des déclarations d'impôts ou réserver des vols. Cependant, les « feuilles de notation » que nous utilisons pour les évaluer sont souvent défaillantes. Elles peuvent attribuer une note d'échec à un bot qui a en réalité fait un excellent travail, ou elles peuvent ignorer le fait que le bot a échoué parce que le test lui-même était cassé. Ce document est comme une histoire de détective où les auteurs enquêtent sur la raison pour laquelle ces feuilles de notation nous mentent.
Le document, intitulé « How Benchmarks Mis-Score Computer-Use Agents », soutient que la façon dont nous testons actuellement ces bots d'IA est profondément imparfaite. Les auteurs ont découvert que lorsqu'un bot reçoit un score « ÉCHEC », il y a une chance surprenante que le score soit en réalité erroné. Dans leur enquête sur 150 exemples spécifiques où les bots ont été marqués comme ayant échoué, ils ont découvert que 15,3 % de ces verdicts « ÉCHEC » étaient des erreurs.
Voici comment les erreurs se sont produites :
- Le juge était trop exigeant (10,7 %) : Parfois, le bot a fait la bonne chose, mais le vérificateur automatisé était trop rigide. C'était comme un juge qui disqualifierait un chef parce qu'il a utilisé un couteau légèrement différent de celui indiqué sur la fiche de recette, même si la nourriture était parfaite.
- Le test était cassé (4,7 %) : Parfois, le bot n'a pas pu terminer la tâche parce que l'environnement de test était défectueux. C'était comme demander à un chef de faire cuire un gâteau dans un four qui n'est pas alimenté en électricité. Le bot a échoué, mais pas parce qu'il cuisinait mal ; c'est la cuisine qui était en panne.
Les auteurs ont également examiné les bots qui ont réellement échoué. Ils ont découvert que les principales raisons n'étaient généralement pas que le bot avait cliqué sur le mauvais bouton (ce qui revient à une main maladroite). Au lieu de cela, les bots ont principalement échoué parce qu'ils étaient coincés dans une boucle de mauvaise planification ou parce qu'ils ne réalisaient pas que leurs actions ne fonctionnaient pas (comme un chef qui continue de remuer une casserole qui est déjà vide).
Le document suggère que nous ne pouvons pas nous contenter de regarder un seul chiffre, comme un « taux de réussite », pour savoir si une IA est bonne. Ce chiffre cache trop de secrets. Au lieu de cela, nous devons construire de meilleurs tests, plus difficiles à briser, utiliser des juges plus intelligents qui comprennent différentes manières de résoudre un problème, et fournir des enregistrements vidéo complets des tests afin que nous puissions voir exactement où les choses ont mal tourné. L'objectif est d'arrêter de donner aux bots une note d'échec pour des choses qui ne sont pas de leur faute, et de nous aider à comprendre ce qu'ils doivent réellement apprendre pour devenir de véritables assistants utiles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.