MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
Cet article présente MM-ToolSandBox, un cadre et un benchmark unifiés dotés d'un environnement à état avec plus de 500 outils et 258 scénarios vérifiés par l'humain pour évaluer les agents d'appel d'outils visuels, révélant que les modèles actuels éprouvent des difficultés significatives avec la précision visuelle et que les modes de défaillance passent de déficits de planification dans les petits modèles à des erreurs de perception dans les plus grands.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un assistant robotique super intelligent capable de lire les images que vous lui envoyez, d'interagir avec des applications simulées et d'organiser des tâches. Cela ressemble à de la magie, n'est-ce pas ? Eh bien, une équipe d'Apple a construit un immense terrain de jeu technologique de pointe appelé MM-ToolSandBox pour voir si ces robots peuvent réellement gérer la réalité visuelle désordonnée de la vie réelle.
Voici l'histoire : ils n'ont pas seulement demandé aux robots de lire du texte ; ils leur ont lancé un puzzle visuel massif.
Le Terrain de Jeu : Un Jeu Vidéo à État (Stateful)
Considérez MM-ToolSandBox comme un jeu vidéo doté de 511 outils différents (comme un panier d'achat, un lecteur de musique, un calendrier et un gestionnaire de fichiers) répartis dans 16 mondes simulés différents. Mais voici le twist : le jeu est « à état » (stateful). Cela signifie que si vous achetez une banane au tour un, la banane est réellement dans votre panier au tour deux. Le robot doit se souvenir de ce qu'il a fait, suivre l'évolution du monde changeant et gérer des conversations multi-tours où vous pourriez changer d'avis en milieu de phrase.
Encore plus cool, le robot doit regarder les images que vous lui envoyez. Vous pourriez prendre en photo une affiche de concert et dire : « Achète des billets pour ceci ! » ou envoyer une capture d'écran d'un tableur complexe et dire : « Trouve le total. » Le robot doit lire l'image, déterminer quel outil utiliser et réellement faire la chose au sein de cet environnement simulé.
Le Test : 258 Scénarios Complexes
Les chercheurs n'ont pas simplement inventé des tâches au hasard. Ils ont construit une machine qui a généré 258 scénarios vérifiés par des humains (plus 50 cas spéciaux pour les écrans interactifs). Ils n'étaient pas faciles. Ils incluaient :
- Arrivées progressives : Vous envoyez une photo au milieu de la discussion, et le robot doit s'en souvenir plus tard.
- Changements d'objectifs : Vous dites « Réserve un vol », puis cinq minutes plus tard, vous dites « En fait, laisse tomber, allons plutôt à la plage ».
- Corrections d'erreurs : Vous avez accidentellement indiqué la mauvaise date dans une photo, et le robot doit détecter l'erreur.
Ils ont testé 12 des modèles d'IA les plus intelligents au monde, allant de petits modèles open-source aux systèmes « frontières » les plus vastes et les plus coûteux.
La Grande Révélation : Les Robots sont encore Maladroits
Voici le point culminant : Même le meilleur robot du monde a échoué plus de la moitié du temps.
Le modèle le plus performant, Claude 4.5 Opus, n'a réussi que 48,8 % des tâches. Cela signifie qu'il a échoué dans plus de la moitié des scénarios. L'article écarte explicitement l'idée que ces modèles ont « résolu » l'appel d'outils visuel (visual tool calling). Ils sont toujours en difficulté.
Le « Pourquoi » : Un Conte de Deux Échecs
Les chercheurs ont creusé en profondeur pour découvrir pourquoi les robots ont échoué, et ils ont trouvé un schéma fascinant qui change selon la taille du cerveau du robot.
Les Petits Robots (Le problème du « Que dois-je faire ? ») :
Les modèles plus petits (comme ceux de 4 milliards de paramètres) ont principalement échoué parce qu'ils ne pouvaient pas planifier. Ils voyaient l'image, comprenaient ce que l'utilisateur voulait, mais se perdaient en essayant de comprendre quels boutons presser ou quels outils utiliser. Ils étaient comme un enfant qui sait qu'il doit faire un gâteau, mais qui ne sait pas comment allumer le four.Les Grands Robots (Le problème du « Que est-ce que je vois ? ») :
Les modèles géants (comme ceux de 397 milliards de paramètres) étaient excellents pour la planification. Ils savaient exactement quels outils utiliser et dans quel ordre. Mais ils ont échoué parce qu'ils ne pouvaient pas lire l'image correctement.- La statistique : 53 % des échecs des meilleurs modèles étaient des « erreurs factuelles ».
- La métaphore : Imaginez un chef brillant qui connaît la recette exacte d'un gâteau. Il prend les ingrédients, les mélange parfaitement et les cuit. Mais lorsqu'il regarde la photo d'une tablette de chocolat que vous avez envoyée, il lit mal l'étiquette et prend un bâton de beurre à la place. Il a tout bien fait sauf lire l'indice visuel.
Cela suggère un effet de « croisement » : à mesure que les modèles deviennent plus grands, ils cessent d'échouer sur la planification pour commencer à échouer sur la perception.
Le Cauchemar de l'« UI »
Les chercheurs ont également testé un mode où le robot devait dessiner un écran cliquable pour vous permettre d'interagir avec lui (comme une mini-application). C'était encore plus difficile. Le meilleur modèle a vu son taux de réussite chuter à seulement 26 % dans ce mode. Il s'avère que faire en sorte qu'un robot puisse non seulement lire un écran, mais aussi dessiner un nouvel écran fonctionnel à la volée, est un défi colossal qu'ils n'ont pas encore relevé.
L'Essentiel
L'article suggère que, bien que nous devenions meilleurs pour apprendre aux robots à penser et à planifier, nous nous heurtons à un mur avec la précision visuelle. Les robots sont assez intelligents pour savoir quoi faire, mais ils sont encore trop maladroits pour lire les petits caractères dans les photos que vous envoyez.
Les auteurs concluent que l'appel d'outils visuel est loin d'être résolu. Même les modèles les plus puissants d'aujourd'hui passent à côté, et pour y remédier, il faut un nouveau type de recherche axé sur le fait de rendre les robots capables de voir plus clairement, et pas seulement de réfléchir plus intensément. Le cadre de travail et les résultats des tests sont désormais publics, afin que d'autres scientifiques puissent essayer d'aider les robots à mieux lire le monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.