MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
Dit artikel introduceert MM-ToolSandBox, een verenigd framework en benchmark met een stateful omgeving met meer dan 500 tools en 258 door mensen geverifieerde scenario's om visuele tool-calling agenten te evalueren, wat onthult dat huidige modellen aanzienlijk worstelen met visuele precisie en dat de foutmodi verschuiven van planningsgebreken bij kleinere modellen naar perceptiefouten bij grotere modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een superintelligente robotassistent voor die de afbeeldingen die je stuurt kan lezen, gesimuleerde apps kan gebruiken en taken kan organiseren. Klinkt als magie, toch? Wel, een team van Apple heeft een gigantische, high-tech speeltuin gebouwd genaamd MM-ToolSandBox om te zien of deze robots daadwerkelijk de rommelige, visuele realiteit van het echte leven aankunnen.
Hier is het verhaal: ze vroegen de robots niet alleen om tekst te lezen; ze wierpen een enorme visuele puzzel op voor hen.
De Speeltuin: Een Stateful Videogame
Denk aan MM-ToolSandBox als een videogame met 511 verschillende tools (zoals een winkelwagentje, een muziekspeler, een kalender en een bestandsbeheerder) verspreid over 16 verschillende gesimuleerde werelden. Maar hier komt de twist: de game is "stateful". Dat betekent dat als je in ronde één een banaan koopt, de banaan in ronde twee daadwerkelijk in je wagentje zit. De robot moet onthouden wat hij heeft gedaan, de veranderende wereld bijhouden en omgaan met multi-turn gesprekken waarbij je halverwege een zin van gedachten kunt veranderen.
Nog cooler: de robot moet naar afbeeldingen kijken die je naar hem stuurt. Je maakt misschien een foto van een concertposter en zegt: "Koop kaartjes voor dit!" of stuurt een screenshot van een rommelig spreadsheet en zegt: "Zoek het totaalbedrag." De robot moet de foto lezen, uitzoeken welke tool hij moet gebruiken en het vervolgens daadwerkelijk doen binnen deze gesimuleerde omgeving.
De Test: 258 Tricky Scenario's
De onderzoekers hebben niet zomaar willekeurige taken bedacht. Ze bouwten een machine die 258 door mensen geverifieerde scenario's genereerde (plus 50 speciale scenario's voor interactieve schermen). Deze waren niet makkelijk. Ze bevatten:
- Progressieve aankomsten: Je stuurt een foto halverwege de chat, en de robot moet die later nog onthouden.
- Doelwijzigingen: Je zegt: "Boek een vlucht," en vijf minuten later zeg je: "Eigenlijk, laat maar, laten we naar het strand gaan in plaats."
- Foutcorrecties: Je geeft per ongeluk een verkeerde datum in een foto aan, en de robot moet de fout oppikken.
Ze testten 12 van de slimste AI-modellen ter wereld, variërend van kleine open-source modellen tot de grootste, duurste "frontier" systemen.
De Grote Onthulling: De Robots Zijn Nog Steeds Onhandig
Hier is de klap op de vuurpijl: Zelfs de beste robot ter wereld faalde meer dan de helft van de tijd.
Het best presterende model, Claude 4.5 Opus, voldeed slechts in 48,8% van de taken. Dat betekent dat hij in meer dan de helft van de scenario's faalde. Het artikel sluit expliciet de mogelijkheid uit dat deze modellen "visual tool calling" hebben opgelost. Ze worstelen nog steeds.
De "Waarom": Een Verhaal van Twee Mislukkingen
De onderzoekers groeven diep om te ontdekken waarom de robots faalden, en ze vonden een fascinerend patroon dat verandert afhankelijk van hoe groot het brein van de robot is.
De Kleine Robots (Het "Wat moet ik doen?" Probleem):
De kleinere modellen (zoals de modellen met 4 miljard parameters) faalden voornamelijk omdat ze niet konden plannen. Ze zagen de foto, wisten wat de gebruiker wilde, maar raakten de weg kwijt bij het uitzoeken welke knoppen ze moesten indrukken of welke tools ze moesten gebruiken. Ze waren als een kind dat weet dat het een taart moet bakken, maar niet weet hoe je de oven aanzet.De Grote Robots (Het "Wat zie ik?" Probleem):
De gigantische modellen (zo zoals de modellen met 397 miljard parameters) waren erg goed in plannen. Ze wisten precies welke tools ze moesten gebruiken en in welke volgorde. Maar ze faalden omdat ze de foto niet correct konden lezen.
- De Statistiek: 53% van de fouten bij de beste modellen waren "feitelijke fouten".
- De Metafoor: Stel je een briljante chef voor die precies het recept voor een taart kent. Ze pakken de ingrediënten, mengen ze perfect en bakken de taart. Maar wanneer ze naar de foto van de chocoladereep keken die je stuurde, lazen ze het etiket verkeerd en pakten ze een staaf boter in plaats van chocolade. Ze deden alles goed, behalve het lezen van de visuele aanwijzing.
Dit suggereert een "crossover"-effect: naarms de modellen groter worden, stoppen ze met falen bij het plannen en beginnen ze te falen bij de perceptie.
De "UI" Nachtmerrie
De onderzoekers probeerden ook een modus waarbij de robot een klikbaar scherm voor je moet tekenen (zoals een mini-app). Dit was zelfs nog moeilijker. Het beste model zag het succespercentage dalen naar slechts 26% in deze modus. Het blijkt dat het maken van een robot die niet alleen een scherm kan lezen, maar ook ter plekke een nieuw, werkend scherm kan tekenen, een enorme uitdaging is die ze nog niet hebben gekraakt.
De Kern van het Verhaal
Het artikel suggereert dat hoewel we steeds beter worden in het leren van robots om te denken en te plannen, we tegen een muur aanlopen wat betre het gaat om visuele precisie. De robots zijn slim genoeg om te weten wat ze moeten doen, maar ze zijn nog steeds te onhandig om de kleine lettertjes in de foto's die je stuurt te lezen.
De auteurs concluderen dat visuele tool calling ver van af is. Zelfs de krachtigste modellen van vandaag missen de plank, en het oplossen hiervan vereist een nieuwe vorm van onderzoek die gericht is op het laten scherper zien van robots, in plaats van alleen maar harder laten denken. Het framework en de testresultaten zijn nu openbaar, zodat andere wetenschappers kunnen helpen om de robots de wereld iets beter te leren lezen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.