MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
Questo articolo introduce MM-ToolSandBox, un framework e un benchmark unificati caratterizzati da un ambiente stateful con oltre 500 strumenti e 258 scenari verificati da esseri umani per valutare gli agenti di visual tool-calling, rivelando che gli attuali modelli faticano significativamente con la precisione visiva e che le modalità di errore passano da deficit di pianificazione nei modelli più piccoli a errori di percezione in quelli più grandi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere un assistente robotico super intelligente capace di leggere le immagini che gli invii, interagire con app simulate e organizzare compiti. Sembra magia, vero? Beh, un team di Apple ha costruito un enorme parco giochi tecnologico chiamato MM-ToolSandBox per vedere se questi robot possono effettivamente gestire la realtà disordinata e visiva della vita reale.
Ecco la notizia: non hanno solo chiesto ai robot di leggere il testo; hanno lanciato contro di loro un enorme puzzle visivo.
Il Parco Giochi: Un Videogame "Stateful"
Pensa a MM-ToolSandBox come a un videogioco con 511 strumenti diversi (come un carrello della spesa, un lettore musicale, un calendario e un gestore di file) distribuiti in 16 mondi simulati differenti. Ma ecco il colpo di scena: il gioco è "stateful". Ciò significa che se compri una banana nel primo turno, la banana si trova effettivamente nel tuo carrello nel secondo turno. Il robot deve ricordare ciò che ha fatto, tenere traccia del mondo che cambia e gestire conversazioni multi-turno in cui potresti cambiare idea a metà frase.
Ancora più figo, il robot deve guardare le immagini che gli invii. Potresti scattare una foto a un poster di un concerto e dire: "Compra i biglietti per questo!" o inviare lo screenshot di un foglio di calcolo disordinato e dire: "Trova il totale". Il robot deve leggere l'immagine, capire quale strumento usare e fare effettivamente quella cosa all'interno di questo ambiente simulato.
Il Test: 258 Scenari Difficili
I ricercatori non hanno creato scenari casuali. Hanno costruito una macchina che ha generato 258 scenari verificati da esseri umani (più 50 scenari speciali per schermi interattivi). Non erano facili. Includevano:
- Arrivi progressivi: invii una foto a metà della chat e il robot deve ricordarsene più tardi.
- Cambiamenti di obiettivo: dici "Prenota un volo", poi cinque minuti dopo dici "In realtà, niente, andiamo al mare invece".
- Correzioni di errori: accidentalmente dici la data sbagliata in una foto e il robot deve accorgersene.
Hanno testato 12 dei modelli IA più intelligenti al mondo, dai piccoli modelli open-source ai sistemi "frontier" più grandi e costosi.
La Grande Rivelazione: I Robot sono Ancora Goffi
Ecco il punto cruciale: anche il miglior robot del mondo è fallito più della metà delle volte.
Il modello con le prestazioni migliori, Claude 4.5 Opus, ha completato correttamente solo il 48,8% dei compiti. Ciò significa che è fallito in più della metà degli scenari. Il documento esclude esplicitamente l'idea che questi modelli abbiano "risolto" l'uso di strumenti visivi (visual tool calling). Sono ancora in difficoltà.
Il "Perché": Una Storia di Due Fallimenti
I ricercatori hanno scavato a fondo per capire perché i robot fallivano, e hanno trovato un pattern affascinante che cambia a seconda di quanto è grande il cervello del robot.
I Robot Piccoli (Il problema del "Cosa devo fare?"):
I modelli più piccoli (come quelli da 4 miliardi di parametri) fallivano principalmente perché non riuscivano a pianificare. Vedevano l'immagine, sapevano cosa voleva l'utente, ma si perdevano nel cercare di capire quali pulsanti premere o quali strumenti usare. Erano come un bambino che sa di dover preparare una torta ma non sa come accendere il forno.I Robot Grandi (Il problema del "Cosa vedo?"):
I modelli giganti (come quelli da 397 miliardi di parametri) erano bravissimi a pianificare. Sapevano esattamente quali strumenti usare e in quale ordine. Ma fallivano perché non riuscivano a leggere correttamente l'immagine.- La statistica: Il 53% dei fallimenti per i migliori modelli sono stati "errori fattuali".
- La metafora: Immagina uno chef brillante che conosce la ricetta esatta per una torta. Prende gli ingredienti, li mescola perfettamente e cuoce. Ma quando guarda la foto della tavoletta di cioccolato che gli hai inviato, legge male l'etichetta e prende un panetto di burro invece. Ha fatto tutto bene, tranne che nel leggere l'indizio visivo.
Questo suggerisce un effetto di "cross-over": man mano che i modelli diventano più grandi, smettono di fallire nella pianificazione e iniziano a fallire nella percezione.
L'Incubo della "UI"
I ricercatori hanno anche provato una modalità in cui il robot doveva disegnare uno schermo cliccabile per te per permetterti di interagire (come una mini-app). Questo è stato ancora più difficile. Il miglior modello è sceso a un tasso di successo del 26% in questa modalità. Si scopre che far sì che un robot non solo legga uno schermo, ma possa anche disegnare un nuovo schermo funzionante al volo, è una sfida enorme che non hanno ancora risolto.
Il Punto Fondamentale
Il documento suggerisce che, mentre stiamo diventando bravi nell'insegnare ai robot come pensare e pianificare, stiamo scontrandoci con un muro relativo alla precisione visiva. I robot sono abbastanza intelligenti da sapere cosa fare, ma sono ancora troppo goffi per leggere le scritte piccole nelle foto che invii.
Gli autori concludono che l'uso di strumenti visivi è lontano dall'essere risolto. Anche i modelli più potenti di oggi mancano l'obiettivo, e risolvere il problema richiede un nuovo tipo di ricerca focalizzata sul rendere i robot capaci di vedere più chiaramente, non solo di pensare più intensamente. Il framework e i risultati dei test sono ora pubblici, in modo che altri scienziati possano provare ad aiutare i robot a imparare a leggere meglio il mondo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.