MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
Dieses Paper stellt MM-ToolSandBox vor, ein einheitliches Framework und Benchmark mit einer zustandsbehafteten Umgebung aus über 500 Werkzeugen und 258 von Menschen verifizierten Szenarien zur Evaluierung visueller Tool-Calling-Agenten, wobei aufgezeigt wird, dass aktuelle Modelle erheblich mit visueller Präzision kämpfen und sich die Fehlerquellen von Planungsdefiziten bei kleineren Modellen hin zu Wahrnehmungsfehlern bei größeren Modellen verschieben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten, der die Bilder lesen kann, die Sie ihm schicken, mit simulierten Apps interagiert und Aufgaben organisiert. Klingt nach Magie, oder? Nun, ein Team von Apple hat einen riesigen, hochtechnologischen Spielplatz namens MM-ToolSandBox gebaut, um zu sehen, ob diese Roboter tatsächlich mit der chaotischen, visuellen Realität des echten Lebens zurechtkommen.
Hier ist die Geschichte: Sie haben die Roboter nicht nur gebeten, Text zu lesen; sie haben ihnen ein massives visuelles Rätsel vorgesetzt.
Der Spielplatz: Ein zustandsbehaftetes Videospiel
Denken Sie an MM-ToolSandBox als ein Videospiel mit 511 verschiedenen Werkzeugen (wie einem Einkaufswagen, einem Musikplayer, einem Kalender und einem Dateimanager), die über 16 verschiedene simulierte Welten verteilt sind. Aber hier ist der Clou: Das Spiel ist „stateful“ (zustandsbehaftet). Das bedeutet, wenn Sie in Runde eins eine Banane kaufen, liegt die Banane in Runde zwei tatsächlich in Ihrem Wagen. Der Roboter muss sich daran erinnern, was er getan hat, die sich verändernde Welt im Blick behalten und Mehrfach-Konversationen bewältigen, bei denen Sie mitten im Satz Ihre Meinung ändern könnten.
Noch cooler ist, dass der Roboter sich die Bilder ansehen muss, die Sie ihm schicken. Sie machen vielleicht ein Foto von einem Konzertplakat und sagen: „Kaufe Tickets dafür!“ oder schicken einen Screenshot einer unordentlichen Tabelle und sagen: „Finde die Summe.“ Der Robot muss das Bild lesen, herausfinden, welches Werkzeug er benutzen muss, und die Sache innerhalb dieser simulierten Umgebung tatsächlich ausführen.
Der Test: 258 knifflige Szenarien
Die Forscher haben nicht einfach nur zufällige Aufgaben erfunden. Sie haben eine Maschine gebaut, die 258 von Menschen verifizierte Szenarien (plus 50 spezielle für interaktive Bildschirme) generiert hat. Diese waren nicht einfach. Sie beinhalteten:
- Progressive Ankünfte: Sie senden ein Bild mitten im Chat, und der Roboter muss es später berücksichtigen.
- Zieländerungen: Sie sagen: „Buche einen Flug“, und fünf Minuten später sagen Sie: „Ach ja, eigentlich doch nicht, lass uns lieber zum Strand fahren.“
- Fehlerkorrekturen: Sie geben versehentlich ein falsches Datum in einem Foto an, und der Roboter muss den Fehler entdecken.
Sie testeten 12 der klügsten KI-Modelle der Welt, die von winzigen Open-Source-Modellen bis hin zu den größten, teuersten „Frontier“-Systemen reichen.
Die große Enthüllung: Die Roboter sind immer noch tollpatschig
Hier ist der entscheidende Punkt: Selbst der beste Roboter der Welt versagte öfter als die Hälfte der Zeit.
Das Top-Modell, Claude 4.5 Opus, schaffte nur 48,8 % der Aufgaben richtig. Das bedeutet, es scheiterte an mehr als der Hälfte der Szenarien. Das Paper schließt explizit die Idee aus, dass diese Modelle das „visuelle Tool Calling“ gelöst haben. Sie kämpfen immer noch.
Das „Warum“: Eine Geschichte von zwei Fehlern
Die Forscher gruben tief, um herauszufinden, warum die Roboter scheiterten, und fanden ein faszinierendes Muster, das sich je nach Größe des „Gehirns“ des Roboters ändert.
Die kleinen Roboter (Das „Was soll ich tun?“-Problem):
Die kleineren Modelle (wie die mit 4 Milliarden Parametern) scheiterten hauptsächlich daran, dass sie nicht planen konnten. Sie sahen das Bild, wussten, was der Nutzer wollte, aber sie verloren sich bei der Frage, welche Knöpfe sie drücken oder welche Werkzeuge sie benutzen sollten. Sie waren wie ein Kind, das weiß, dass es einen Kuchen backen muss, aber nicht weiß, wie man den Ofen einschaltet.Die großen Roboter (Das „Was sehe ich?“-Problem):
Die riesigen Modelle (wie die mit 397 Milliarden Parametern) waren hervorragend im Planen. Sie wussten genau, welche Werkzeuge sie in welcher Reihenfolge benutzen mussten. Aber sie scheiterten, weil sie das Bild nicht korrekt lesen konnten.
- Die Statistik: 53 % der Fehler der besten Modelle waren „Faktenfehler“.
- Die Metapher: Stellen Sie sich einen brillanten Koch vor, der das exakte Rezept für einen Kuchen kennt. Er schnappt sich die Zutaten, mischt sie perfekt und backt den Kuchen. Aber als er das Foto der Schokoladentafel betrachtete, die Sie ihm geschickt hatten, las er das Etikett falsch und griff statt nach der Schokolade nach einem Stück Butter. Er hat alles richtig gemacht, außer den visuellen Hinweis richtig zu lesen.
Dies deutet auf einen „Crossover“-Eff Effekt hin: Wenn Modelle größer werden, hören sie auf, beim Planen zu scheitern, und beginnen beim Wahrnehmen zu scheitern.
Das „UI“-Albtraum
Die Forscher testeten auch einen Modus, in dem der Roboter einen klickbaren Bildschirm für Sie zeichnen musste (wie eine Mini-App). Das war sogar noch schwieriger. Das beste Modell sank in diesem Modus auf eine Erfolgsquote von nur 26 %. Es stellt sich heraus, dass es eine massive Herausforderung ist, einen Roboter zu bauen, der nicht nur einen Bildschirm lesen, sondern auch einen neuen, funktionierenden Bildschirm „on the fly“ zeichnen kann – eine Hürde, die sie noch nicht überwunden haben.
Das Faz-it
Das Paper legt nahe, dass wir zwar besser darin werden, Roboter das Denken und Planen beizubringen, aber wir stoßen an eine Wand bei der visuellen Präzision. Die Roboter sind klug genug, um zu wissen, was sie tun sollen, aber sie sind immer noch zu tollpatschig, um das Kleingedruckte in den Fotos zu lesen, die man ihnen schickt.
Die Autoren kommen zu dem Schluss, dass das „Visual Tool Calling“ weit davon entfernt ist, gelöst zu sein. Selbst die leistungsfähigsten Modelle von heute verfehlen das Ziel, und die Behebung dieses Problems erfordert eine neue Art der Forschung, die darauf abzielt, Roboter das Sehen klarer zu lehren, statt nur das Denken intensiver. Das Framework und die Testergebnisse sind nun öffentlich zugänglich, damit andere Wissenschaftler versuchen können, den Robotern zu helfen, die Welt ein wenig besser zu lesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.