AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use
Dieses Paper stellt AppWorld-UL vor, einen anspruchsvollen Benchmark mit 516 Aufgaben über neun simulierte Anwendungen hinweg, der die Fähigkeit von Tool-Use-Agenten bewertet, vielfältige, notwendige Interaktionen mit Nutzern zu bewältigen, wobei aufgezeigt wird, dass selbst modernste Modelle in diesen User-in-the-loop-Szenarien erheblich Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter-Butler bei, wie er Ihre Besorgungen erledigt. Sie sagen ihm: „Geh mir ein Hemd kaufen.“ In der Welt der Informatik nennt man das „Tool Use“ (Werkzeuggebrauch) – der Roboter weiß, wie man eine App öffnet, auf Schaltflächen klickt und einen Kauf tätigt. Aber hier liegt der Haken: Das echte Leben ist chaotisch. Was ist, wenn Sie fünf Hemden in Ihrem Warenkorb haben und der Roboter nicht weiß, welches Sie meinen? Was ist, wenn das Hemd, das Sie wollen, ausverkauft ist? Was ist, wenn der Preis plötzlich doppelt so hoch ist und Sie es nur kaufen würden, wenn Sie bei genau dieser Änderung „Ja“ sagen?
Die meisten Tests für diese Roboter prüfen nur, ob sie einem perfekten Schritt-für-Schritt-Rezept folgen können, bei dem nichts schiefgeht. Aber echte Menschen sind unvorhersehbar. Wir sind vage, wir ändern unsere Meinung und wir müssen um Erlaubnis gefragt werden, bevor der Roboter unser Geld ausgibt. Diese Arbeit begibt sich in diese chaotische, reale Ecke der KI-Forschung und stellt eine einfache, aber schwierige Frage: Können unsere besten KI-Agenten tatsächlich mit uns sprechen, wenn es kompliziert wird, oder stürzen sie einfach ab, wenn die Anweisungen nicht perfekt sind?
Die Forscher hinter dieser Studie, angeführt von Junzhi Chen und Harsh Trivedi, beschlossen, die Roboter nicht an perfekten, imaginären Tagen zu testen, sondern an Tagen, die sich wie das echte Leben anfühlen. Sie bauten einen neuen Spielplatz namens AppWorld-UL (User-in-the-Loop). Denken Sie an eine riesige, simulierte digitale Stadt mit neun beliebten Apps wie Amazon und Spotify, aber mit einem Twist: Der „Nutzer“ (eine simulierte Person) ist Teil des Spiels, und der Roboter muss herausfinden, wie er ihn um Hilfe bittet.
Das Team hat nicht einfach nur zufällige Probleme erfunden; sie nutzten eine clevere „Perturbations“-Methode (Störungsmethode). Stellen Sie sich vor, sie nahmen eine normale Aufgabe, wie „Gib das Nike-Hemd zurück, das ich letzte Woche gekauft habe“, und veränderten dann heimlich die Welt, um es knifflig zu machen.
- Die „Welches davon?“-Falle (Unterdeterminierung): Sie stellten sicher, dass der Roboter zwei Nike-Hemden von letzter Woche findet. Nun kann der Roboter nicht einfach raten; er muss anhalten und fragen: „Welches von beiden möchten Sie zurückgeben?“
- Die „Es ist weg!“-Falle (Nicht-Machbarkeit): Sie ließen die Größe „L“ des Hemdes im Geschäft verschwinden. Der Roboter darf nicht einfach scheitern; er muss dem Nutzer sagen: „Die Größe L ist nicht mehr verfügbar. Möchten Sie eine andere Größe oder eine Rückerstattung?“
- Die „Warte, das ist teuer!“-Falle (Bestätigung): Sie ließen den Preis des Hemdes doppelt so hoch ansteigen. Der Roboter muss innehalten und sagen: „Hey, der Preis ist gesprungen! Möchten Sie es trotzdem kaufen?“
Um sicherzustellen, dass der Test fair war, erschufen sie einen „simulierten Nutzer“, der wie ein echter Mensch agiert, aber strengen Regeln folgt. Dieser Nutzer kennt die Antworten auf die kniffligen Fragen, wird sie aber nicht preisgeben, es sei denn, der Roboter stellt die richtige Frage. Es ist wie ein Spiel von „Wer bin ich?“ (oder „20 Fragen“), bei dem der Nutzer nur antwortet, wenn man genau das fragt, woran er gerade denkt.
Als sie die klügsten KI-Roboter der Welt (wie Claude Opus 4.7 und GPT-5.5) in diese chaotische digitale Stadt schickten, waren die Ergebnisse ein kleiner Weckruf. Selbst der beste Roboter war bei der Gesamtheit der Aufgaben nur in etwa 48,6 % der Fälle erfolgreich. Als die Aufgaben noch schwieriger wurden, indem sie zwei oder drei dieser kniffligen Situationen gleichzeitig kombinierten, sank die Erfolgsquote auf nur noch 35,7 %.
Die Studie legt nahe, dass das Problem nicht darin besteht, dass die Roboter die Apps nicht bedienen können; sie sind eigentlich ziemlich gut darin, Schaltflächen zu klicken. Die eigentliche Schwierigkeit ist die Konversation. Als die Forscher den Robotern einen „Spickzettel“ mit allen fehlenden Informationen vorab gaben (sodass sie nicht nachfragen mussten), sprang die Erfolgsquote auf 78,1 %. Dies beweist, dass die Schwierigkeit in der Interaktion liegt und nicht in der Komplexität der Apps selbst.
Das Paper fand auch heraus, dass die Roboter meistens scheiterten, wenn sie nicht die richtigen Fragen stellten. Sie raten entweder die Antwort (Halluzination), stellen vage Fragen, die den Nutzer verwirren, oder vergessen, was der Nutzer ihnen gerade gesagt hat. Es ist wie ein Roboter, der hört „Ich möchte das rote Hemd“, aber dann das blaue kauft, weil er vergessen hat, nachzufragen.
Kurz gesagt zeigt dieses Paper, dass unsere KI-Agenten zwar immer besser darin werden, Aufgaben zu erledigen, aber noch lernen müssen, gute Gesprächspartner zu sein. Sie müssen lernen, dass der beste Weg, ein Problem zu lösen, manchmal nicht darin besteht, voranzustürmen, sondern innezuhalten, den Menschen anzusehen und zu fragen: „Warte, welches meinten Sie eigentlich?“ Bis sie diesen Hin-und-Her-Tanz beherrschen, sind sie vielleicht bereit für einen einfachen Lebensmitteleinkauf, aber sie sind noch nicht ganz bereit für das Chaos eines echten menschlichen Tages.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.