ChainWorld: Composing Long-Horizon Desktop Workloads from Atomic OSWorld Tasks
Das Paper stellt ChainWorld vor, ein Framework, das atomare OSWorld-Aufgaben zu langfristigen Desktop-Workloads zusammensetzt, um Computer-Nutzungs-Agenten zu evaluieren, wobei aufzeigt, dass aktuelle Modelle Schwierigkeiten mit der mehrstufigen Fertigstellung haben und je nach der Präsentation der Aufgaben in Single-Turn- oder Multi-Turn-Formaten unterschiedliche Fehlerprofile aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie testen einen neuen Roboter-Assistenten. Bisher hat ihn jeder nur getestet, indem man ihm eine einzige einfache Sache auf einmal abverlangt hat, wie zum Beispiel „öffne den Toaster“ oder „schalte das Licht ein“. Der Roboter ist bei diesen einzelnen Aufgaben großartig.
Aber im echten Leben erledigt ein Mensch nicht nur eine Sache; er erledigt eine Kette von Dingen, um eine Aufgabe zu bewältigen. Man öffnet nicht einfach nur „den Toaster“; man öffnet den Toaster, legt Brot hinein, wartet, bis er herausspringt, holt einen Teller und buttert dann den Toast. Wenn der Roboter nach dem Herausspringen des Toasts den Teller vergisst, ist die gesamte Aufgabe fehlgeschlagen, selbst wenn er den Toaster perfekt geöffnet hat.
Dieses Paper mit dem Titel ChainWorld befasst sich damit, Computer-Agenten (KI-Roboter) auf solchen längeren Aufgabenketten zu testen, anstatt nur auf Einzelaufgaben.
Das Problem: Die „Ein-Aufgaben-Falle“
Aktuelle Tests sind wie eine Fahrprüfung, bei der man nur einmal das Einparken üben muss. Man mag das vielleicht bestehen, aber wenn man nicht durch eine ganze Stadt fahren kann, ohne sich zu verlaufen, ist man noch nicht bereit für die reale Welt. Die Autoren fanden heraus, dass es nicht ausreicht, wenn eine KI gut in Einzelaufgaben ist, um zu garantieren, dass sie auch eine Sequenz von Aufgaben bewältigen kann.
Die Lösung: Das Bauen von „Aufgabenketten“
Die Forscher nahmen eine riesige Bibliothek bestehender, einfacher Computeraufgaben (genannt OSWorld) und versuchten, diese wie Perlen auf einer Schnur miteinander zu verknüpfen.
- Die Herausforderung: Man kann nicht einfach zwei beliebige Aufgaben wahllos aneinanderkleben. Wenn Aufgabe A eine Datei löscht, die Aufgabe B benötigt, bricht die Kette ab. Es ist, als würde man versuchen, einen Kuchen zu backen, bei dem der erste Schritt darin besteht, „das Mehl wegzuwerfen“.
- Die Methode: Sie erstellten eine intelligente „Kompatibilitätskarte“. Sie prüften jedes mögliche Paar von Aufgaben darauf, ob sie logisch aufeinanderfolgen könnten, ohne den Computer zum Absturz zu bringen oder notwendige Dateien zu löschen. Dann durchsuchten sie diese Karte, um Ketten aus 2, 3 oder 4 Aufgaben zu erstellen, die als eine einzige Arbeitssitzung Sinn ergeben.
Sie erstellten 347 dieser „Ketten“, um sie als neuen, schwierigeren Test zu verwenden.
Das Experiment: Zwei Arten der Anweisung
Sie testeten vier verschiedene KI-Modelle auf diesen Ketten unter Verwendung von zwei verschiedenen „Regeln des Austauschs“:
- Der „Alles-auf-einmal“-Test (Single Turn): Der KI wird die gesamte Liste der Aufgaben in einem einzigen riesigen Prompt gegeben. „Erledige Aufgabe A, dann Aufgabe B, dann Aufgabe C.“ Sie muss die gesamte Reise in ihrem Kopf planen, bevor sie auch nur einen Finger rührt.
- Der „Schritt-für-Schritt“-Test (Multi Turn): Die KI erhält Aufgabe A. Sobald sie fertig ist, bekommt sie Aufgabe B. Dann Aufgabe C. Es ist wie ein menschlicher Chef, der Anweisungen nacheinander gibt, wobei man erst eine Aufgabe abschließt, bevor man zur nächsten übergeht.
Die Ergebnisse: Die Lücke ist real
Die Ergebnisse waren überraschend und etwas ernüchternd:
- Die Erfolgsquote ist niedrig: Selbst die besten KI-Modelle schafften die vollständige Kette der Aufgaben nur etwa 31 % der Zeit. Das bedeutet, dass sie in mehr als zwei Dritteln der Fälle scheiterten.
- Schritt-für-Schritt hilft (ein wenig): Den Modellen die Aufgaben nacheinander zu geben (Multi Turn), half drei der vier Modelle, besser abzuschneiden. Es ist einfacher, sich auf einen Schritt zu konzentrieren, als den gesamten Plan im Kopf zu behalten. Aber selbst mit dieser Hilfe scheiterten sie immer noch oft.
- Unterschiedliche Arten des Scheiterns:
- Im „Alles-auf-einmal“-Test: Die KI verstandte meist die Idee, vertauschte aber die Details. Es war wie ein Schüler, der das Matheproblem verstanden hat, aber am Ende die falsche Zahl aufgeschrieben hat. Sie machten „Beinahe-Fehler“.
- Im „Schritt-für-Schritt“-Test: Die KI hatte Probleme beim Verwalten der Sitzung. Sie ließen sich ablenken, vergaßen, was als Nächstes zu tun war, oder gaben mitten im Prozess auf. Es war wie ein Arbeiter, der ein Projekt beginnt, sich langweilt und geht, bevor er fertig ist.
Das große Faznehmen
Das Paper kommt zu dem Schluss, dass wir nicht einfach nur schauen können, wie gut eine KI Einzelaufgaben erledigt, und dann davon ausgehen können, dass sie bereit für die echte Arbeit ist. Es gibt eine riesige Lücke zwischen dem „Durchführen einer Aufgabe“ und dem „Verwalten eines Arbeitsablaufs“.
Die Autoren haben einen neuen Test (ChainWorld) entwickelt, der als Stresstest für die Aufmerksamkeit und das Gedächtnis einer KI fungiert. Er zeigt, dass KIs zwar immer besser darin werden, Dinge zu sehen und anzuklicken, aber immer noch Schwierigkeiten haben, auf Kurs zu bleiben, wenn eine Aufgabe mehrere Schritte erfordert und man sich erinnern muss, was vor fünf Minuten passiert ist.
Kurz gesagt: KI ist großartig darin, einzelne Tricks zu vollbringen, aber sie lernt noch, wie man eine ganze Routine jongliert, ohne die Bälle fallen zu lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.