DocOS: Towards Proactive Document-Guided Actions in GUI Agents
Die Arbeit führt „Proaktive Dokumentengeleitete Aktionen" ein und schlägt den DocOS-Benchmark vor, um die Einschränkungen von GUI-Agenten bei der Bewältigung von Long-Tail-Aufgaben zu adressieren, indem sie diese befähigt, autonom nach externer Dokumentation zu suchen und diese in ausführbare Aktionen zu überführen, wobei sich zeigt, dass der aktuelle Fortschritt durch Herausforderungen bei der Informationsretrieval und der Verankerung von Anweisungen behindert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der „allwissende" Roboter, der stecken bleibt
Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboterassistenten (einen GUI-Agenten), der Ihnen beim Bedienen Ihres Computers helfen soll. Er hat Millionen von Büchern gelesen und weiß, wie man gängige Anwendungen wie Word oder Chrome bedient. Bei alltäglichen Aufgaben ist er großartig.
Doch was passiert, wenn Sie ihn bitten, etwas Seltsames oder sehr Spezifisches zu tun, wie etwa „Erstellen Sie eine spezielle Laufkonfiguration für eine Python-Vorlage in PyCharm"? Der Roboter friert ein. Warum? Weil diese spezifische Anweisung nicht in seinem Gedächtnis gespeichert ist. Er versucht zu raten, scheitert, versucht es erneut und gibt schließlich auf oder tut das Falsche. Es ist, als würde man einen Koch bitten, der weiß, wie man einen Burger zubereitet, plötzlich ein Gericht zu kochen, das er noch nie gesehen hat, und zwar ohne Rezept. Er mag die Zutaten erraten, aber das Ergebnis wird höchstwahrscheinlich ein Chaos sein.
Die Lösung: Den Roboter lehren, „es bei Google zu suchen"
Die Autoren dieses Papiers schlagen eine neue Arbeitsweise für diese Roboter vor. Anstatt sich nur auf das zu verlassen, was in ihrem Gehirn gespeichert ist, sollten sie die Möglichkeit erhalten, anzuhalten, einen Webbrowser zu öffnen, nach dem offiziellen Handbuch zu suchen, es zu lesen und dann den Anweisungen zu folgen.
Sie nennen dies „Proaktive, dokumentengesteuerte Aktionen".
- Der alte Weg: Der Roboter rät basierend auf seinem Gedächtnis.
- Der neue Weg: Der Roboter erkennt, dass er es nicht weiß, sucht im Web nach dem „Offiziellen Leitfaden", liest die Schritte und führt die Aufgabe dann genau so aus, wie der Leitfaden es sagt.
Dies ahmt nach, wie Menschen Probleme lösen: Wenn wir nicht wissen, wie wir einen seltsamen Fehler auf unserem Computer beheben sollen, raten wir nicht; wir suchen nach einem Tutorial und folgen ihm.
Der Test: Einführung von „DocOS"
Um zu prüfen, ob Roboter dies tatsächlich können, hat das Team einen Test namens DocOS entwickelt. Denken Sie an DocOS als einen riesigen Hindernislauf für Roboter.
- Der Kurs: Er enthält 817 verschiedene Aufgaben über 20 verschiedene Computerprogramme hinweg (wie PyCharm, Blender, VS Code usw.).
- Die Herausforderung: Die Aufgaben sind „long-tailed", das heißt, sie sind selten, spezifisch und schwierig. Man kann die Antwort nicht einfach erraten; man muss die richtige Dokumentation finden, um sie zu lösen.
- Die Regeln: Der Roboter muss:
- Einen Webbrowser öffnen.
- Nach dem richtigen Handbuch suchen.
- Die Schritte in diesem Handbuch lesen und verstehen.
- Zurück zum Computer gehen und genau das klicken/tippen, was das Handbuch sagt.
Was ist passiert? (Die Ergebnisse)
Die Forscher testeten mehrere hochmoderne Roboter-Agenten auf diesem Kurs. Die Ergebnisse waren eine gewisse Realitätsprüfung: Die Roboter haben immer noch Schwierigkeiten.
Sie fanden zwei Haupt-„Engpässe" (Staus), an denen die Roboter scheitern:
Das „Im Bibliothek verlorene" Problem (Suchversagen):
Selbst wenn der Roboter weiß, dass er suchen muss, findet er oft nicht die richtige Seite. Er mag die Hauptwebsite der Software finden, sich aber in den Tausenden anderer Seiten verirren und niemals das spezifische Handbuch finden, das er braucht. Es ist, als würde man in eine riesige Bibliothek gehen und versuchen, ein bestimmtes Buch zu finden, aber man greift ständig nach den falschen.Das „Schlechte Übersetzer" Problem (Ausführungsversagen):
Manchmal findet der Roboter das richtige Handbuch und liest die Anweisungen. Aber wenn er versucht, die Aufgabe auszuführen, macht er Fehler. Er mag den Satz „Klicken Sie auf den blauen Knopf" verstehen, aber auf den falschen blauen Knopf klicken, oder er könnte durch das komplexe Layout des Bildschirms verwirrt werden. Es gelingt ihm nicht, die Wörter im Handbuch in die Klicks auf dem Bildschirm zu übersetzen.
Das Fazit
Das Papier kommt zu dem Schluss, dass diese KI-Agenten zwar klüger werden, aber noch nicht bereit sind, vollständig unabhängige Arbeitskräfte zu sein. Sie sind wie ein Schüler, der ein hervorragendes Lehrbuch hat, aber schrecklich darin ist, die Bibliothek zu navigieren, um es zu finden, und noch schlechter darin, den Anweisungen zu folgen, sobald er sie gefunden hat.
DocOS ist ein neues Werkzeug, um genau zu messen, wie gut (oder schlecht) diese Roboter bei dieser spezifischen Fähigkeit sind: ein Handbuch zu finden und ihm zu folgen. Die Autoren hoffen, dass Forscher durch die Verwendung dieses Tests bessere Roboter entwickeln können, die uns wirklich bei komplexen, realen Computeraufgaben helfen können, ohne dass ein Mensch ihnen die Hand halten muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.