Understanding User Experiences of Computer Use Agents: Design Space and Opportunities for Building Agent UX Prototypes
Diese Arbeit befasst sich mit der unteruntersuchten User Experience von Computer-Nutzungs-Agenten, indem sie eine Design-Taxonomie entwickelt, Prototyping-Anforderungen durch Expertenstudien identifiziert und „AgentUXlab“ einführt, ein Werkzeug, das es Entwicklern ermöglicht, vielfältige Agenten-Interaktionsansätze zu entwerfen und zu evaluieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten digitalen Assistenten, der nicht nur Fragen beantwortet, sondern tatsächlich Dinge für Sie erledigt. Er kann auf Schaltflächen klicken, durch Websites scrollen, Formulare ausfüllen und sogar Ihren Kaffee kaufen, indem er Ihren Bildschirm beobachtet und versteht, was Sie wollen. Das ist keine Magie; es ist eine neue Art von Computerprogramm, ein sogenannter „Computer Use Agent“. Denken Sie an ihn wie an einen Roboter-Butler, der in Ihrem Browser lebt. Lange Zeit haben Wissenschaftler versucht, diese Roboter intelligenter und schneller zu machen, indem sie sich auf deren Gehirne (den Code und die Modelle) konzentrierten. Aber sie haben meistens vergessen zu fragen: „Wie fühlt es sich an, einen Roboter-Butler zu haben?“ Genau wie Sie keinen menschlichen Assistenten wollen würden, der Ihnen nie sagt, was er gerade tut, oder der Ihnen ohne zu fragen das Portemonnaie aus der Tasche greift, brauchen Sie einen Roboter-Assistenten, der leicht zu vertrauen, leicht zu stoppen und leicht zu verstehen ist. Diese Arbeit befasst sich mit der „Persönlichkeit“ und dem „Verhalten“ dieser digitalen Helfer und untersucht, wie man sie so gestaltet, dass sie uns weder erschrecken noch Fehler machen, die wir nicht korrigieren können.
Die Forscher hinter dieser Studie, angeführt von Jenny T. Liang und ihrem Team, erkannten, dass wir zwar diese leistungsstarken Agenten bauen, aber eigentlich kein Regelwerk dafür haben, wie sie sich uns gegenüber verhalten sollten. Um dies zu beheben, begaben sie sich auf ein dreiteiliges Abenteuer, um den „Designraum“ (alle möglichen Arten, wie ein Agent agieren kann) zu kartografieren und ein spezielles Werkzeug zu entwickeln, das Designern hilft, diese Verhaltensweisen zu testen.
Zuerst agierten sie wie Detektive und untersuchten 11 verschiedene Computer-Agenten, die bereits in der Welt existieren. Sie interviewten 8 Experten, die diese Agenten bauen, und testeten einen fiktiven Agenten mit 20 regulären Personen. Daraus erstellten sie eine riesige „Speisekarte“ mit 21 verschiedenen Dingen, über die Designer nachdenken müssen. Diese gruppierten sie in vier Hauptkategorien:
- Die Nutzeranfrage (User's Query): Wie Sie mit dem Agenten kommunizieren. Geben Sie ihm einen einzigen großen Befehl oder führen Sie einen Hin-und-Her-Chat? Nutzen Sie Ihre Stimme, Text oder Bilder?
- Erklärbarkeit (Explainability): Wie der Agent seine Arbeit zeigt. Sagt er Ihnen, worauf er gerade klickt? Zeigt er seine „Gedanken“, bevor er handelt?
- Nutzerkontrolle (User Control): Wie Sie den Agenten stoppen oder verändern können. Können Sie ihn pausieren? Können Sie selbst übernehmen und die Aufgabe fortführen, wenn er stecken bleibt?
- Mentales Modell (Mental Model): Was Sie darüber denken, was der Agent leisten kann. Macht der Agent deutlich, wo seine Grenzen liegen, damit Sie nicht unerfüllbare Dinge von ihm erwarten?
Nachdem sie diese Speisekarte erstellt hatten, stellten sie eine zweite Frage: „Wie bauen und testen wir diese Ideen tatsächlich?“ Das Design eines Agenten ist schwierig, da man normalerweise Programmierer sein muss, um etwas bewirken zu können. Um dies zu lösen, interviewte das Team 12 weitere Personen (einschließlich Experten und regulärer Nutzer), um herauszufinden, welche Art von Werkzeug die Arbeit erleichtern würde. Sie fanden heraus, dass Designer fünf Hauptaktivitäten benötigen: festlegen, was der Agent kann, entscheiden, welche Informationen angezeigt werden sollen, das Design der Kommunikation mit dem Nutzer entwerfen, den Agenten laufen lassen, um zu sehen, was passiert, und ihn reparieren, wenn er kaputtgeht.
Um dieses Problem zu lösen, entwickelten sie ein cooles neues Tool namens AgentUXlab. Stellen Sie sich ein Videospiel-Level vor, in dem Sie der Designer sind. Anstatt komplexen Code zu schreiben, ziehen und lassen Sie Blöcke (wie „Hier klicken“, „Auf Nutzer warten“ oder „Einen Plan zeigen“), um ein Flussdiagramm zu erstellen, wie Ihr Agent sich verhalten soll. Sie können dann auf „Play“ drücken und zusehen, wie Ihr Agent tatsächlich versucht, einen Kaffee auf einer echten Website zu bestellen, direkt in Ihrem Browser. Wenn der Agent versucht, etwas zu kaufen, das Sie nicht wollten, können Sie auf „Pause“ drücken, selbst übernehmen und es korrigieren. Dieses Tool ermöglicht es Designern, mit verschiedenen „Persönlichkeiten“ für ihre Agenten zu experimentieren – etwa einen, der sehr gesprächig ist und um Erlaubnis fragt, im Gegensatz zu einem, der super schnell ist und alles lautlos erledigt.
Schließlich testeten sie dieses Tool mit 14 Personen, die über unterschiedliche Erfahrungswerte verfügten, von Softwareentwicklern bis hin zu Menschen, die noch nie zuvor einen Agenten benutzt hatten. Sie fanden heraus, dass das Tool gut funktionierte, aber auch einige knifflige Aspekte aufzeigte. Zum Beispiel waren die visuellen „Flussdiagramme“ (die Blöcke) großartig, um das große Ganze zu sehen, aber manche fanden es schwierig, sie zu schreiben. Andererseits war das bloße Schreiben von Anweisungen in einfachem Englisch zwar flexibel, aber manchmal zu vage. Die größte Überraschung war, dass die Menschen, die den Agenten entwerfen, viel mehr Informationen (wie die internen Gedanken des Agenten und Details zum Bildschirm) sehen mussten, um ihn zu debuggen, während die Nutzer des Agenten wahrscheinlich nicht so viel „Rauschen“ sehen wollten.
Das Paper legt nahe, dass wir, um diese Agenten sicher und nützlich zu machen, Werkzeuge benötigen, die es Designern ermöglichen, leicht zwischen diesen verschiedenen Interaktionsstilen zu wechseln. Es beansprucht nicht, alles gelöst zu haben – es gibt immer noch große Fragen dazu, wie man sicherstellt, dass Nutzer wirklich verstehen, wozu ein Agent fähig ist –, aber es bietet eine solide Landkarte und einen neuen Spielplatz für jeden, der versucht, die nächste Generation hilfreicher, menschenfreundlicher KI-Assistenten zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.