Technische Samenvatting: Het begrijpen van gebruikerservaringen van computergebruik-agenten

Probleemstelling

Computergebruik-agenten—generatieve AI-systemen die acties binnen gebruikersinterfaces (UI's) automatiseren op basis van gebruikerscommando's—komen snel op in desktop-, mobiele- en webomgevingen. Terwijl huidig onderzoek zich sterk richt op het trainen en evalueren van de onderliggende Large Language Models (LLM's) en Multimodale LLM's (MLLM's), blijft het UX-ontwerp (User Experience) van deze agenten aanzienlijk onderbelicht.

Bestaande ontwerprichtlijnen voor agenten zijn grotendeels ontwikkeld in pre-LLM contexten en adresseren niet de unieke uitdagingen die worden geïntroduceerd door moderne generatieve AI, zoals onzekerheid over capaciteiten, complexiteit van output en de noodzaak om perspectieven uit design, machine learning en engineering te integreren. Als gevolg hiervan is er een gebrek aan een uitgebreide mapping van de designruimte voor agent-UX en een schaarste aan tools om ontwerpers en ontwikkelaars te ondersteunen bij het prototypen van deze ervaringen. Deze kloof laat praktijkbeoefenaars zonder een gedeelde vocabulaire voor agent-design of de noodzakelijke ondersteuning om verschillende interactieparadigma's (bijv. variërende niveaus van proactiviteit, autonomie en transparantie) te verkennen.

Methodologie

De auteurs voerden een onderzoeksprogramma in drie fasen uit om twee primaire onderzoeksvragen (Research Questions, RQs) te beantwoorden:

1. RQ1: Wat zijn de UX-ontwerpoverwegingen van computergebruik-agenten?
2. RQ2: Welke ondersteuning is nuttig bij het prototypen van UX in computergebruik-agenten?

Fase 1: Taxonomieontwikkeling (RQ1)

Om de designruimte in kaart te brengen, gebruikten de auteurs een mixed-method benadering:

• Literatuur- en productreview: Het team heeft 11 state-of-the-art computergebruik-agenten beoordeeld (aangekondigd in 2024–2025) over desktop-, browser- en mobiele platforms.
• Expertinterviews: Acht UX- en AI-praktijkbeoefenaars werden geïnterviewd om de initiële taxonomie te verfijnen, waarbij ontbrekende thema's werden geïdentificeerd en subthema's werden uitgebreid.
• Wizard-of-Oz Validatie: Een studie met 20 eindgebruikers die interactie hadden met een mock-agent (gecontroleerd door een onderzoeker) om taken te voltooien in de domeinen vakantieboekingen en e-commerce. Dit valideerde de subcategorieën van de taxonomie en zorgde ervoor dat deze de werkelijke zorgen van gebruikers weerspiegelden.
• Analyse: Thematische analyse en voorlopige codering werden gebruikt om de bevindingen te synthetiseren in een gestructureerde taxonomie.

Fase 2: Vereistenextractie (RQ2)

Om te begrijpen welke ondersteuning nodig is voor prototyping, voerden de auteurs een studie naar de extractie van vereisten uit:

• Deelnemers: 12 deelnemers (6 agent-experts, 6 niet-experts) van een groot technologiebedrijf.
• Protocol: Deelnemers reflecteerden op agent-UX-factoren via interviews en interacties met mock-agenten. Ze beoordeelden voorbeelden van agent-patronen en bespraken uitdagingen in design en ontwikkeling.
• Analyse: Kwalitatieve analyse van transcripten identificeerde belangrijke Activiteiten in het prototypingproces en leidde tot Gewenste Mogelijkheden voor een prototypingsysteem.

Fase 3: Design Probe en Empirische Studie (RQ2)

• Toolontwikkeling: De auteurs bouwden AgentUXlab, een high-fidelity design probe (geen inzetbaar product) die de geïdentificeerde designvereisten en taxonomie instantiëert. Het bevat een no-code, grafische workflow-editor en een browsergebaseerde executieomgeving.
• Empirische Gebruikersstudie: 14 deelnemers met diverse achtergronden (engineers, designers, product managers, ML engineers) gebruikten AgentUXlab om de UX van een agent te prototypen voor een koffiebestelwebsite.
• Protocol: Deelnemers namen deel aan een onboarding van 30 minuten, een prototyping-oefening van 30 minuten (het ontwerpen van een agent voor een echte website) en een exit-interview van 30 minuten. Ze werden aangemoedigd om hardop te denken ("think aloud") tijdens het ontwerpen, draaien en debuggen van hun agenten.

Belangrijkste Bijdragen

1. Een Taxonomie van Agent UX Design Overwegingen

Het artikel presenteert een taxonomie bestaande uit vier hoofdcategorieën en 21 subcategorieën van UX-overwegingen:

• Gebruikersquery: Beslaat expressieniveaus, timing van queries, inputmodality, gebruikersprofielen, afhandeling van ambiguïteit, contextuele factoren en veiligheid.
• Verklaarbaarheid van Agentactiviteiten: Omvat de zichtbaarheid van acties, de bewaarbaarheid van historie, beschrijvingen van acties, transparantie van redenering (gedachten), previews van vervolgstappen, presentatie van plannen en runtime-statuscommunicatie.
• Gebruikerscontrole: Omvat interventie tijdens uitvoering (stoppen/pauzeren, overnemen), afhandeling van scenario's met hoge impact (risico-indicatoren, permissies), interventie op plannen, en foutherstel/ontdekbaarheid.
• Gebruikersmentaal Model & Verwachtingen: Richt zich op agent-capaciteiten, UI-context, de scope van de agent (wat deze kan bereiken/besturen) en risico's (privacy, potentiële schade).

2. Designvereisten voor Agent UX Prototypingsystemen

Door de studie naar vereistenextractie identificeerden de auteurs vijf Activiteiten en zes Gewenste Mogelijkheden die een prototypingsysteem moet ondersteunen:

• Activiteiten:
  • A1: Ontwerp de scope en grenzen van de agent.
  • A2: Ontwerp de informatie-weergave van de agent.
  • A3: Ontwerp de interacties tussen de agent en de gebruiker.
  • A4: Draai het agent-prototype.
  • A5: Begrijp het runtime-gedrag van de agent.
• Gewenste Mogelijkheden:
  • C1: Gebruik no-code interfaces.
    {% C2: Help de taakruimte en de kennis over de gebruiker van de agent te beperken. %}
  • C2: Help de taakruimte en de kennis over de gebruiker van de agent te beperken.
  • C3: Definieer de UI van de agent in de chat en de omgeving.
  • C4: Bied componenten die de agent in staat stellen om verschillende gebruikersinteracties aan te roepen.
  • C5: Bied een omgeving om de agent te draaien en te besturen.
  • C6: Help bij het debuggen van het runtime-gedrag van de agent.

3. AgentUXlab

De auteurs ontwikkelden AgentUXlab, een design probe die dient als een concrete instantie van de taxonomie en de vereisten. Belangrijkste kenmerken zijn:

• Workflow Tab: Een grafische, op nodes gebaseerde editor waar ontwikkelaars agent-gedragingen (nodes) en condities (edges) definiëren. Het ondersteunt bidirectionele bewerking met natuurlijke taalprompts.
• Prompt Interface: Maakt gestructureerde prompt engineering mogelijk, inclusief agent-capaciteiten, gebruikersinformatie en specifiek instructies.
• Execution Interface: Een browser extensie die de agent op echte websites draait, waarbij UI-actie previews, chatinteracties en runtime-status worden getoond.
• Debug Mode: Biedt diepgaand inzicht in agent-inputs (screenshots, accessibility trees) en outputs (redenering, tool calls) om debugging te vergemakkelijken.

Resultaten en Bevindingen

Bevindingen op RQ1 (Designruimte)

De taxonomie valideerde succesvol dat agent-UX-design verder gaat dan eenvoudige taakautomatisering. Het benadrukt kritieke dimensies zoals transparantie van redenering en gebruikersmentale modellen, die worden verergerd door de autonomie van moderne agenten. De studie bevestigde dat gebruikers behoefte hebben aan duidelijke indicatoren van agent-acties, de mogelijkheid om te interveniëren in scenario's met een hoog risico, en mechanismen om verwachtingen te beheren met betrekking tot de capaciteiten en de scope van de agent.

Bevindingen op RQ2 (Prototyping Ondersteuning)

De empirische studie met AgentUXlab leverde verschillende inzichten op over het prototypingproces:

• Workflow Notaties als Visualisatie versus Auteurschap: Hoewel deelnemers de waarde zagen van workflow-notaties voor het visualiseren van agent-gedrag en het debuggen van logica, vonden velen ze moeilijk om zelf te creëren (authoring). De notatie was vaak effectiever als visualisatietool dan als primair mechanisme voor auteurschap.
• Divergerende Informatiebehoeften: Er bestaat een conflict tussen de informatiebehoeften van eindgebruikers (die minder informatie verkiezen om overbelasting te voorkomen) en prototypers (die gedetailleerde logs, redenering en UI-status nodig hebben om te debuggen). Effectieve tools moeten verschillende persona's kunnen testen.
• Scaffolding voor Mentale Modellen: Deelnemers hadden moeite met het vormen van een accuraat mentaal model van de capaciteiten van de agent, met name wat betreft beschikbare tools en beperkingen. Het verstrekken van duidelijke lijsten van toegankelijke tools en interactiecomponenten hielp de designruimte te structureren.
• Debugging Uitdagingen: Deelnemers vonden het moeilijk om ruwe accessibility trees en hallucinerende redeneringen te interpreteren. Ze vertrouwden sterk op het pauzeren van de uitvoering om informatie te verwerken, wat wijst op een behoefte aan betere controles om de agent-acties te vertragen of af te spelen.
• Natuurlijke Taal versus Structuur: Hoewel natuurlijke taalprompts flexibiliteit boden, misten deelnemers vaak de regie om fijne aanpassingen te maken zonder aanvullende scaffolding.

Betekenis en Claims

De auteurs positioneren dit werk als een fundamentele stap naar het begrijpen en ontwerpen van de UX van computergebruik-agenten.

• Gedeelde Vocabulaire: De taxonomie biedt een gestructureerde vocabulaire voor ontwerpers en onderzoekers om over agent-UX-factoren te redeneren, waardoor de kloof tussen vroege interface-agent literatuur en moderne generatieve AI wordt overbrugd.
• Prototyping Tooling: Door specifieke activiteiten en mogelijkheden te identificeren, beargumenteren de auteurs dat toekomstige agent-ontwikkelingstools verder moeten gaan dan eenvoudige workflow builders en functies moeten bevatnen die UX-specifieke zorgen ondersteunen, zoals transparantie, gebruikerscontrole en de afstemming van mentale modellen.
• Nut van de Design Probe: AgentUXlab demonstreert dat design probes effectieve instrumenten zijn voor het verkennen van opkomende designruimtes waar deploybare tools nog niet bestaan. Het valideert de hypothese dat een no-code, visuele aanpak ontwikkelaars kan helpen bij het verkennen van de afwegingen tussen autonomie en controle.
• Bescheiden Omvang: De auteurs merken expliciet op dat de taxonomie gebaseerd is op een specifieke set agenten en mogelijk niet uitputtend is (bijv. toegankelijkheid werd niet behandeld). Evenzo is AgentUXlab een research probe voor web-agenten, en de bevindingen vereisen mogelijk verdere validatie voor desktop- of mobiele omgevingen. De resultaten worden gepresenteerd als hypothesen voor toekomstige gecontroleerde studies in plaats van definitieve oplossingen.

Samenvattend betogen de auteurs dat naarman de computergebruik-agenten autonomer worden, de focus moet verschuiven van louter modelprestaties naar het mensgerichte ontwerp van de interactie, wat nieuwe tools en kaders vereist die de iteratieve verkenning van agent-UX ondersteunen.