Understanding User Experiences of Computer Use Agents: Design Space and Opportunities for Building Agent UX Prototypes
Cet article traite de l'expérience utilisateur encore peu étudiée des agents d'utilisation d'ordinateurs en développant une taxonomie de conception, en identifiant les exigences de prototypage par le biais d'études d'experts, et en introduisant « AgentUXlab », un outil qui permet aux développeurs de concevoir et d'évaluer diverses approches d'interaction avec les agents.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez un assistant numérique super intelligent qui ne se contente pas de répondre à vos questions, mais qui fait réellement des choses pour vous. Il peut cliquer sur des boutons, faire défiler des sites web, remplir des formulaires et même même vous acheter votre café, tout cela en observant votre écran et en comprenant ce que vous voulez. Ce n'est pas de la magie ; c'est un nouveau type de programme informatique appelé « agent d'utilisation de l'ordinateur » (computer use agent). Considérez cela comme un majordome robotique qui vit à l'intérieur de votre navigateur. Pendant longtemps, les scientifiques ont appris à ces robots à être plus intelligents et plus rapides, en se concentrant sur leurs cerveaux (le code et les modèles). Mais ils ont surtout oublié de se demander : « Quel effet cela fait-il d'avoir un majordome robot ? » Tout comme vous ne voudriez pas d'un assistant humain qui ne vous dit jamais ce qu'il fait, ou qui attrape votre portefeuille sans demander, vous avez besoin d'un assistant robotique qui soit facile à faire confiance, facile à arrêter et facile à comprendre. Ce document explore la « personnalité » et le « comportement » de ces aides numériques, en cherchant à comprendre comment les concevoir pour qu'ils ne nous effraient pas ou ne commettent pas d'erreurs que nous ne pourrions pas réparer.
Les chercheurs derrière cette étude, dirigés par Jenny T. Liang et son équipe, ont réalisé que bien que nous construisions ces agents puissants, nous n'avons pas vraiment de carnet de règles sur la façon dont ils devraient agir devant nous. Pour remédier à cela, ils se sont lancés dans une aventure en trois parties pour cartographier l'« espace de conception » (toutes les manières possibles dont un agent peut se comporter) et pour construire un outil spécial afin d'aider les concepteurs à tester ces comportements.
D'abord, ils ont joué aux détectives en examinant 11 agents informatiques déjà existants dans le monde. Ils ont interviewé 8 experts qui construisent ces agents et ont testé un faux agent auprès de 20 personnes ordinaires. À partir de là, ils ont construit un immense « menu » de 21 choses différentes auxquelles les concepteurs doivent réfléchir. Ils les ont regroupées en quatre catégories principales :
- La requête de l'utilisateur : Comment vous parlez à l'agent. Donnez-vous une seule grande commande, ou discutez-vous de manière interactive ? Utilisez-vous la voix, le texte ou des images ?
- L'explicabilité : Comment l'agent montre son travail. Vous dit-il sur quoi il clique ? Vous montre-t-il ses « pensées » avant d'agir ?
- Le contrôle de l'utilisateur : Comment vous pouvez arrêter ou modifier l'agent. Pouvez-vous le mettre en pause ? Pouvez-vous reprendre la main et effectuer la tâche vous-même si l'agent est bloqué ?
- Le modèle mental : Ce que vous pensez que l'agent peut faire. L'agent rend-il clair quelles sont ses limites afin que vous n'attendiez pas de lui des choses impossibles ?
Une fois ce menu établi, ils ont posé une seconde question : « Comment construisons-nous et testons-nous réellement ces idées ? » Concevoir un agent est difficile car, généralement, il faut être programmeur informatique pour faire en sorte qu'il fasse quoi que ce soit. Ainsi, l'équipe a interviewé 12 autres personnes (comprenant des experts et des utilisateurs ordinaires) pour déterminer quel genre d'outil faciliterait la tâche. Ils ont découvert que les concepteurs ont besoin de cinq activités principales : définir ce que l'agent peut faire, décider quelles informations afficher, concevoir la manière dont il vous parle, exécuter l'agent pour voir ce qui se passe, et le réparer lorsqu'il casse.
Pour résoudre ce problème, ils ont construit un outil génial appelé AgentUXlab. Imaginez un niveau de jeu vidéo où vous êtes le concepteur. Au lieu d'écrire un code complexe, vous glissez-déposez des blocs (comme « Cliquer ici », « Attendre l'utilisateur » ou « Montrer un plan ») pour créer un organigramme de la manière dont votre agent doit se comporter. Vous pouvez ensuite appuyer sur « Play » et regarder votre agent essayer réellement de commander un café sur un vrai site web, directement dans votre navigateur. Si l'agent essaie d'acheter quelque chose que vous ne vouliez pas, vous pouvez appuyer sur « Pause », reprendre la main et corriger l'erreur. Cet outil permet aux concepteurs d'expérimenter différents « caractères » pour leurs agents — comme en créer un qui est très bavard et demande la permission, par opposition à un autre qui est super rapide et fait tout silencieusement.
Enfin, ils ont testé cet outil avec 14 personnes ayant différents niveaux d'expérience, allant d'ingénieurs logiciels à des personnes n'ayant jamais utilisé d'agent auparavant. Ils ont constaté que l'outil fonctionnait bien, mais qu'il a aussi révélé des aspects délicats. Par exemple, les « organigrammes » visuels (les blocs) étaient excellents pour voir la vue d'ensemble, mais certaines personnes les trouvaient difficiles à rédiger. D'un autre côté, le simple fait de taper des instructions en langage clair était flexible, mais parfois trop vague. La plus grande surprise fut que les personnes concevant l'agent avaient besoin de voir beaucoup plus d'informations (comme les pensées internes de l'agent et les détails de l'écran) pour déboguer, tandis que les utilisateurs de l'agent ne voudraient probablement pas voir tout ce bruit visuel.
L'article suggère que pour rendre ces agents sûrs et utiles, nous avons besoin d'outils qui permettent aux concepteurs de basculer facilement entre ces différents styles d'interaction. Il ne prétend pas avoir tout résolu — il reste encore de grandes questions sur la manière de s'assurer que les utilisateurs comprennent réellement ce que l'agent est capable de faire — mais il fournit une carte solide et un nouveau terrain de jeu pour quiconque tente de construire la prochaine génération d'assistants IA utiles et respectueux de l'humain.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.